工智能基础知识总结--词嵌入之GloVe

发布时间：2024年01月11日

  1. 什么是GloVe

    GloVe（Global Vectors for Word Representation）是一个基于全局词频统计（count-based & overall statistics）的词表征（word representation）工具，它可以把一个单词表达成一个由实数组成的向量，这些向量捕捉到了单词之间一些语义特性，比如相似性（similarity）、类比性（analogy）等。我们通过对向量的运算，比如欧几里得距离或者cosine相似度，可以计算出两个单词之间的语义相似性。

  2. GloVe实现步骤

    • 构建共现矩阵

      统计词与词在固定窗口大小内共同出现的次数并构建一个共现矩阵。例如有以下三句话：

      • I like deep learning.
      • I like NLP.
      • I enjoy flying

      当窗口大小为2时，构造的共现矩阵为：

      s5vRc6.jpg

    • 词向量与共现矩阵的关系

      设共现矩阵为X，其第i行第j个元素为 X

文章来源:https://blog.csdn.net/Runnymmede/article/details/135517808
本文来自互联网用户投稿，该文观点仅代表作者本人，不代表本站立场。本站仅提供信息存储空间服务，不拥有所有权，不承担相关法律责任。
最新文章