None

slide 6

终于要讲到这篇文章了哈，先看摘要。为方便大家阅读我把摘要翻译了一下。 摘要

slide 7 from one-hot to word2vec.

摘要中提到的预先训练的词向量是什么。我这里再给大家简单介绍一下 在最初的时候，大家对于某个词的表示都使用所谓的one-hot表示方法， 《img one-hot》 假设语料里有10个不同的词，汽车被编号为4个词，那么汽车就被表示成这样 因为这样子表示的话，维度太多了，而且每个词只在它对应的维度中有长度。在其它的维度上长度都是0,这样子很难去发掘出词与词之间的关系。 后来人们就在想是不是可以对它进行改进，用更低的维度去表示一个词。经过很多学者的不断努力，尝试了各种各样的方法，包括用之前熊乐介绍过的词共现矩阵分解。使得一个词能够被表示成低维向量的形式，并且这些向量间是有意义的，能够度量到词语之间的联系。最后用无监督学习的方法得到的词向量，在具有先前词向量的优势基础之上，还具有一个词意推理的特点。

而且一个词向量与离它最近的向量之间的语义也是相似的。 举例。 blahblah