词典：apple,car,cat….

单词有语义信息

• 同词根但不同词缀的词视为不同词，互相无关系：surprise surprisely
• 存在同词根的现象，使得分布式向量维度稀疏
• 维度取决词典大小：词转换为onehot向量，点乘嵌入矩阵，转换为相应的词向量
• 无法处理外来词（OOV），外来词均用特定的词来代替：单词拼写错误和新词影响非常大

单词级别的输出可转化为序列标注问题（BIO），降低输出维度，降低计算消耗

a-z,A-Z,个别符号

没有语义信息，需要神经网络学习语义信息

维度小，70左右，计算消耗低

• Character Level NLP：强烈推荐
• Character-level Convolutional Network for Text Classification Applied to Chinese Corpus
• Combining Word-Level and Character-Level Representations forRelation Classification of Informal Text
• Named Entity Recognition with Bidirectional LSTM-CNNs