学习词汇（learning lexicons）

优点

  • 可以是特定领域的

  • 可以更健壮（更多的词）

    想法💡

  • 从一个词的种子集合开始（’good’、’poor’）

  • 查找有相似级性（polarity）的词
    • 使用连接词“and”和“but”
    • 使用在同一个文档中出现在附近的词
    • 使用 WordNet 中的同义词和反义词

一个基线算法

Tokenization

可能会遇到的问题

  • 处理 HTML 或者 XML 标记
  • 推特标记（名字、标签）
  • 首字母大写
  • 电话号码、日期
  • 表情

特征提取（Feature Extraction）

需要考虑的问题

  • 如何处理否定？
    • 在否定和下一个标点符号之间的词前面，加上前缀 NOT_
  • 使用哪种词？
    • 只有形容词
    • 还是所有的词

使用不同分类器进行分类

Binarized (Boolean feature) Multinomial Naive Bayes

词出现与否比词频更重要

MaxEnt

SVM