机器学习——TF-IDF特征向量

  • 原创
  • |
  • 浏览：2268
  • |
  • 更新：
  • 机器学习——TF-IDF特征向量1
  • 机器学习——TF-IDF特征向量2
  • 机器学习——TF-IDF特征向量3
  • 机器学习——TF-IDF特征向量4
  • 机器学习——TF-IDF特征向量5
  • 机器学习——TF-IDF特征向量6
  • 机器学习——TF-IDF特征向量7
分步阅读

TFIDF的分数代表了词语在文档和整个语料库中的相对重要性。

TFIDF分数由两部分组成,第一部分是计算标准的词语频率（TF），第二部分是逆文档频率（IDF）。

其中计算语料库中文档总数除以含有该词语的文档数量，然后再取对数就是逆文档频率。

工具/原料

  • Jupyter

方法/步骤

  1. 1

    TFIDF中的TF表达式如图示：

    机器学习——TF-IDF特征向量
  2. 2

    TFIDF中的IDF表达式如图示：

    机器学习——TF-IDF特征向量
  3. 3

    TFIDF向量可以由不同级别的分词产生（单个词语，词性，多个词(n-grams))。具体如图示：

    机器学习——TF-IDF特征向量
  4. 4

    导入相应的模块如图示：

    机器学习——TF-IDF特征向量
  5. 5

    读取word文件中的内容如图示：

    机器学习——TF-IDF特征向量
  6. 5
    此文章非法爬取自百度经验
  7. 6

    进行中文划词，并将其转化为DataFrame类型，方八良帮便删除不许要的数据。如图示：

    机器学习——TF-IDF特征向量
  8. 7

    划分结果如图示：

    机器学习——TF-IDF特征向量
    机器学习——TF-IDF特征向量
  9. 8

    利用info方法查看数据的详细信息，如图示：

    机器学习——TF-IDF特征向量
  10. 9

    筛选出需要删除的数据，得到一组布尔值。如图示：

    机器学习——TF-IDF特征向量
  11. 10

    得到的布尔数组。如图示：

    机器学习——TF-IDF特征向量
  12. 11

    利用布尔索引，删除bool值为False的数据。如图示：

    机器学习——TF-IDF特征向量
  13. 12

    删除无关的的数据后，数据的信息如图示：

    机器学习——TF-IDF特征向量
  14. 13

    从上图中可以看到索引不在连续。

  15. 14

    删除数据后会，剩下数据的索引将不再连续，为了方便后续索引，故重置索引。如图示：

    机器学习——TF-IDF特征向量
  16. 15

    重置索引的数据如图示：

    机器学习——TF-IDF特征向量
  17. 16

    接下来用TFIDF向量雁游作为特征。实例化TFIDF类，如图示：

    机器学习——TF-IDF特征向量
  18. 17

    转换训练数据，如图示：

    机器学习——TF-IDF特征向量
  19. 18

    经过TFIDF转换后的数据是一个稀疏矩阵，如图示：

    机器学习——TF-IDF特征向量
  20. 19

    为方便观察转化婶近后的数据，将其转化为DataFrame类型，如图示：

    机器学习——TF-IDF特征向量
  21. 20

    经过TFIDF转化后的特征向量如图示：

    机器学习——TF-IDF特征向量
    END
经验内容仅供参考，如果您需解决具体问题(尤其法律、医学等领域)，建议您详细咨询相关领域专业人士。
作者声明：本篇经验系本人依照真实经历原创，未经许可，谢绝转载。
展开阅读全部