关键字提取算法TF-IDF

总起

TF-IDF，听起来很高大上啊，其实理解起来相当简单，他实际上就是TF*IDF，两个计算值的乘积，用来衡量一个词库中的词对每一篇文档的重要程度。下面我们分开来讲这两个值，TF和IDF。

TF

TF，是Term Frequency的缩写，就是某个关键字出现的频率，具体来讲，就是词库中的某个词在当前文章中出现的频率。那么我们可以写出它的计算公式：

其中：

TF(i,j)：关键词j在文档i中的出现频率。

n(i,j)：关键词j在文档i中出现的次数。

比如，一篇文章一共100个词汇，其中“机器学习”一共出现10次，那么他的TF就是10/100=0.1。

这么看来好像仅仅是一个TF就能用来评估一个关键词的重要性（出现频率越高就越重要），其实不然，单纯使用TF来评估关键词的重要性忽略了常用词的干扰。常用词就是指那些文章中大量用到的，但是不能反映文章性质的那种词，比如：因为、所以、因此等等的连词，在英文文章里就体现为and、the、of等等的词。这些词往往拥有较高的TF，所以仅仅使用TF来考察一个词的关键性，是不够的。这里我们要引出IDF，来帮助我们解决这个问题。

IDF

IDF，英文全称：Inverse Document Frequency，即“反文档频率”。先看什么是文档频率，文档频率DF就是一个词在整个文库词典中出现的频率，就拿上一个例子来讲：一个文件集中有100篇文章，共有10篇文章包含“机器学习”这个词，那么它的文档频率就是10/100=0.1，反文档频率IDF就是这个值的倒数，即10。因此得出它的计算公式:

其中：

IDF(i)：词语i的反文档频率

|D|：语料库中的文件总数

|j:t(i)属于d(j)|出现词语i的文档总数

+1是为了防止分母变0。

于是这个TF*IDF就能用来评估一个词语的重要性。

还是用上面这个例子，我们来看看IDF是怎么消去常用词的干扰的。假设100篇文档有10000个词，研究某篇500词文章，“机器学习”出现了20次，“而且”出现了20次，那么他们的TF都是20/500=0.04。再来看IDF，对于语料库的100篇文章，每篇都出现了“而且”，因此它的IDF就是log1=0,他的TF*IDF=0。而“机器学习”出现了10篇，那么它的IDF就是log10=1,他的TF*IDF=0.04>0，显然“机器学习”比“而且”更加重要。

总结

这算法看似简单，实际上在SEO搜索引擎优化啊，文本分类方面用的挺多的，面试时也常常作为信息论知识储备来出题。

更多推荐

• 
  SEO优化 长尾关键词对seo优化的影响 什么是长尾关键词？如何挖掘长尾关键词？相信这是大多seo站长都非常想要知道的事情，长尾关键词能够给网站带来一定的流量，通常由两到三个词所组成，经常会出现在网站标...

  2019-08-09 12:37:59 1274

  SEO优化

• 
  SEO优化 seo优化网站关键词布局的方法技巧 对于seo优化人员来说，掌握关键词布局是将网站做到首页的重要一步，一个网站有多个相关的关键词，我们需要将这些关键词平均分布到网站上，但切记千万不要造成关键词堆砌...

  2019-08-09 12:32:54 1351

  SEO优化

• 
  SEO优化 制作手机网站这几点很重要 随着智能手机不断的普及，移动互联网时代的到来，PC端的用户大多都转移到了手机端，因为使用手机比起电脑来说要方便很多。企业建设一个手机网站的目的无非就是给自己的企...

  2019-08-09 12:25:30 1150

• 
  SEO优化 网站首页不被搜索引擎收录的原因 网站收录情况是网站优化过程中一项非常重要的指标，如果网站没有收录，那就说明网站没有机会展现给用户，当然了也不能为广大网民提供价值；尤其是新网站，很多站长在优化一...

  2019-08-09 12:23:27 1331

• 
  SEO优化 网站被降权的解决措施 站内优化过度主要体验在关键词布局标题上关键词堆砌，相同的关键词重复好几遍，seo在不觉得这样操作会导致降权的情况慢慢的优化过度，那么当遇到网站被降权的情况我们应...

  2019-08-09 12:21:55 1168