本文的主要首席执行官将介绍Python文本TF-IDF值的相关内容和Python TFIDF的相关内容。我希望这对每个人都会有所帮助。让我们来看看。
本文目录清单：
1. TF-IDF的简介（单词频率式翼展）2。如何使用Python播放TF-IDF来查找类似的文章并生成摘要3. TF-IDF的基本概念和原理4. TF-IDF计算过程5，TF-TF-IDF算法Python实现单词频率频率插图频率（TF-IDF）技术，是一种用于信息检索和文本挖掘的常用加权技术。它可用于评估文档或文档集或文档中文档的重要性的单词。该单词的重要性随着文件显示在文件中的次数而增加，但同时，它将随着语料库中出现的频率的降低。如果一个单词相对较少，但是在本文中出现了很多次，那么它很可能反映了本文的特征，这是我们需要的关键词。
以文档的关键字为例，最简单的方法是计算每个单词的频率。
项频率（TF）是指文件中给定单词出现的次数。
最常出现的单词是本文档的关键字。但是，文章中最常见的单词必须是“”，'is'is'，''is'''''和'也是……这样的单词，这些单词显然无法反映出含义文章。目前，您需要为每个单词增加一个重量。最常见的单词（“”，“”，“”，“在”中）给出了最小的重量，但可以反映出此含义的单词文章给出更大的权重。该重量称为反文本频率。
** nverse文档频率（IDF）**是单词的一般重要性。它的大小与单词的共同程度成反比。文档的数量，然后获取获得的报价。
在了解TF和IDF之后，将这两个值乘以单词的TF-IDF值。单词对文章的重要性越高，其TF-IDF值越大。因此，前几个单词是本文。
可以看出，TF-IDF与文档中单词出现的次数成正比，该单词与单词在整个语言中的次数成反比。很明显，即计算文档每个单词的tf-idf值，然后安排以获取前几个单词。
应用程序1：关键字自动生成
核心想法是为文档中的单词计算本文档中的标准化TF值，然后计算整个语料库中单词的标准化IDF值。此外，标准化是说原始计算公式已更改为取得更好的测量结果并避免某些极端条件的出现。该单词的TF-IDF值等于TF*IDF。计算本文档中所有单词的TF-IDF值，并按照高到低，低到低的顺序排序因此我们可以提取所需的关键字。
TF-IDF的优点速度快速，结果与实际情况相对一致。缺点是，当文档中两个单词的IDF值相同时，次数较少的单词可能会更重要的是，furthermore，TF-IDF算法无法反映我一词的位置信息。向后出现的单词与重要性相同，这被认为是相同的重要性，这是不正确的。解决方案是对文章的第一个和第一个句子给予很大的权重。
应用程序2：计算文本相似性
了解如何计算每个单词的tf-idf值。然后很容易获得计算文本的相似性。我们已经计算了文章中每个单词的tf-idf值，因此我们可以使用tf-idf数值文章以单词为特征的向量。要计算两个文本的相似性，您只需要计算字符串即可。字符串值越大，两个文本越相似。
应用程序3：自动摘要
2007年，美国学者的论文对自动文本摘要进行了一项调查，总结了当前的自动摘要算法，重要的是单词的频率。该方法首先来自1958年的IBM科学家论文，自动创建了文献摘要。该文章的信息包含在句子中，有些句子包含更多信息，有些句子包含更少的信息。自动摘要是找出包含最多信息的句子。纸上测量关键字。如果包含更多关键字，则该句子的重要性越重要。科学家建议使用群集代表关键字的收集。所谓的群集是包含多个关键字的片段。
以第一个数字为例，群集中有7个单词，其中四个是关键字。因此，其重要性等于（4*4）/7 = 2.2.3。然后，找出一个句子（例如5个句子）包含集群的最重要性，并将它们结合在一起构成了本文的自动摘要。对于特定的实施，请参阅采矿社交网络：分析来自Facebook，Twitter，LinkedIn和其他社交媒体网站的数据（O'赖利（Reilly），2011年）。python代码参见github。此算法后来简化了，不再区分群集，但只有句子中包含的关键字。伪代码如下。
摘要（OriginalText，MaxSummarySize）：
//计算文本的单词，生成一个列表，例如[（10，'the'），（3，'语言'），（8，'code'）...]
wordfrequences = getWordCounts（onimartText）
//过滤终止的单词，列表变为[（3，'lawuage'），（8，'code'）...]
contentwordfrequences = filtstopwords（wordfrequency）
//按照单词频率的大小进行排序，形成的列表为['代码'，''语言'...]
contentwordortbyfreq = sortbyfreqthendropreq（contentwordfrequences）
//将文章分为句子
句子= getensences（原始文本）
//选择关键字中首先出现的句子
setSummarySensences = {}
contentwordsortbyfreq中的ereach word：
FirstMatchingSensence =搜索（句子，单词）
setSummarySentences.ADD（FIRSTMATHINGSENTENCE）
如果setSummarySentences.size（）= maxSummarySize：
休息
//遵循选定的句子以形成摘要
摘要=“”
句子中的句子：
如果setsummarysentences中的seence：
摘要=摘要+“”+句子
返回摘要
类似的算法也被编写为工具，例如基于Java的Classifier4J库SimpleSummariser模块，基于C语言的OTS库，C＃Classifier4J和Python的实现。
tf-idf是术语率段文档频率的缩写。它由TF和IDF组成。先前的TF是我们前面提到的单词的频率。我们之前所做的矢量化是，文本中每个单词的频率统计信息制作并用作文本功能。这是很好的理解。关键是如何理解后来的IDF，即如何理解“反频率”。尽管我们谈论的是几乎所有文本中可以出现的频率“ to”的频率，重要性应该较低比“中国”和“旅行”低于单词。我们的IDF在这里可以帮助我们反映单词的重要性，然后纠正仅经常用单词表示的单词。总结，IDF反映了一个人的频率所有文本中的单词。如果在许多文本中出现一个单词，其IDF值应该低，例如上面的“ to”。在转弯中，如果一个单词在相对较少的文本中出现，则其IDF值应该很高。例如，某些专业名词这样作为“机器学习”。这个单词IDF应该很高。在极端情况下，如果一个单词在所有文本中都出现，则其IDF值应为0。
以上是定性描述的IDF的作用。那么如何定量单词的IDF分析？这是单词x的IDF的基本公式：如下：
idf（x）= logfrac {n} {n（x）}
其中，n代表语料库中的中文文本总数，而n（x）表示包含x中包含x单词的文本的总数。为什么是IDF的基本公式，而不是N/N（x）？这涉及一些与信息理论有关的知识。感兴趣的朋友建议阅读吴朱朱德博士的“数学之美”的第11章。
上述IDF公式已经可用，但是在某些特殊情况下会出现一些小问题，例如语料库中的某个稀有词。这样，我们的分母为0，而IDF是毫无意义的。因此，我们需要制作一些平滑的IDF，以便在语料库中不出现的单词也可以获得合适的IDF值。有很多平滑的方法。平滑IDF后最常见的IDF之一是：
idf（x）= logfrac {n+1} {n（x）+1} +1
通过IDF的定义，我们可以计算某个单词的TF-IDF值：
tf-id（x）= tf（x） * idf（x）
其中，TF（X）指当前文本中单词X的频率。
TF-IDF是一个非常常用的基本逐步过程，但是如果将哈希技巧用于预处理，则通常不可能进行TF-IDF，因为在hash trickvalue之后。使用IF-IDF并进行标准化，我们可以使用各种文本的单词符号向量是用于分类或聚类分析的文本的特征。当然，TF-IDF不仅可以用于文本挖掘，而且在许多领域，例如信息检索。因此，值得了解这种方法的想法。
本文的内容主要来自Python Machine Learning第二版
1.假设我们有以下三个文本
? '太阳普照'
?“天气是漱口”
?'太阳闪闪发光，天气很甜，一个是两个
2.使用CountVectorizer类获取以下字典
{'and'：0，'二'：7，'shining'：3，'一个'：2，'sun'：4，'天气'：8，'：6，'：6，'sweet'：5，''是'：1}
3.将步骤1的文档转换为矩阵
[0 1 0 1 1 0 1 0 0]
[0 1 0 0 0 0 0 1 1 0 1]
[2 3 2 1 1 1 1 1 1 1]]]]
4.计算TF-IDF值
我们以示例为例，对应于矩阵的第二列。
TF值表示文本中显示的次数次数。文本3中出现的次数很容易看到。3。
IDF值Sklearn进行了很小的更改，公式为（1+log）。文本的含义（文档数），df（d，t）表示包含的文件数为。这样，计算结果为3*（1+log）= 3 ..
应当指出，Sklearn已将结果正常。
最终结果是
[[0。0.43 0.56 0.56 0.0.43 0.] 0.]]
[0。0.43 0. 0. 0.56 0.43 0.06]
[0.5 0.45 0.5 0.19 0.19 0.3 0.25 0.19]]]]]
每条线的平方为1，这是L2正则化的结果。
可以看出，原始的是单词频率为113，最终TF-IDF值为0.43 0.43 0.45。
TF -DF = TF*IDF
TF是经常的单词。如果文件中有n次，则单词词出现c times;然后tf = c/n
IDF是反文本文件的概率。有n个文件。单词出现在w文件中，然后idf = w/n
结论：以上是首席CTO注释为每个人编写的Python文本TF-IDF的总内容。感谢您阅读本网站的内容。我希望这对您有帮助。有关Python TFIDF的更多信息，Python Textdo也不要忘记在此网站上找到它。