什么是TF/IDF矢量化
時間：2024-02-22 來源：華清遠見
tf-idf矢量化算法 TF-IDF 是 Term Frequency Inverse Document Frequency 的縮寫，是一個將文本轉換為數字表示的常用算法，是詞袋法的典型代表，常用于信息檢索和文本挖掘，反映了一個字詞對于一個語料庫中的一份文件的重要程度。
TF-IDF是一種用于文本挖掘和信息檢索的常用技術，它可以將文本轉換為向量表示，以便進行機器學習和自然語言處理
TF-IDF矢量化的思想是將文本表示為向量，其中每個維度對應于一個單詞，并將單詞在文本中的重要性編碼為該單詞的權重。這個權重是通過計算該單詞在文本中出現的頻率（TF）和該單詞在整個文集中出現的頻率（IDF）的乘積得到的。
TF是一個單詞在文本中出現的頻率，可以通過簡單地計算該單詞在文本中出現的次數并將其除以文本中的總單詞數來計算。然而，如果一個單詞在文本中出現得非常頻繁，那么它的TF值可能會高于其他單詞，因此會影響矢量的權重。為了避免這種情況，可以使用“詞頻-歸一化”來規范化TF值，例如將每個單詞的TF值除以文本中單詞出現最多的單詞的TF值。
IDF是一個單詞在整個文集中出現的頻率，計算公式是總文檔數除以包含該單詞的文檔數的對數。這個值可以告訴我們一個單詞的普遍程度，即它是否足夠罕見，以至于只有特定文檔中出現，或者是否是普遍的單詞，可能不太有用。
通過使用TF-IDF，文本可以被表示為向量，其中每個維度對應于一個單詞，并且每個單詞都有一個相關聯的權重。這種表示可以用于許多自然語言處理和機器學習任務，例如文本分類、情感分析和信息檢索。在信息檢索中，用戶的查詢可以被表示為向量，然后可以使用余弦相似度來比較查詢向量與文檔向量，以查找最相關的文檔。
雖然TF-IDF矢量化在許多應用中非常有用，但它也存在一些限制。例如，它假設單詞之間是相互獨立的，而忽略了句法和語義信息。此外，如果語料庫很大，則需要使用分布式計算技術來計算TF-IDF向量，這可能會導致計算成本非常高。
TF-IDF算法步驟
第一步-計算詞頻：
考慮到文章有長短之分，為了便于不同文章的比較，進行“詞頻”標準化。
第二步-計算逆文檔頻率：
此時需要一個語料庫(corpus)，用來模擬語言的使用環境。
如果一個詞越常見，那么分母就越大，逆文檔頻率就越小越接近0，分母之所以要加1，是為了避免分母為0（即所有文檔不包含該詞）。log 表示對得到的值取對數
第三步-計算TF-IDF:
可以看到，TF-IDF與一個詞在文檔中的出現次數成正比，與該詞在整個語言中的出現次數成反比。所以，自動提取關鍵詞的算法就很清楚了，就是計算出文檔的每個詞的TF-IDF值，然后按降序排列，取排在最前面的幾個詞。
優缺點：
TF-IDF的優點是簡單快速，而且容易理解。缺點是有時候用詞頻來衡量文章中的一個詞的重要性不夠全面，有時候重要的詞出現的可能不夠多，而且這種計算無法體現位置信息，無法體現詞在上下文的重要性。如果要體現詞的上下文結構，那么你可能需要使用word2vec算法來支持。
示例代碼
