Xem mã nguồn của Tf–idf

{{chú thích trong bài}}
Trong [[truy hồi thông tin]], '''tf–idf''', '''TF*IDF''', hay '''TFIDF''', viết tắt từ cụm từ [[tiếng Anh]]: '''term frequency–inverse document frequency''', là một thống kê số học nhằm phản ánh tầm quan trọng của một từ đối với một [[văn kiện|văn bản]] trong một tập hợp hay một [[ngữ liệu văn bản]].<ref>{{chú thích sách |last1= Rajaraman |first1=A. |last2= Ullman |first2= J.D. |doi= 10.1017/CBO9781139058452.002 |chapter= Data Mining |title= Mining of Massive Datasets |pages= 1–17 |year= 2011 |isbn= 978-1-139-05845-2 |chapter-url= http://i.stanford.edu/~ullman/mmds/ch1.pdf}}</ref> tf–idf thường dùng dưới dạng là một [[weighting|trọng số]] trong tìm kiếm truy xuất thông tin, [[khai thác văn bản]], và [[mô hình hóa người dùng]].

Giá trị tf–idf tăng [[tỉ lệ thuận]] với số lần xuất hiện của một từ trong tài liệu và được bù đắp bởi số lượng tài liệu trong kho ngữ liệu có chứa từ, giúp điều chỉnh thực tế là một số từ xuất hiện nói chung thường xuyên hơn. tf-idf là một trong những lược đồ (scheme) tính trọng số phổ biến nhất hiện nay. Một cuộc khảo sát được thực hiện vào năm 2015 cho thấy 83% các hệ thống khuyến nghị dựa trên văn bản (text-based recommender systems) trong các [[thư viện số]] sử dụng tf-idf.<ref>{{Chú thích tạp chí |last1= Breitinger |first1=Corinna |last2=Gipp |first2= Bela |last3=Langer |first3=Stefan |date = ngày 26 tháng 7 năm 2015 |title= Research-paper recommender systems: a literature survey |journal= International Journal on Digital Libraries |language=en |volume=17 |issue=4 |pages= 305–338 |doi= 10.1007/s00799-015-0156-0 |issn= 1432-5012 |url=http://nbn-resolving.de/urn:nbn:de:bsz:352-0-311312 }}</ref>

==TF==
'''TF- term frequency''' – tần số xuất hiện của 1 từ trong 1 văn bản.
Cách tính:

:<math>\mathrm{tf}(t,d) = \frac{\mathrm{f}(t, d)}{\max\{\mathrm{f}(w, d):w \in d\}}</math>
 
* Thương của số lần xuất hiện 1 từ trong văn bản và số lần xuất hiện nhiều nhất của một từ bất kỳ trong văn bản đó. (giá trị sẽ thuộc khoảng [0, 1])
* '''f(t,d)''' - số lần xuất hiện từ t trong văn bản '''d'''.
* '''max{f(w,d):w∈d}''' - số lần xuất hiện nhiều nhất của một từ bất kỳ trong văn bản.

==IDF==

'''IDF''' – ''inverse document frequency.'' Tần số nghịch của 1 từ trong tập văn bản (corpus).

Tính '''IDF''' để giảm giá trị của những từ phổ biến. Mỗi từ chỉ có 1 giá trị '''IDF''' duy nhất trong tập văn bản.

:<math> \mathrm{idf}(t, D) =  \log \frac{|D|}{|\{d \in D: t \in d\}|}</math>
* <math> |D| </math>: - tổng số văn bản trong tập '''D'''
* <math> |\{d \in D: t \in d\}| </math>: - số văn bản chứa từ nhất định, với điều kiện <math> t </math> xuất hiện trong văn bản d (i.e., <math> \mathrm{tf}(t,d) \neq 0</math>). Nếu từ đó không xuất hiện ở bất cứ 1 văn bản nào trong tập thì mẫu số sẽ bằng 0 => phép chia cho không không hợp lệ, vì thế người ta thường thay bằng mẫu thức <math>1 + |\{d \in D: t \in d\}|</math>.
Cơ số logarit trong công thức này không thay đổi giá trị của 1 từ mà chỉ thu hẹp khoảng giá trị của từ đó. Vì thay đổi cơ số sẽ dẫn đến việc giá trị của các từ thay đổi bởi một số nhất định và tỷ lệ giữa các trọng lượng với nhau sẽ không thay đổi. (nói cách khác, thay đổi cơ số sẽ không ảnh hưởng đến tỷ lệ giữa các giá trị IDF). Tuy nhiên việc thay đổi khoảng giá trị sẽ giúp tỷ lệ giữa IDF và TF tương đồng để dùng cho công thức TF-IDF như bên dưới.

Giá trị '''TF-IDF''':
:<math>\mathrm{tfidf}(t,d,D) = \mathrm{tf}(t,d) \times \mathrm{idf}(t, D)</math>

Những từ có giá trị TF-IDF cao là những từ xuất hiện nhiều trong văn bản này, và xuất hiện ít trong các văn bản khác. Việc này giúp lọc ra những từ phổ biến và giữ lại những từ có giá trị cao (từ khoá của văn bản đó).

==Ứng dụng==
IDF có ứng dụng trong [[máy tìm kiếm]]. Ví dụ, khi người dùng gửi một truy vấn đến máy tìm kiếm, hệ thống cần biết từ nào là từ người dùng quan tâm nhất. Chẳng hạn: truy vấn của người dùng là "làm thế nào để sửa máy ủi". Sau khi tách từ, chúng ta sẽ có tập các từ: làm, thế nào, để, sửa, máy ủi. Trong các từ này, "máy ủi" sẽ có IDF cao nhất. Hệ thống sẽ lấy ra tất cả các văn bản có chứa từ máy ủi và sau đó mới thực hiện việc đánh giá và so sánh dựa trên toàn bộ câu truy vấn.

== Xem thêm ==
{{Div col|colwidth=25em}}
* [[Nhúng từ]]
* [[Phân kỳ Kullback–Leibler]]
* [[Phân bổ Dirichlet tiềm ẩn]]
* [[Phân tích ngữ nghĩa tiềm ẩn]]
* [[Thông tin tương hỗ]]
* [[Cụm danh từ]]
* [[Okapi BM25]]
* [[PageRank]]
* [[Mô hình không gian vectơ]]
* [[Đếm từ]]
{{Div col end}}

==Chú thích ==
{{Tham khảo}}

== Liên kết ngoài ==
* [[Gensim]] is a Python library for vector space modeling and includes tf–idf weighting.
* [http://bscit.berkeley.edu/cgi-bin/pl_dochome?query_src=&format=html&collection=Wilensky_papers&id=3&show_doc=yes Robust Hyperlinking] {{Webarchive|url=https://archive.today/20121212011134/http://bscit.berkeley.edu/cgi-bin/pl_dochome?query_src=&format=html&collection=Wilensky_papers&id=3&show_doc=yes |date = ngày 12 tháng 12 năm 2012}}: An application of tf–idf for stable document addressability.
* [http://www.codeproject.com/KB/IP/AnatomyOfASearchEngine1.aspx Anatomy of a search engine]
* [http://lucene.apache.org/core/3_6_1/api/all/org/apache/lucene/search/Similarity.html tf–idf and related definitions] as used in [[Lucene]]
* [http://scikit-learn.org/stable/modules/generated/sklearn.feature_extraction.text.TfidfTransformer.html#sklearn.feature_extraction.text.TfidfTransformer TfidfTransformer] in [[Scikit-learn]]
* [http://scgroup.hpclab.ceid.upatras.gr/scgroup/Projects/TMG/ Text to Matrix Generator (TMG)] {{Webarchive|url=https://web.archive.org/web/20200710231410/http://scgroup.hpclab.ceid.upatras.gr/scgroup/Projects/TMG/ |date=2020-07-10 }}  MATLAB toolbox that can be used for various tasks in text mining (TM) specifically  i) indexing, ii) retrieval, iii) dimensionality reduction, iv) clustering, v) classification. The indexing step offers the user the ability to apply local and global weighting methods, including tf–idf.

{{DEFAULTSORT:Tf-Idf}}
[[Thể loại:Xử lý ngôn ngữ tự nhiên bằng thống kê]]
[[Thể loại:Hàm xếp hạng]]
[[Thể loại:Mô hình không gian vectơ]]