Xem mã nguồn của Học đặc trưng

{{mô tả ngắn|Tập hợp các kỹ thuật học trong học máy}}
{{Thanh bên học máy}}
[[Tập tin:Feature Learning Diagram.png|thumb|354x354px|Sơ đồ mô hình học đặc trưng trong học máy, được áp dụng cho các nhiệm vụ hạ nguồn, có thể được áp dụng cho dữ liệu thô như hình ảnh hoặc văn bản, hoặc một tập hợp ban đầu các [[Đặc trưng (nhận dạng mẫu)|đặc trưng]] của dữ liệu. Học đặc trưng nhằm giúp quá trình huấn luyện nhanh hơn hoặc hiệu suất tốt hơn trong các bài toán cụ thể so với việc sử dụng dữ liệu đầu vào trực tiếp, so sánh với kỹ thuật "chuyển giao học tập" (transfer learning).<ref>Goodfellow, Ian (2016). ''Deep learning''. Yoshua Bengio, Aaron Courville. Cambridge, Massachusetts. pp. 524–534. {{ISBN|0-262-03561-8}}. {{OCLC|955778308}}.</ref>]]

Trong [[học máy]], '''học đặc trưng''' (feature learning) hay '''học biểu diễn''' (representation learning)<ref name="pami">{{chú thích tạp chí |author1=Y. Bengio |author2=A. Courville |author3=P. Vincent |title=Representation Learning: A Review and New Perspectives |journal= IEEE Transactions on Pattern Analysis and Machine Intelligence|year=2013|doi=10.1109/tpami.2013.50 |pmid=23787338 |volume=35 |issue=8 |pages=1798–1828|arxiv=1206.5538 |s2cid=393948 }}</ref> là tập hợp các kỹ thuật cho phép hệ thống tự động khám phá các biểu diễn cần thiết cho việc phát hiện hoặc phân loại [[Đặc trưng (nhận dạng mẫu)|đặc trưng]] từ dữ liệu thô. Điều này thay thế cho việc xây dựng đặc trưng (feature engineering) thủ công và cho phép máy học cả đặc trưng lẫn thực hiện nhiệm vụ cụ thể.

Học đặc trưng được thúc đẩy bởi thực tế rằng các bài toán trong học máy như [[Phân loại bằng thống kê|phân loại]] thường yêu cầu đầu vào dễ dàng và thuận tiện cho việc xử lý toán học và tính toán. Tuy nhiên, dữ liệu thực tế như hình ảnh, video và dữ liệu từ cảm biến không thể dễ dàng xác định các đặc trưng cụ thể thông qua các thuật toán rõ ràng. Một phương pháp thay thế là khám phá các đặc trưng hoặc biểu diễn này thông qua quá trình quan sát, mà không phụ thuộc vào các thuật toán cụ thể.

Học đặc trưng có thể là có giám sát, không giám sát hoặc tự giám sát.
* Trong [[học có giám sát]], các [[Đặc trưng (nhận dạng mẫu)|đặc trưng]] được học từ dữ liệu đã gán nhãn. Dữ liệu có nhãn bao gồm cặp "đầu vào-nhãn", trong đó đầu vào được đưa vào mô hình và nó phải tạo ra nhãn đúng.<ref>Stuart J. Russell, Peter Norvig (2010) ''[[Artificial Intelligence: A Modern Approach]], Third Edition'', Prentice Hall {{ISBN|978-0-13-604259-4}}.</ref> Điều này có thể tận dụng để tạo ra các biểu diễn đặc trưng giúp mô hình đạt độ chính xác cao trong dự đoán nhãn. Ví dụ bao gồm [[mạng thần kinh nhân tạo]], ''perceptron nhiều lớp'' và ''supervised dictionary learning'' (học từ điển có giám sát).
* Trong [[học không có giám sát]], các [[Đặc trưng (nhận dạng mẫu)|đặc trưng]] được học từ dữ liệu không có nhãn bằng cách phân tích mối quan hệ giữa các điểm trong tập dữ liệu.<ref>Hinton, Geoffrey; Sejnowski, Terrence (1999). ''Unsupervised Learning: Foundations of Neural Computation''. MIT Press. {{ISBN|978-0-262-58168-4}}.</ref> Ví dụ bao gồm học từ điển, phân tích thành phần độc lập (independent component analysis), [[phân rã ma trận]]<ref>{{cite conference
|author1=Nathan Srebro |author2=Jason D. M. Rennie |author3=Tommi S. Jaakkola
|title=Maximum-Margin Matrix Factorization
|conference=[[Conference on Neural Information Processing Systems|NIPS]]
|year=2004
}}</ref> và các dạng khác của [[phân tích cụm]].<ref name="coates2011"/><ref>{{cite conference
|last1 = Csurka |first1 = Gabriella
|last2 = Dance |first2 = Christopher C.
|last3 = Fan |first3 = Lixin
|last4 = Willamowski |first4 = Jutta
|last5 = Bray |first5 = Cédric
|title = Visual categorization with bags of keypoints
|conference = ECCV Workshop on Statistical Learning in Computer Vision
|year = 2004
|url = https://www.cs.cmu.edu/~efros/courses/LBMV07/Papers/csurka-eccv-04.pdf
}}</ref><ref name="jurafsky">{{chú thích sách |title=Speech and Language Processing |author1=Daniel Jurafsky|author2=James H. Martin |publisher=Pearson Education International |year=2009 |pages=145–146}}</ref>
* Trong [[học tự giám sát]], các [[Đặc trưng (nhận dạng mẫu)|đặc trưng]] được học từ dữ liệu không có nhãn như học không giám sát, nhưng các cặp "đầu vào-nhãn" được tạo ra từ mỗi điểm dữ liệu. Điều này cho phép học cấu trúc của dữ liệu thông qua các phương pháp có giám sát như suy giảm độ dốc (gradient descent).<ref name=":0">{{chú thích tạp chí |last1=Ericsson |first1=Linus |last2=Gouk |first2=Henry |last3=Loy |first3=Chen Change |last4=Hospedales |first4=Timothy M. |date=May 2022 |title=Self-Supervised Representation Learning: Introduction, advances, and challenges |url=https://udrc.eng.ed.ac.uk/sites/udrc.eng.ed.ac.uk/files/publications/Self-Supervised_Representation_Learning_Introduction_advances_and_challenges.pdf |journal=IEEE Signal Processing Magazine |volume=39 |issue=3 |pages=42–62 |doi=10.1109/MSP.2021.3134634 |arxiv=2110.09327 |bibcode=2022ISPM...39c..42E |s2cid=239017006 |issn=1558-0792}}</ref> Ví dụ kinh điển bao gồm các [[vectơ từ]] và [[bộ tự mã hóa]].<ref name=":3">{{chú thích tạp chí |last1=Mikolov |first1=Tomas |last2=Sutskever |first2=Ilya |last3=Chen |first3=Kai |last4=Corrado |first4=Greg S |last5=Dean |first5=Jeff |date=2013 |title=Distributed Representations of Words and Phrases and their Compositionality |url=https://proceedings.neurips.cc/paper/2013/hash/9aa42b31882ec039965f3c4923ce901b-Abstract.html |journal=Advances in Neural Information Processing Systems |publisher=Curran Associates, Inc. |volume=26|arxiv=1310.4546 }}</ref><ref name=":1">Goodfellow, Ian (2016). ''Deep learning''. Yoshua Bengio, Aaron Courville. Cambridge, Massachusetts. pp. 499–516. {{ISBN|0-262-03561-8}}. {{OCLC|955778308}}.</ref> ''Học tự giám sát'' từ đó đã được áp dụng cho nhiều dạng dữ liệu thông qua việc sử dụng các kiến trúc [[học sâu|mạng nơ-ron sâu]] như [[mạng thần kinh tích chập]] và [[Transformer (mô hình học máy)|transformer]].<ref name=":0" />

== Học có giám sát == 
Học đặc trưng có giám sát là học các đặc trưng từ dữ liệu có nhãn. Nhãn dữ liệu cho phép hệ thống tính toán một đại lượng lỗi, mức độ mà hệ thống không thành công trong việc tạo ra nhãn. Đại lượng lỗi này sau đó được sử dụng làm phản hồi để điều chỉnh quá trình học (giảm/ tối thiểu hóa lỗi). Các phương pháp tiếp cận bao gồm:

=== Học từ điển có giám sát === 
Học từ điển phát triển một tập hợp (từ điển) các phần tử đại diện từ dữ liệu đầu vào sao cho mỗi điểm dữ liệu có thể được biểu diễn dưới dạng tổng trọng số của các phần tử đại diện. Các phần tử của từ điển và các trọng số có thể được tìm thấy bằng cách giảm thiểu lỗi trung bình trong quá trình biểu diễn (trên dữ liệu đầu vào), cùng với [[Chính quy hóa (toán học)|chính quy hóa ''L1'']] (L1 regularization) đối với các trọng số để tạo ra độ thưa (tức là, biểu diễn của mỗi điểm dữ liệu chỉ có một vài trọng số khác không).

Học từ điển có giám sát khai thác cả cấu trúc cơ bản của dữ liệu đầu vào và các nhãn để tối ưu hóa các phần tử từ điển. Ví dụ, phương pháp<ref>{{chú thích tạp chí|last1=Mairal|first1=Julien|last2=Bach|first2=Francis|last3=Ponce|first3=Jean|last4=Sapiro|first4=Guillermo|last5=Zisserman|first5=Andrew|title=Supervised Dictionary Learning|journal=Advances in Neural Information Processing Systems|date=2009}}</ref> học từ điển có giám sát này áp dụng học từ điển vào các bài toán phân loại bằng cách tối ưu hóa đồng thời các phần tử từ điển, các trọng số để biểu diễn các điểm dữ liệu, và các tham số của bộ phân loại dựa trên dữ liệu đầu vào. Cụ thể, một bài toán tối ưu hóa được hình thành, trong đó hàm mục tiêu bao gồm lỗi phân loại, lỗi biểu diễn, chính quy hóa ''L1'' trên các trọng số biểu diễn của mỗi điểm dữ liệu (để tạo ra biểu diễn thưa của dữ liệu), và chính quy hóa ''L2'' trên các tham số của bộ phân loại.

=== Mạng thần kinh === 
[[Mạng thần kinh nhân tạo]] là một họ các thuật toán học sử dụng một "mạng" gồm nhiều lớp các nút kết nối với nhau. Nó được lấy cảm hứng từ hệ thần kinh của động vật, trong đó các nút được xem như là các tế bào thần kinh và các cạnh là các khớp thần kinh. Mỗi cạnh có một trọng số liên kết, và mạng định nghĩa các quy tắc tính toán để chuyển dữ liệu đầu vào từ lớp đầu vào của mạng đến lớp đầu ra. Một ''hàm mạng'' (network function) liên quan đến mạng thần kinh đặc trưng hóa mối quan hệ giữa các lớp đầu vào và đầu ra, được tham số hóa bởi các trọng số. Với các hàm mạng được định nghĩa một cách hợp lý, có thể thực hiện các nhiệm vụ học bằng cách giảm thiểu một ''[[hàm mất mát]]'' (cost function) trên hàm mạng (các trọng số).

Các mạng thần kinh đa tầng có thể được sử dụng để thực hiện học đặc trưng, vì chúng học một biểu diễn của đầu vào tại các lớp ẩn, sau đó được sử dụng để phân loại hoặc hồi quy ở lớp đầu ra. Kiến trúc mạng phổ biến nhất thuộc loại này là "mạng thần kinh song sinh" (Siamese neural network).

== Học không giám sát  == 
Học đặc trưng không giám sát là quá trình học các đặc trưng từ dữ liệu không được gán nhãn. Mục tiêu của học đặc trưng không giám sát thường là khám phá ra các đặc trưng có kích thước thấp hơn mà nắm bắt được một số cấu trúc cơ bản trong dữ liệu đầu vào có kích thước cao. Khi học đặc trưng được thực hiện theo cách không giám sát, nó cho phép một dạng [[học bán giám sát]], nơi các đặc trưng học được từ tập dữ liệu không có nhãn được sử dụng để cải thiện hiệu suất trong môi trường học có giám sát với dữ liệu có nhãn.<ref name="liang">{{cite thesis |type=M. Eng. |author=Percy Liang |year=2005 |title=Semi-Supervised Learning for Natural Language |publisher=[[Massachusetts Institute of Technology|MIT]] |url=http://people.csail.mit.edu/pliang/papers/meng-thesis.pdf |pages=44–52}}</ref><ref name="turian"/> Một số phương pháp được giới thiệu dưới đây.

=== Phân cụm ''K''-means === 
[[Phân cụm K-means]] là một phương pháp lượng hóa vectơ. Cụ thể, với một tập hợp gồm ''n'' vectơ, phân cụm ''K''-means sẽ nhóm chúng vào ''k'' cụm (tức là các tập con) sao cho mỗi vectơ thuộc về cụm có trung bình gần nhất. Bài toán này có tính toán phức tạp thuộc loại [[NP-khó]], mặc dù đã có các thuật toán [[Giải thuật tham lam|tham lam]] cận tối ưu được phát triển.

Phân cụm ''K''-means có thể được sử dụng để nhóm một tập dữ liệu không có nhãn vào các cụm ''k'', sau đó sử dụng các "trọng tâm" (centroid) của các cụm này để tạo ra các đặc trưng. Các đặc trưng này có thể được tạo ra theo nhiều cách. Cách đơn giản nhất là thêm ''k'' đặc trưng nhị phân vào mỗi mẫu, trong đó mỗi đặc trưng ''j'' có giá trị bằng một [[khi và chỉ khi]] trọng tâm thứ ''j'' học được từ ''K''-means là gần nhất với mẫu đang xét.<ref name="coates2011"/> Cũng có thể sử dụng các khoảng cách tới các cụm làm đặc trưng, có thể sau khi biến đổi chúng thông qua một "hàm cơ sở xuyên tâm" (radial basis function - một kỹ thuật đã được sử dụng để huấn luyện mạng thần kinh cơ sở xuyên tâm hoặc 'radial basis function network'<ref name="schwenker">{{chú thích tạp chí |last1=Schwenker |first1=Friedhelm |last2=Kestler |first2=Hans A. |last3=Palm |first3=Günther |title=Three learning phases for radial-basis-function networks |journal=Neural Networks |volume=14 |issue=4–5 |pages=439–458 |year=2001 |citeseerx = 10.1.1.109.312 |doi=10.1016/s0893-6080(01)00027-2|pmid=11411631 }}</ref>). Coates và [[Andrew Ng|Ng]] lưu ý rằng các biến thể nhất định của ''K''-means hoạt động tương tự như các thuật toán mã hóa thưa thớt (sparse coding).<ref name=Coates2012>{{cite encyclopedia |last1 = Coates |first1 = Adam |last2 = Ng |first2 = Andrew Y. |title=Learning feature representations with k-means |encyclopedia=Neural Networks: Tricks of the Trade |year = 2012 |publisher=Springer |editor=G. Montavon, G. B. Orr and [[Klaus-Robert Müller|K.-R. Müller]]}}</ref>

Trong một đánh giá so sánh các phương pháp học đặc trưng không giám sát, Coates, Lee và Ng phát hiện rằng phân cụm ''K''-means với một biến đổi thích hợp vượt trội hơn so với các phương pháp tự mã hóa và RBM (Restricted Boltzmann Machine) gần đây trong bài toán phân loại hình ảnh.<ref name="coates2011"/> ''K''-means cũng cải thiện hiệu suất trong lĩnh vực [[Xử lý ngôn ngữ tự nhiên|Xử lý ngôn ngữ tự nhiên (NLP)]], đặc biệt là trong [[nhận dạng thực thể có tên]] (named-entity recognition);<ref>{{cite conference |title=Phrase clustering for discriminative learning |author1=Dekang Lin |author2=Xiaoyun Wu |conference=Proc. J. Conf. of the ACL and 4th Int'l J. Conf. on Natural Language Processing of the AFNLP |pages=1030–1038 |year=2009 |url=http://wmmks.csie.ncku.edu.tw/ACL-IJCNLP-2009/ACLIJCNLP/pdf/ACLIJCNLP116.pdf |access-date=2013-07-14 |archive-date=2016-03-03 |archive-url=https://web.archive.org/web/20160303224116/http://wmmks.csie.ncku.edu.tw/ACL-IJCNLP-2009/ACLIJCNLP/pdf/ACLIJCNLP116.pdf |url-status=dead }}</ref> ở đó, nó cạnh tranh với phân cụm Brown (Brown clustering), cũng như với các biểu diễn từ phân tán (còn được gọi là các "[[biểu diễn từ]]" bằng mạng thần kinh).<ref name="turian">{{cite conference |author1=Joseph Turian |author2=Lev Ratinov |author3=Yoshua Bengio |title=Word representations: a simple and general method for semi-supervised learning |conference=Proceedings of the 48th Annual Meeting of the Association for Computational Linguistics |year=2010 |url=http://www.newdesign.aclweb.org/anthology/P/P10/P10-1040.pdf |access-date=2014-02-22 |archive-url=https://web.archive.org/web/20140226202823/http://www.newdesign.aclweb.org/anthology/P/P10/P10-1040.pdf |archive-date=2014-02-26 |url-status=dead }}</ref>

=== Phép phân tích thành phần chính ===
[[Phép phân tích thành phần chính]] (Principal component analysis - PCA) thường được sử dụng để giảm chiều dữ liệu. Với một tập hợp không nhãn gồm ''n'' vectơ dữ liệu đầu vào, PCA tạo ra ''p'' (thường nhỏ hơn nhiều so với chiều của dữ liệu đầu vào) các "vectơ kỳ dị bên phải" tương ứng với ''p'' giá trị kỳ dị lớn nhất của ma trận dữ liệu, trong đó hàng thứ ''k'' của ma trận dữ liệu là vectơ dữ liệu đầu vào thứ ''k'' đã được dịch chuyển bởi trung bình mẫu (sample mean) của đầu vào (tức là trừ trung bình mẫu khỏi vectơ dữ liệu). Tương đương, các vectơ kỳ dị này là các [[vectơ riêng]] tương ứng với ''p'' giá trị riêng lớn nhất của "ma trận hiệp phương sai mẫu" (sample covariance matrix) của các vectơ đầu vào. Các vectơ kì dị ''p'' này là các vectơ đặc trưng học được từ dữ liệu đầu vào và chúng đại diện cho các hướng mà dữ liệu có sự biến đổi lớn nhất.

PCA là một phương pháp học đặc trưng tuyến tính vì các vectơ kỳ dị ''p'' là các hàm tuyến tính của ma trận dữ liệu. Các vectơ kỳ dị có thể được tạo ra thông qua một thuật toán đơn giản với ''p'' vòng lặp. Trong vòng lặp thứ ''i'', phép chiếu của ma trận dữ liệu lên vectơ riêng thứ ''(i-1)'' được trừ đi, và vectơ kỳ dị thứ ''i'' được tìm thấy là vectơ kỳ dị bên phải tương ứng với giá trị kỳ dị lớn nhất của ma trận dữ liệu dư thừa.

PCA có một số hạn chế. Thứ nhất, nó giả định rằng các hướng có phương sai lớn là quan trọng nhất, điều này có thể không đúng. PCA chỉ dựa vào các phép biến đổi trực giao của dữ liệu gốc và chỉ khai thác các [[Mô men (toán học)|mô men]] bậc nhất và bậc hai của dữ liệu, điều này có thể không mô tả tốt phân bố dữ liệu. Hơn nữa, PCA chỉ có thể giảm chiều một cách hiệu quả khi các vectơ dữ liệu đầu vào có sự tương quan (dẫn đến một vài giá trị riêng chiếm ưu thế).

=== Nhúng tuyến tính cục bộ === 
''Nhúng tuyến tính cục bộ'' (Nonlinear dimensionality reduction - LLE) là một phương pháp học phi tuyến tính để tạo ra các "biểu diễn bảo toàn lân cận" có chiều thấp từ đầu vào có kích thước cao (không nhãn). Phương pháp này được đề xuất bởi Roweis và Saul (2000).<ref name="RowSau00">{{chú thích tạp chí|last1=Roweis|first1=Sam T|last2=Saul|first2=Lawrence K|title=Nonlinear Dimensionality Reduction by Locally Linear Embedding|journal=Science |series=New Series|date=2000|volume=290|issue=5500|pages=2323–2326|doi=10.1126/science.290.5500.2323|jstor=3081722|pmid=11125150|bibcode=2000Sci...290.2323R|s2cid=5987139 }}</ref><ref name="SauRow00">{{chú thích tạp chí|last1=Saul|first1=Lawrence K|last2=Roweis|first2=Sam T|title=An Introduction to Locally Linear Embedding|date=2000|url=http://www.cs.toronto.edu/~roweis/lle/publications.html}}</ref> Ý tưởng chung của LLE là tái tạo dữ liệu đầu vào có kích thước cao bằng các điểm có kích thước thấp hơn trong khi bảo toàn một số tính chất hình học của các [[Lân cận (toán học)|lân cận]] (hoặc còn được gọi là "hàng xóm", "láng giềng") trong tập dữ liệu gốc.

LLE bao gồm hai bước chính. Bước đầu tiên là "bảo toàn lân cận", trong đó mỗi điểm dữ liệu đầu vào ''Xi'' được tái tạo như một tổng trọng số của [[giải thuật k hàng xóm gần nhất]] và các trọng số tối ưu được tìm ra bằng cách giảm thiểu lỗi tái tạo bình phương trung bình (tức là sự khác biệt giữa một điểm đầu vào và tái tạo của nó) dưới ràng buộc rằng tổng các trọng số liên quan đến mỗi điểm bằng một. Bước thứ hai là "giảm chiều", bằng cách tìm các vectơ trong không gian có kích thước thấp hơn mà giảm thiểu lỗi biểu diễn sử dụng các trọng số tối ưu trong bước đầu tiên. Lưu ý rằng trong bước đầu tiên, các trọng số được tối ưu hóa với dữ liệu cố định, có thể giải quyết được như một bài toán [[bình phương tối thiểu tuyến tính|bình phương tối thiểu]]. Trong bước thứ hai, các điểm có kích thước thấp hơn được tối ưu hóa với các trọng số cố định, có thể giải quyết thông qua phân rã giá trị riêng thưa thớt (sparse eigenvalue decomposition).

Các trọng số tái tạo thu được trong bước đầu tiên nắm bắt được các "tính chất hình học nội tại" (intrinsic geometric property) của hàng xóm trong dữ liệu đầu vào.<ref name="SauRow00"/> Giả định rằng dữ liệu gốc nằm trên một [[đa tạp]] (manifold) mượt mà có kích thước thấp hơn và các "tính chất hình học nội tại" được nắm bắt bởi các trọng số của dữ liệu gốc cũng được kỳ vọng nằm trên đa tạp đó. Đây là lý do tại sao các trọng số giống nhau được sử dụng trong bước thứ hai của LLE. So với PCA, LLE mạnh mẽ hơn trong việc khai thác cấu trúc dữ liệu cơ bản.

=== Phép phân tích thành phần độc lập ===
[[Phân tích thành phần độc lập]] (Independent component analysis - ICA) là một kỹ thuật để hình thành "biểu diễn dữ liệu" sử dụng tổng trọng số của các "thành phần độc lập phi Gauss" (independent non-Gaussian component).<ref>{{chú thích tạp chí|last1=Hyvärinen|first1=Aapo|last2=Oja|first2=Erkki|title=Independent Component Analysis: Algorithms and Applications|journal=Neural Networks|date=2000|volume=13|issue=4|pages=411–430|doi= 10.1016/s0893-6080(00)00026-5|pmid=10946390|s2cid=11959218 }}</ref> Giả định về tính "phi Gauss" được áp đặt vì trọng số không thể được xác định duy nhất khi tất cả các thành phần đều tuân theo [[Phân phối chuẩn|phân phối Gauss]].

=== Học từ điển không giám sát === 

Học từ điển không giám sát không sử dụng nhãn dữ liệu và khai thác cấu trúc tiềm ẩn trong dữ liệu để tối ưu hóa các phần tử của từ điển. Một ví dụ về học từ điển không giám sát là "mã hóa thưa thớt" (sparse coding), với mục tiêu học các hàm cơ sở (phần tử từ điển) để biểu diễn dữ liệu từ dữ liệu đầu vào không có nhãn. Mã hóa thưa thớt có thể được áp dụng để học các từ điển thừa, nơi số lượng phần tử từ điển lớn hơn kích thước của dữ liệu đầu vào.<ref>{{chú thích tạp chí|last1=Lee|first1=Honglak|last2=Battle|first2=Alexis|last3=Raina|first3=Rajat|last4=Ng|first4=Andrew Y|title=Efficient sparse coding algorithms|journal=Advances in Neural Information Processing Systems|date=2007}}</ref> Michal Aharon và cộng sự đã đề xuất thuật toán K-SVD để học một từ điển các phần tử cho phép biểu diễn thưa thớt (sparse representation).<ref>{{chú thích tạp chí|last1=Aharon|first1=Michal|author1-link=Michal Aharon|last2=Elad|first2=Michael|last3=Bruckstein|first3=Alfred|title=K-SVD: An Algorithm for Designing Overcomplete Dictionaries for Sparse Representation|journal=IEEE Trans. Signal Process.|date=2006|volume=54|issue=11|pages=4311–4322|doi=10.1109/TSP.2006.881199|bibcode=2006ITSP...54.4311A|s2cid=7477309 }}</ref>

== Kiến trúc đa tầng/sâu ==

Kiến trúc phân cấp của hệ thống thần kinh sinh học đã truyền cảm hứng cho các kiến trúc [[học sâu]] để học đặc trưng bằng cách xếp chồng nhiều lớp nút học (learning node).<ref>{{chú thích tạp chí|last1=Bengio|first1=Yoshua|title=Learning Deep Architectures for AI|journal=Foundations and Trends in Machine Learning|date=2009|volume=2|issue=1|pages=1–127|doi=10.1561/2200000006|s2cid=207178999 }}</ref> Các kiến trúc này thường được thiết kế dựa trên giả thuyết về "biểu diễn phân tán" (distributed representation): dữ liệu quan sát được tạo ra bởi sự tương tác của nhiều yếu tố khác nhau trên nhiều cấp độ. Trong một kiến trúc học sâu, đầu ra của mỗi lớp trung gian có thể được xem như một biểu diễn của dữ liệu đầu vào gốc. Mỗi cấp độ sử dụng biểu diễn do cấp thấp hơn tạo ra làm đầu vào, và sản xuất các biểu diễn mới làm đầu ra, sau đó được chuyển đến các cấp độ cao hơn. Đầu vào ở lớp thấp nhất là dữ liệu thô, và đầu ra của lớp cuối cùng, lớp cao nhất là đặc trưng hoặc biểu diễn cuối cùng có kích thước thấp.

=== Máy Boltzmann hạn chế ===
{{chính|Máy Boltzmann hạn chế}}
''Máy Boltzmann hạn chế'' hay ''Máy Boltzmann giới hạn'' (Restricted Boltzmann machine - RBM) thường được sử dụng như một khối xây dựng cho các kiến trúc học nhiều tầng.<ref name="coates2011">{{cite conference
|last1 = Coates
|first1 = Adam
|last2 = Lee
|first2 = Honglak
|last3 = Ng
|first3 = Andrew Y.
|title = An analysis of single-layer networks in unsupervised feature learning
|conference = Int'l Conf. on AI and Statistics (AISTATS)
|year = 2011
|url = http://machinelearning.wustl.edu/mlpapers/paper_files/AISTATS2011_CoatesNL11.pdf
|access-date = 2014-11-24
|archive-url = https://web.archive.org/web/20170813153615/http://machinelearning.wustl.edu/mlpapers/paper_files/AISTATS2011_CoatesNL11.pdf
|archive-date = 2017-08-13
|url-status = dead
}}</ref><ref name = Hinton2006>{{chú thích tạp chí | last1 = Hinton | first1 = G. E. | last2 = Salakhutdinov | first2 = R. R. | title = Reducing the Dimensionality of Data with Neural Networks | doi = 10.1126/science.1127647 | journal = Science | volume = 313 | issue = 5786 | pages = 504–507 | year = 2006 | pmid = 16873662 | url = http://www.cs.toronto.edu/~hinton/science.pdf | bibcode = 2006Sci...313..504H | s2cid = 1658773 | access-date = 2015-08-29 | archive-date = 2015-12-23 | archive-url = https://web.archive.org/web/20151223152006/http://www.cs.toronto.edu/~hinton/science.pdf | url-status = dead }}</ref> Một RBM có thể được biểu diễn dưới dạng một [[đồ thị hai phía]] không có hướng bao gồm một nhóm các biến nhị phân, các [[biến tiềm ẩn]], một nhóm các biến nhìn thấy, và các cạnh kết nối các nút ẩn và nút nhìn thấy. Đây là một trường hợp đặc biệt của ''[[máy Boltzmann]]'' tổng quát hơn với giới hạn không có kết nối nội bộ giữa các nút. Mỗi cạnh trong RBM được gán với một trọng số. Các trọng số cùng với các kết nối xác định một "hàm năng lượng" (energy function), dựa trên đó có thể tạo ra một [[phân phối xác suất đồng thời]] của các nút ẩn và nút nhìn thấy. Dựa trên cấu trúc của RBM, các biến ẩn (biến nhìn thấy) là độc lập, khi được điều kiện hoá theo các biến nhìn thấy (biến ẩn). Sự độc lập điều kiện này tạo thuận lợi cho việc tính toán.

RBM có thể được xem như một kiến trúc một lớp cho học đặc trưng không giám sát. Cụ thể, các biến nhìn thấy tương ứng với dữ liệu đầu vào, và các biến ẩn tương ứng với bộ phát hiện đặc trưng. Các trọng số có thể được huấn luyện bằng cách tối đa hóa xác suất của các biến nhìn thấy sử dụng thuật toán "divergence tương phản" (contrastive divergence - CD) của Geoffrey Hinton.<ref name = Hinton2006/>

Thông thường, việc huấn luyện RBM bằng cách giải quyết bài toán tối đa hóa có xu hướng tạo ra các biểu diễn không thưa thớt. RBM thưa thớt<ref name = Lee2008>{{chú thích tạp chí|last1=Lee|first1=Honglak|last2=Ekanadham|first2=Chaitanya|last3=Andrew|first3=Ng|title=Sparse deep belief net model for visual area V2|journal=Advances in Neural Information Processing Systems|date=2008}}</ref> đã được đề xuất để cho phép các biểu diễn thưa thớt. Ý tưởng là thêm một thuật toán [[Chính quy hóa (toán học)|chính quy hóa]] trong hàm mục tiêu của khả năng dữ liệu, để phạt việc sai lệch của các biến ẩn kỳ vọng khỏi một hằng số nhỏ <math>p</math>. RBM cũng đã được sử dụng để đạt được các biểu diễn "tách biệt" của dữ liệu, trong đó các đặc trưng thú vị được ánh xạ (mapping) tới các đơn vị ẩn riêng biệt.<ref>{{chú thích tạp chí |last1=Fernandez-de-Cossio-Diaz |first1=Jorge |last2=Cocco |first2=Simona |last3=Monasson |first3=Rémi |date=2023-04-05 |title=Disentangling Representations in Restricted Boltzmann Machines without Adversaries |url=https://link.aps.org/doi/10.1103/PhysRevX.13.021003 |journal=Physical Review X |volume=13 |issue=2 |pages=021003 |doi=10.1103/PhysRevX.13.021003|arxiv=2206.11600 |bibcode=2023PhRvX..13b1003F }}</ref>

=== Bộ tự mã hóa ===
Một [[bộ tự mã hóa]] (autoencoder) bao gồm bộ mã hóa và bộ giải mã là một mô hình cho các kiến trúc học sâu. Một ví dụ được cung cấp bởi Hinton và Salakhutdinov<ref name = Hinton2006/> trong đó bộ mã hóa sử dụng dữ liệu thô (ví dụ: hình ảnh) làm đầu vào và tạo ra đặc trưng hoặc biểu diễn làm đầu ra, và bộ giải mã sử dụng đặc trưng trích xuất từ bộ mã hóa làm đầu vào và tái tạo lại dữ liệu thô ban đầu làm đầu ra. Bộ mã hóa và bộ giải mã được xây dựng bằng cách xếp chồng nhiều lớp RBM. Các tham số tham gia trong kiến trúc ban đầu được huấn luyện theo cách [[giải thuật tham lam|tham lam]] theo từng lớp: sau khi một lớp của "bộ phát hiện đặc trưng" (feature detectors) được học, chúng sẽ được cung cấp như các biến nhìn thấy để huấn luyện RBM tương ứng. Các phương pháp hiện tại thường áp dụng huấn luyện đầu-cuối với các phương pháp suy giảm độ dốc ngẫu nhiên" (stochastic gradient descent). Việc huấn luyện có thể lặp lại cho đến khi đạt được các tiêu chí dừng.

== Học tự giám sát ==

Học biểu diễn tự giám sát là học các đặc trưng bằng cách huấn luyện trên cấu trúc của dữ liệu không có nhãn thay vì dựa vào các nhãn rõ ràng cho một [[suy giảm độ dốc|tín hiệu thông tin]]. Cách tiếp cận này cho phép kết hợp sử dụng các kiến trúc mạng thần kinh sâu và các bộ dữ liệu không có nhãn lớn hơn để tạo ra các biểu diễn đặc trưng sâu.<ref name=":0" /> Các nhiệm vụ huấn luyện thường thuộc vào hai loại là tương phản hoặc tạo sinh, hoặc kết hợp cả hai.<ref name=":2">{{chú thích tạp chí |last1=Liu |first1=Xiao |last2=Zhang |first2=Fanjin |last3=Hou |first3=Zhenyu |last4=Mian |first4=Li |last5=Wang |first5=Zhaoyu |last6=Zhang |first6=Jing |last7=Tang |first7=Jie |date=2021 |title=Self-supervised Learning: Generative or Contrastive |url=https://arxiv.org/abs/2006.08218 |journal=IEEE Transactions on Knowledge and Data Engineering |volume=35 |issue=1 |pages=857–876 |doi=10.1109/TKDE.2021.3090866 |arxiv=2006.08218 |s2cid=219687051 |issn=1558-2191}}</ref> Học biểu diễn tương phản huấn luyện các biểu diễn cho các cặp dữ liệu liên quan, được gọi là mẫu dương (posive sample), để chúng đồng bộ, trong khi các cặp không có mối quan hệ, được gọi là mẫu âm (negative sample), bị đối chiếu. Thông thường, một phần lớn hơn các mẫu âm là cần thiết để ngăn chặn hiện tượng sụp đổ thảm khốc, đó là khi tất cả các đầu vào đều được ánh xạ đến cùng một biểu diễn (vectơ).<ref name=":0" /> ''Học biểu diễn tạo sinh'' đặt nhiệm vụ cho mô hình sản xuất dữ liệu chính xác để phù hợp với đầu vào bị hạn chế hoặc tái tạo đầu vào đầy đủ từ một biểu diễn có chiều thấp hơn.<ref name=":2" />

Một thiết lập phổ biến cho "học biểu diễn tự giám sát" của một loại dữ liệu cụ thể (ví dụ: văn bản, hình ảnh, âm thanh, video) là huấn luyện trước mô hình bằng cách sử dụng các bộ dữ liệu lớn của ngữ cảnh tổng quát, dữ liệu không có nhãn.<ref name=":1" /> Tùy thuộc vào ngữ cảnh, kết quả của điều này có thể là một tập hợp các biểu diễn cho các đoạn dữ liệu phổ biến (ví dụ: từ) mà dữ liệu mới có thể được phân tách, hoặc là một mạng thần kinh có khả năng chuyển đổi mỗi điểm dữ liệu mới (ví dụ: hình ảnh) thành một tập hợp các đặc trưng có chiều thấp hơn.<ref name=":0" /> Trong cả hai trường hợp, các biểu diễn đầu ra sau đó có thể được sử dụng như một khởi đầu trong nhiều thiết lập vấn đề khác nhau nơi dữ liệu có nhãn có thể bị giới hạn. Chuyên môn hóa mô hình cho các nhiệm vụ cụ thể thường được thực hiện với học có giám sát, hoặc bằng cách tinh chỉnh mô hình/biểu diễn với các nhãn làm tín hiệu, hoặc đóng băng các biểu diễn và huấn luyện một mô hình bổ sung nhận chúng làm đầu vào.<ref name=":1" />

Nhiều sơ đồ huấn luyện tự giám sát đã được phát triển để sử dụng trong học biểu diễn của các "[[Phương thức (tương tác người–máy)|phương thức]]" khác nhau, thường đầu tiên cho thấy ứng dụng thành công trong văn bản hoặc hình ảnh trước khi được chuyển sang các loại dữ liệu khác.<ref name=":0" />

=== Văn bản ===
[[Word2vec]] là một kỹ thuật [[nhúng từ]] bằng cách học cách biểu diễn từ thông qua tự giám sát trên mỗi từ và các từ liền kề trong một cửa sổ trượt trên một tập văn bản lớn.<ref name=":4">{{cite arXiv |last1=Mikolov |first1=Tomas |last2=Chen |first2=Kai |last3=Corrado |first3=Greg |last4=Dean |first4=Jeffrey |date=2013-09-06 |title=Efficient Estimation of Word Representations in Vector Space |class=cs.CL |eprint=1301.3781 }}</ref> Mô hình này có hai sơ đồ huấn luyện khả thi để tạo ra các biểu diễn [[vectơ từ]], một là tạo sinh và một là tương phản.<ref name=":2" /> Đầu tiên là dự đoán từ dựa trên mỗi từ liền kề làm đầu vào.<ref name=":4" /> Thứ hai là huấn luyện trên sự tương đồng biểu diễn cho các từ liền kề và sự không tương đồng biểu diễn cho các cặp từ ngẫu nhiên.<ref name=":3" /> Một hạn chế của word2vec là chỉ sử dụng cấu trúc đồng xuất hiện cặp của dữ liệu, không sử dụng thứ tự hoặc toàn bộ tập từ ngữ ngữ cảnh. Các phương pháp học biểu diễn dựa trên transformer mới hơn cố gắng giải quyết điều này với các nhiệm vụ dự đoán từ.<ref name=":0" /> GPT (Generative pre-trained transformer) huấn luyện trước trên dự đoán từ tiếp theo bằng cách sử dụng các từ đầu vào trước đó làm ngữ cảnh,<ref>[https://s3-us-west-2.amazonaws.com/openai-assets/research-covers/language-unsupervised/language_understanding_paper.pdf "Improving Language Understanding by Generative Pre-Training"] (PDF). Retrieved October 10, 2022.</ref> trong khi [[BERT (mô hình ngôn ngữ)|BERT]] che dấu các token ngẫu nhiên để cung cấp ngữ cảnh hai chiều.<ref name=":7">{{chú thích tạp chí |last1=Devlin |first1=Jacob |last2=Chang |first2=Ming-Wei |last3=Lee |first3=Kenton |last4=Toutanova |first4=Kristina |title=Proceedings of the 2019 Conference of the North |date=June 2019 |url=https://aclanthology.org/N19-1423 |journal=Proceedings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, Volume 1 (Long and Short Papers) |location=Minneapolis, Minnesota |publisher=Association for Computational Linguistics |pages=4171–4186 |doi=10.18653/v1/N19-1423|s2cid=52967399 }}</ref>

Các kỹ thuật tự giám sát khác mở rộng các [[nhúng từ]] bằng cách tìm các biểu diễn cho các cấu trúc văn bản lớn hơn như "vectơ câu" hoặc "nhúng câu" (sentence embedding) hoặc đoạn văn trong dữ liệu đầu vào.<ref name=":0" /> "Doc2vec" mở rộng cách tiếp cận huấn luyện tạo sinh trong word2vec bằng cách thêm một đầu vào bổ sung vào nhiệm vụ dự đoán từ dựa trên đoạn văn mà nó nằm trong đó, và do đó có ý định biểu diễn ngữ cảnh cấp đoạn văn.<ref>{{chú thích tạp chí |last1=Le |first1=Quoc |last2=Mikolov |first2=Tomas |date=2014-06-18 |title=Distributed Representations of Sentences and Documents |url=https://proceedings.mlr.press/v32/le14.html |journal=International Conference on Machine Learning |language=en |publisher=PMLR |pages=1188–1196|arxiv=1405.4053 }}</ref>

=== Hình ảnh ===
Lĩnh vực học biểu diễn hình ảnh đã sử dụng nhiều kỹ thuật huấn luyện tự giám sát khác nhau, bao gồm chuyển đổi (transformation),<ref>Spyros Gidaris, Praveer Singh, and Nikos Komodakis. [https://openreview.net/pdf?id=S1v4N2l0- Unsupervised representation learning by predicting image rotations.] In ICLR, 2018.</ref> tô màu lại hình ảnh (inpainting),<ref name=":5">{{chú thích tạp chí |last1=Pathak |first1=Deepak |last2=Krahenbuhl |first2=Philipp |last3=Donahue |first3=Jeff |last4=Darrell |first4=Trevor |last5=Efros |first5=Alexei A. |date=2016 |title=Context Encoders: Feature Learning by Inpainting |url=https://openaccess.thecvf.com/content_cvpr_2016/html/Pathak_Context_Encoders_Feature_CVPR_2016_paper.html |pages=2536–2544|arxiv=1604.07379 }}</ref> phân biệt vùng ảnh (patch discrimination)<ref name=":6">{{chú thích tạp chí |last1=Chen |first1=Ting |last2=Kornblith |first2=Simon |last3=Norouzi |first3=Mohammad |last4=Hinton |first4=Geoffrey |date=2020-11-21 |title=A Simple Framework for Contrastive Learning of Visual Representations |url=https://proceedings.mlr.press/v119/chen20j.html |journal=International Conference on Machine Learning |language=en |publisher=PMLR |pages=1597–1607}}</ref> và phân cụm (clustering).<ref>{{chú thích tạp chí |last1=Mathilde |first1=Caron |last2=Ishan |first2=Misra |last3=Julien |first3=Mairal |last4=Priya |first4=Goyal |last5=Piotr |first5=Bojanowski |last6=Armand |first6=Joulin |date=2020 |title=Unsupervised Learning of Visual Features by Contrasting Cluster Assignments |url=https://proceedings.neurips.cc/paper/2020/hash/70feb62b69f16e0238f741fab228fec2-Abstract.html |journal=Advances in Neural Information Processing Systems |language=en |volume=33|arxiv=2006.09882 }}</ref>

Ví dụ của các phương pháp tạo sinh là Context Encoders, huấn luyện một kiến trúc [[mạng thần kinh tích chập]] "AlexNet" để tạo ra một vùng hình ảnh bị loại bỏ dựa trên hình ảnh bị che làm đầu vào,<ref name=":5" /> và iGPT, áp dụng kiến trúc mô hình ngôn ngữ GPT-2 cho hình ảnh bằng cách huấn luyện trên dự đoán pixel sau khi giảm độ phân giải hình ảnh.<ref>{{chú thích tạp chí |last1=Chen |first1=Mark |last2=Radford |first2=Alec |last3=Child |first3=Rewon |last4=Wu |first4=Jeffrey |last5=Jun |first5=Heewoo |last6=Luan |first6=David |last7=Sutskever |first7=Ilya |date=2020-11-21 |title=Generative Pretraining From Pixels |url=https://proceedings.mlr.press/v119/chen20s.html |journal=International Conference on Machine Learning |language=en |publisher=PMLR |pages=1691–1703}}</ref>

Nhiều phương pháp tự giám sát khác sử dụng "mạng song sinh" (siamese network), tạo ra các quan điểm khác nhau của hình ảnh thông qua nhiều phép tăng cường khác nhau, sau đó được căn chỉnh để có các biểu diễn tương tự nhau. Thách thức là tránh các giải pháp sụp đổ khi mô hình mã hóa tất cả các hình ảnh thành cùng một biểu diễn.<ref>{{chú thích tạp chí |last1=Chen |first1=Xinlei |last2=He |first2=Kaiming |date=2021 |title=Exploring Simple Siamese Representation Learning |url=https://openaccess.thecvf.com/content/CVPR2021/html/Chen_Exploring_Simple_Siamese_Representation_Learning_CVPR_2021_paper.html |language=en |pages=15750–15758|arxiv=2011.10566 }}</ref> SimCLR là một phương pháp tương phản sử dụng các ví dụ âm để tạo ra các biểu diễn hình ảnh với một [[mạng thần kinh tích chập]] "ResNet" (Residual neural network).<ref name=":6" /> Bootstrap Your Own Latent (BYOL) loại bỏ sự cần thiết của các mẫu âm bằng cách mã hóa một trong các quan điểm bằng một "trung bình động" (moving average) chậm của các tham số mô hình khi chúng đang được thay đổi trong quá trình huấn luyện.<ref>{{chú thích tạp chí |last1=Jean-Bastien |first1=Grill |last2=Florian |first2=Strub |last3=Florent |first3=Altché |last4=Corentin |first4=Tallec |last5=Pierre |first5=Richemond |last6=Elena |first6=Buchatskaya |last7=Carl |first7=Doersch |last8=Bernardo |first8=Avila Pires |last9=Zhaohan |first9=Guo |last10=Mohammad |first10=Gheshlaghi Azar |last11=Bilal |first11=Piot |last12=Koray |first12=Kavukcuoglu |last13=Remi |first13=Munos |last14=Michal |first14=Valko |date=2020 |title=Bootstrap Your Own Latent - A New Approach to Self-Supervised Learning |url=https://proceedings.neurips.cc/paper/2020/hash/f3ada80d5c4ee70142b17b8192b2958e-Abstract.html |journal=Advances in Neural Information Processing Systems |language=en |volume=33}}</ref>

=== Đồ thị ===
Mục tiêu của nhiều kỹ thuật học biểu diễn đồ thị là tạo ra một biểu diễn nhúng của mỗi "nút" hoặc "đỉnh" (vertex) dựa trên tổng thể cấu trúc mạng. ''node2vec'' mở rộng kỹ thuật huấn luyện [[word2vec]] sang các nút trong một đồ thị bằng cách sử dụng đồng xuất hiện trong các "bước đi ngẫu nhiên" (random walk) qua đồ thị như một thước đo sự liên kết.<ref>{{chú thích sách |last1=Grover |first1=Aditya |last2=Leskovec |first2=Jure |title=Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining |chapter=Node2vec |date=2016-08-13 |chapter-url=https://doi.org/10.1145/2939672.2939754 |series=KDD '16 |volume=2016 |location=New York, NY, USA |publisher=Association for Computing Machinery |pages=855–864 |doi=10.1145/2939672.2939754 |isbn=978-1-4503-4232-2 |pmc=5108654 |pmid=27853626}}</ref> Một cách tiếp cận khác là tối đa hóa "thông tin tương hỗ" (mutual information), một thước đo sự tương đồng, giữa các biểu diễn của các cấu trúc liên quan trong đồ thị.<ref name=":0" /> Một ví dụ là Deep Graph Infomax, sử dụng tự giám sát tương phản dựa trên thông tin tương hỗ giữa biểu diễn của một "vùng cục bộ" xung quanh mỗi nút (còn được gọi là [[Lân cận (toán học)|lân cận]]) và biểu diễn tóm tắt của toàn bộ đồ thị. Các mẫu âm (negative sample) được lấy bằng cách ghép cặp biểu diễn đồ thị với các biểu diễn từ đồ thị khác trong một thiết lập huấn luyện đa đồ thị, hoặc các biểu diễn "vùng cục bộ" bị làm hỏng trong huấn luyện đồ thị đơn.<ref>Velikovi, P., Fedus, W., Hamilton, W. L., Li, P., Bengio, Y., and Hjelm, R. D. [https://openreview.net/pdf?id=rklz9iAcKQ Deep Graph InfoMax.] In International Conference on Learning Representations (ICLR’2019), 2019.</ref>

=== Video ===
Với các kết quả tương tự trong dự đoán "mặt nạ video" (masked prediction)<ref>{{chú thích tạp chí |last1=Luo |first1=Dezhao |last2=Liu |first2=Chang |last3=Zhou |first3=Yu |last4=Yang |first4=Dongbao |last5=Ma |first5=Can |last6=Ye |first6=Qixiang |last7=Wang |first7=Weiping |date=2020-04-03 |title=Video Cloze Procedure for Self-Supervised Spatio-Temporal Learning |url=https://ojs.aaai.org/index.php/AAAI/article/view/6840 |journal=Proceedings of the AAAI Conference on Artificial Intelligence |language=en |volume=34 |issue=7 |pages=11701–11708 |doi=10.1609/aaai.v34i07.6840 |s2cid=209531629 |issn=2374-3468|doi-access=free |arxiv=2001.00294 }}</ref> và phân cụm,<ref>{{chú thích tạp chí |last1=Humam |first1=Alwassel |last2=Dhruv |first2=Mahajan |last3=Bruno |first3=Korbar |last4=Lorenzo |first4=Torresani |last5=Bernard |first5=Ghanem |last6=Du |first6=Tran |date=2020 |title=Self-Supervised Learning by Cross-Modal Audio-Video Clustering |url=https://proceedings.neurips.cc/paper/2020/hash/6f2268bd1d3d3ebaabb04d6b5d099425-Abstract.html |journal=Advances in Neural Information Processing Systems |language=en |volume=33|arxiv=1911.12667 }}</ref> các phương pháp học biểu diễn video thường tương tự như các kỹ thuật hình ảnh nhưng phải sử dụng chuỗi khung video như một cấu trúc học thêm. Các ví dụ bao gồm VCP, mặt nạ (mask) các đoạn video và huấn luyện để chọn đoạn chính xác từ một tập hợp các đoạn video, và Xu (và cộng sự), huấn luyện một mạng tích chập 3D để xác định thứ tự ban đầu dựa trên một tập hợp các đoạn video bị xáo trộn.

=== Âm thanh ===
Các kỹ thuật tự giám sát biểu diễn cũng đã được áp dụng cho nhiều định dạng dữ liệu âm thanh, đặc biệt là cho [[xử lý giọng nói]].<ref name=":0" /> Wav2vec 2.0 phân đoạn dạng sóng âm thanh thành các bước thời gian thông qua các phép [[Mạng thần kinh tích chập|chập thời gian]], và sau đó huấn luyện một [[Transformer (mô hình học máy)|transformer]] trên dự đoán các "mặt nạ bước thời gian" (masked timesteps) ngẫu nhiên bằng cách sử dụng một hàm mất mát tương phản (contrastive loss).<ref name=":8">{{chú thích tạp chí |last1=Alexei |first1=Baevski |last2=Yuhao |first2=Zhou |last3=Abdelrahman |first3=Mohamed |last4=Michael |first4=Auli |date=2020 |title=wav2vec 2.0: A Framework for Self-Supervised Learning of Speech Representations |url=https://proceedings.neurips.cc/paper/2020/hash/92d1e1eb1cd6f9fba3227870bb6d7f07-Abstract.html |journal=Advances in Neural Information Processing Systems |language=en |volume=33|arxiv=2006.11477 }}</ref> Điều này tương tự như mô hình ngôn ngữ [[BERT (mô hình ngôn ngữ)|BERT]], ngoại trừ, như trong nhiều cách tiếp cận học tự giám sát cho video, mô hình chọn từ một tập hợp các lựa chọn thay vì toàn bộ từ vựng.<ref name=":7" /><ref name=":8" />

=== Đa phương thức ===
Học tự giám sát cũng đã được sử dụng để phát triển các biểu diễn chung của nhiều loại dữ liệu.<ref name=":0" /> Các cách tiếp cận thường dựa vào một sự liên kết tự nhiên hoặc do con người tạo ra giữa các "[[Phương thức (tương tác người–máy)|phương thức]]" như một nhãn ngầm định, ví dụ như các đoạn video về động vật hoặc vật thể với âm thanh đặc trưng,<ref name=":9">{{chú thích tạp chí |last1=Zellers |first1=Rowan |last2=Lu |first2=Jiasen |last3=Lu |first3=Ximing |last4=Yu |first4=Youngjae |last5=Zhao |first5=Yanpeng |last6=Salehi |first6=Mohammadreza |last7=Kusupati |first7=Aditya |last8=Hessel |first8=Jack |last9=Farhadi |first9=Ali |last10=Choi |first10=Yejin |date=2022 |title=MERLOT Reserve: Neural Script Knowledge Through Vision and Language and Sound |url=https://openaccess.thecvf.com/content/CVPR2022/html/Zellers_MERLOT_Reserve_Neural_Script_Knowledge_Through_Vision_and_Language_and_CVPR_2022_paper.html |language=en |pages=16375–16387|arxiv=2201.02639 }}</ref> hoặc các chú thích được viết để mô tả hình ảnh.<ref name="Radford 8748–8763">{{chú thích tạp chí |last1=Radford |first1=Alec |last2=Kim |first2=Jong Wook |last3=Hallacy |first3=Chris |last4=Ramesh |first4=Aditya |last5=Goh |first5=Gabriel |last6=Agarwal |first6=Sandhini |last7=Sastry |first7=Girish |last8=Askell |first8=Amanda |last9=Mishkin |first9=Pamela |last10=Clark |first10=Jack |last11=Krueger |first11=Gretchen |last12=Sutskever |first12=Ilya |date=2021-07-01 |title=Learning Transferable Visual Models From Natural Language Supervision |url=https://proceedings.mlr.press/v139/radford21a.html |journal=International Conference on Machine Learning |language=en |publisher=PMLR |pages=8748–8763|arxiv=2103.00020 }}</ref> CLIP tạo ra một không gian biểu diễn "hình ảnh-văn bản" chung bằng cách huấn luyện để căn chỉnh các mã hóa hình ảnh và văn bản từ một tập dữ liệu lớn các cặp "hình ảnh-chú thích" sử dụng một hàm mất mát tương phản.<ref name="Radford 8748–8763"/> MERLOT Reserve huấn luyện một mã hóa dựa trên transformer để biểu diễn chung âm thanh, phụ đề và khung video từ một tập dữ liệu lớn các video thông qua ba nhiệm vụ huấn luyện chung: dự đoán mặt nạ tương phản (contrastive) của cả đoạn âm thanh hoặc văn bản dựa trên khung video, ngữ cảnh âm thanh và văn bản xung quanh, cùng với sự căn chỉnh tương phản của các khung video với các chú thích tương ứng của chúng.<ref name=":9" />

Các mô hình biểu diễn đa phương thức (multimodal representation) thường không thể giả định sự tương ứng trực tiếp của các biểu diễn trong các "mốt" khác nhau, vì sự căn chỉnh chính xác thường có thể bị nhiễu hoặc mơ hồ. Ví dụ, từ "chó" có thể được ghép với nhiều hình ảnh khác nhau của chó, và tương tự, một bức tranh về một con chó có thể được chú thích với các mức độ cụ thể khác nhau. Hạn chế này có nghĩa là các nhiệm vụ phía sau có thể yêu cầu một mạng ánh xạ sinh bổ sung giữa các dạng thức để đạt được hiệu suất tối ưu, như trong DALLE-2 cho việc tạo hình ảnh từ văn bản.<ref>{{cite arXiv |last1=Ramesh |first1=Aditya |last2=Dhariwal |first2=Prafulla |last3=Nichol |first3=Alex |last4=Chu |first4=Casey |last5=Chen |first5=Mark |date=2022-04-12 |title=Hierarchical Text-Conditional Image Generation with CLIP Latents |class=cs.CV |eprint=2204.06125 }}</ref>

== Học biểu diễn động ==

Các phương pháp học biểu diễn động tạo ra các biểu diễn ẩn cho các hệ thống động như mạng động (dynamic network). Vì các hàm khoảng cách cụ thể không thay đổi dưới các phép biến đổi tuyến tính cụ thể, các tập hợp vectơ biểu diễn khác nhau thực chất có thể biểu diễn cùng một thông tin hoặc thông tin tương tự. Do đó, đối với một hệ thống động, sự khác biệt theo thời gian trong các biểu diễn có thể được giải thích bởi sự sai lệch trong biểu diễn do các phép biến đổi tùy ý và/hoặc do các thay đổi thực sự trong hệ thống.<ref>{{chú thích tạp chí |last1=Gürsoy |first1=Furkan |last2=Haddad |first2=Mounir |last3=Bothorel |first3=Cécile |date=2023-10-07 |title=Alignment and stability of embeddings: Measurement and inference improvement |url=https://www.sciencedirect.com/science/article/pii/S0925231223006409 |journal=Neurocomputing |language=en |volume=553 |pages=126517 |doi=10.1016/j.neucom.2023.126517 |arxiv=2101.07251 |s2cid=231632462 |issn=0925-2312}}</ref> Vì vậy, nói chung, các biểu diễn theo thời gian học được thông qua các phương pháp học biểu diễn động cần được kiểm tra để tìm các thay đổi không hợp lý và cần được căn chỉnh trước khi tiến hành các phân tích động tiếp theo.

== Xem thêm ==
*[[Học sâu]]
*[[Vectơ từ]]

== Tham khảo ==
{{tham khảo|30em}}

[[Thể loại:Học máy]]