Xem mã nguồn của Máy Boltzmann

{{short description|Loại mạng nơ-ron hồi quy ngẫu nhiên}}
[[File:Boltzmannexamplev1.png|thumb|alt=Một biểu đồ minh họa về ví dụ của máy Boltzmann.|Biểu đồ minh họa về một ví dụ của máy Boltzmann. Mỗi cạnh không có hướng đại diện cho sự phụ thuộc. Trong ví dụ này, có 3 đơn vị ẩn và 4 đơn vị hiển thị. Đây không phải là máy Boltzmann hạn chế.]]

'''Máy Boltzmann''' (còn gọi là '''mô hình Sherrington–Kirkpatrick với trường ngoài''' hoặc '''mô hình Ising ngẫu nhiên'''), được đặt tên theo [[Ludwig Boltzmann]], là một mô hình "kính xoay" với trường ngoài, tức là mô hình Sherrington–Kirkpatrick,<ref>{{citation|title=Solvable Model of a Spin-Glass|number=35|year=1975|author1= Sherrington, David|author2=Kirkpatrick, Scott|journal=Physical Review Letters|volume=35|pages=1792–1796|doi=10.1103/PhysRevLett.35.1792|bibcode=1975PhRvL..35.1792S}}</ref> một dạng mô hình Ising ngẫu nhiên. Đây là một kỹ thuật từ [[Cơ học thống kê|cơ học thống kê]] được áp dụng trong [[Khoa học nhận thức|khoa học nhận thức]].<ref name=":0">{{cite journal |last=Ackley |first=David H. |author2=Hinton, Geoffrey E. |author3=Sejnowski, Terrence J. |year=1985 |title=A Learning Algorithm for Boltzmann Machines |url=http://learning.cs.toronto.edu/~hinton/absps/cogscibm.pdf |journal=Cognitive Science |volume=9 |issue=1 |pages=147–169 |doi=10.1207/s15516709cog0901_7 |archive-url=https://web.archive.org/web/20110718022336/http://learning.cs.toronto.edu/~hinton/absps/cogscibm.pdf |archive-date=18 July 2011 |doi-access=free}}</ref> Nó cũng được phân loại là một trường ngẫu nhiên Markov.<ref>{{Cite journal|last=Hinton|first=Geoffrey E.|date=2007-05-24|title=Boltzmann machine|journal=Scholarpedia|language=en|volume=2|issue=5|page=1668|doi=10.4249/scholarpedia.1668|bibcode=2007SchpJ...2.1668H|issn=1941-6016|doi-access=free}}</ref>

Máy Boltzmann có ý nghĩa lý thuyết đặc biệt vì cách hoạt động theo quy tắc Hebb, một quy tắc học tập mô phỏng sự liên kết giữa các tế bào thần kinh. Thuật toán huấn luyện của nó dựa trên cách các tế bào thần kinh kết nối với nhau. Ngoài ra, máy Boltzmann có thể hoạt động song song và có những điểm tương đồng với các quá trình vật lý đơn giản. Mặc dù máy Boltzmann với các kết nối không giới hạn chưa được chứng minh là có ích trong các bài toán thực tế của [[học máy]] hoặc [[suy luận]], nếu các kết nối được giới hạn một cách hợp lý, nó có thể giúp giải quyết được các vấn đề thực tế.<ref>{{cite book|title=International Neural Network Conference|first=Thomas R.|last=Osborn|date=1 January 1990|publisher=Springer Netherlands|pages=[https://archive.org/details/innc90parisinter0001inte/page/785 785]|doi=10.1007/978-94-009-0643-3_76|chapter=Fast Teaching of Boltzmann Machines with Local Inhibition|isbn=978-0-7923-0831-7|chapter-url=https://archive.org/details/innc90parisinter0001inte/page/785}}</ref>

Tên gọi "Máy Boltzmann" bắt nguồn từ phân phối Boltzmann trong [[cơ học thống kê]], được sử dụng trong quá trình lấy mẫu của máy này. Máy Boltzmann trở nên nổi tiếng nhờ Geoffrey Hinton, Terry Sejnowski và Yann LeCun trong cộng đồng khoa học nhận thức, đặc biệt là trong [[học máy]],<ref name=":0" /> như một phần của "mô hình dựa trên năng lượng" (EBM). Họ sử dụng khái niệm [[Cơ học Hamilton|Hamilton]] từ các mô hình vật lý để định nghĩa cách máy học.<ref>{{citation|title=On the Anatomy of MCMC-Based Maximum Likelihood Learning of Energy-Based Models|number=34|year=2020|author1=Nijkamp, E. |author2=Hill, M. E|author3= Han, T. |journal=Proceedings of the AAAI Conference on Artificial Intelligence|volume=4|pages=5272–5280|doi=10.1609/aaai.v34i04.5973|url=https://ojs.aaai.org/index.php/AAAI/article/view/5973|doi-access=free|arxiv=1903.12370}}</ref>

==Cấu trúc==
[[File:Boltzmannexamplev2.png|thumb|right|alt=Một biểu đồ minh họa về máy Boltzmann với các trọng số.|Biểu đồ minh họa một máy Boltzmann với một số trọng số được đánh dấu. Mỗi cạnh không có hướng đại diện cho sự phụ thuộc và được gán trọng số <math>w_{ij}</math>. Trong ví dụ này, có 3 đơn vị ẩn (màu xanh) và 4 đơn vị hiển thị (màu trắng). Đây không phải là máy Boltzmann hạn chế.]]

Máy Boltzmann, giống như mô hình Sherrington–Kirkpatrick, là một mạng lưới các đơn vị (giống như các tế bào thần kinh) được liên kết với nhau. Năng lượng tổng thể ([[Cơ học Hamilton|Hamilton]]) của toàn mạng lưới được xác định theo một công thức. Kết quả của mỗi đơn vị là [[Hệ nhị phân|nhị phân]], tức là nó có thể có hai trạng thái: "bật" hoặc "tắt" (0 hoặc 1). Các kết nối giữa các đơn vị được chọn ngẫu nhiên. Năng lượng toàn cục <math>E</math> trong máy Boltzmann được tính như sau, tương tự với cách tính trong [[mạng Hopfield]] và mô hình Ising:

:<math>E = -\left(\sum_{i<j} w_{ij} \, s_i \, s_j + \sum_i \theta_i \, s_i \right)</math>

Trong đó:
* <math>w_{ij}</math> là sức mạnh của kết nối giữa đơn vị <math>j</math> và đơn vị <math>i</math>.
* <math>s_i</math> là trạng thái, <math>s_i \in \{0,1\}</math>, của đơn vị <math>i</math>.
* <math>\theta_i</math> là độ lệch của đơn vị <math>i</math> trong hàm năng lượng tổng thể. (<math>-\theta_i</math> là ngưỡng kích hoạt cho đơn vị đó.)

Thông thường, các giá trị trọng số <math>w_{ij}</math> được sắp xếp thành một ma trận đối xứng <math>W=[w_{ij}]</math> và các giá trị trên đường chéo của ma trận sẽ bằng 0.

== Xác suất trạng thái của đơn vị ==

Khi một đơn vị <math>i</math> chuyển từ trạng thái 0 (tắt) sang trạng thái 1 (bật), sự thay đổi năng lượng của hệ thống, ký hiệu là <math>\Delta E_i</math>, có thể tính bằng công thức:

:<math>\Delta E_i = \sum_{j>i} w_{ij} \, s_j + \sum_{j<i} w_{ji} \, s_j + \theta_i</math>

Công thức này cho ta biết sự khác biệt giữa năng lượng khi đơn vị tắt và khi bật:

:<math>\Delta E_i = E_\text{i=off} - E_\text{i=on}</math>

Bây giờ, ta dùng tính chất Boltzmann để liên kết năng lượng của một trạng thái với xác suất của nó. Năng lượng càng thấp thì xác suất trạng thái đó xảy ra càng cao:

:<math>\Delta E_i = -k_B\,T\ln(p_\text{i=off}) - (-k_B\,T\ln(p_\text{i=on}))</math>

Ở đây, <math>k_B</math> là [[hằng số Boltzmann]], và <math>T</math> là nhiệt độ giả định. Ta có thể đơn giản hóa:

:<math>\frac{\Delta E_i}{T} = \ln(p_\text{i=on}) - \ln(p_\text{i=off})</math>
:<math>\frac{\Delta E_i}{T} = \ln(p_\text{i=on}) - \ln(1 - p_\text{i=on})</math>
:<math>\frac{\Delta E_i}{T} = \ln\left(\frac{p_\text{i=on}}{1 - p_\text{i=on}}\right)</math>
:<math>-\frac{\Delta E_i}{T} = \ln\left(\frac{1 - p_\text{i=on}}{p_\text{i=on}}\right)</math>
:<math>-\frac{\Delta E_i}{T} = \ln\left(\frac{1}{p_\text{i=on}} - 1\right)</math>
:<math>\exp\left(-\frac{\Delta E_i}{T}\right) = \frac{1}{p_\text{i=on}} - 1</math>

Giải phương trình này, ta tìm được xác suất mà đơn vị <math>i</math> đang bật:

:<math>p_\text{i=on} = \frac{1}{1+\exp(-\frac{\Delta E_i}{T})}</math>

Ở đây, <math>T</math> gọi là [[nhiệt độ]] của hệ thống. Công thức trên chính là cách tạo ra [[hàm logistic]] dùng để tính xác suất trong máy Boltzmann.

== Trạng thái cân bằng ==

Mạng hoạt động bằng cách chọn một đơn vị và thay đổi trạng thái của nó nhiều lần. Khi mạng đã chạy đủ lâu ở một nhiệt độ cố định, xác suất của mỗi trạng thái mạng chỉ phụ thuộc vào năng lượng của nó theo phân phối Boltzmann. Điều này có nghĩa là log của xác suất các trạng thái mạng sẽ tuyến tính với năng lượng của chúng. Khi mạng đạt đến "trạng thái cân bằng nhiệt", các xác suất này không còn phụ thuộc vào trạng thái ban đầu.

Nếu mạng chạy từ nhiệt độ cao và từ từ giảm xuống, nó có thể hội tụ về một trạng thái mà năng lượng của nó nằm gần mức tối thiểu. Quá trình này gọi là làm nguội mô phỏng (simulated annealing).

Để huấn luyện mạng, ta cần điều chỉnh các trọng số sao cho các trạng thái tổng thể có xác suất cao nhất cũng có năng lượng thấp nhất. Điều này được thực hiện qua quá trình huấn luyện.

== Huấn luyện ==

Các đơn vị trong máy Boltzmann được chia thành "hiển thị" (visible), V, và "ẩn" (hidden), H. Các đơn vị hiển thị là những đơn vị nhận thông tin từ bên ngoài. Tập huấn luyện là tập hợp các vector nhị phân trên tập V. Phân phối xác suất trên tập huấn luyện được ký hiệu là <math>P^{+}(V)</math>.

Phân phối trên các trạng thái tổng thể của mạng, khi mạng đã đạt trạng thái cân bằng, ký hiệu là <math>P^{-}(V)</math>.

Mục tiêu là làm sao cho phân phối do máy sinh ra <math>P^{-}(V)</math> gần giống với phân phối "thực" <math>P^{+}(V)</math>. Mức độ giống nhau này được đo bằng [[Phân kỳ Kullback–Leibler]], ký hiệu là <math>G</math>:

:<math>G = \sum_{v}{P^{+}(v)\ln\left({\frac{P^{+}(v)}{P^{-}(v)}}\right)}</math>

Tổng này lấy trên tất cả các trạng thái của <math>V</math>. <math>G</math> phụ thuộc vào các trọng số vì chúng quyết định năng lượng, mà năng lượng lại quyết định <math>P^{-}(v)</math>. Để tối ưu <math>G</math>, ta sử dụng thuật toán [[suy giảm độ dốc]], điều chỉnh từng trọng số bằng cách trừ đi [[đạo hàm riêng]] của <math>G</math> theo trọng số đó.

Quá trình huấn luyện máy Boltzmann có hai giai đoạn luân phiên nhau. Giai đoạn đầu gọi là "giai đoạn dương" (positive phase), ở đó các đơn vị hiển thị được ghim vào các vector từ tập huấn luyện (theo <math>P^{+}</math>). Giai đoạn còn lại gọi là "giai đoạn âm" (negative phase), khi mạng được phép chạy tự do, nghĩa là chỉ có các đơn vị đầu vào bị cố định, còn các đơn vị khác thì tự do thay đổi. Đạo hàm riêng của <math>G</math> theo trọng số <math>w_{ij}</math> là:<ref name=":0" />

:<math>\frac{\partial{G}}{\partial{w_{ij}}} = -\frac{1}{R}[p_{ij}^{+}-p_{ij}^{-}]</math>

Trong đó:
* <math>p_{ij}^{+}</math> là xác suất mà các đơn vị ''i'' và ''j'' đều bật khi máy đang ở trạng thái cân bằng trong giai đoạn dương.
* <math>p_{ij}^{-}</math> là xác suất mà các đơn vị ''i'' và ''j'' đều bật khi máy đang ở trạng thái cân bằng trong giai đoạn âm.
* <math>R</math> đại diện cho tốc độ học.

Kết quả này dựa trên thực tế rằng ở trạng thái cân bằng nhiệt, xác suất <math>P^{-}(s)</math> của bất kỳ trạng thái toàn cục nào <math>s</math> khi mạng tự chạy là phân phối Boltzmann.

Quy tắc học này có tính khả thi sinh học vì chỉ cần thông tin "cục bộ" để thay đổi các trọng số. Tức là, kết nối ([[Synap|synap]], theo sinh học) không cần thông tin gì khác ngoài hai neuron mà nó kết nối. Điều này thực tế hơn về mặt sinh học so với thông tin mà một kết nối cần trong nhiều thuật toán huấn luyện mạng nơ-ron khác, chẳng hạn như [[Truyền ngược|truyền ngược]].

Việc huấn luyện máy Boltzmann không sử dụng [[Thuật toán cực đại hóa kỳ vọng|thuật toán EM]], vốn được sử dụng nhiều trong [[học máy]]. Bằng cách tối thiểu hóa [[Phân kỳ Kullback–Leibler|phân kỳ KL]], nó tương đương với việc tối đa hóa xác suất log của dữ liệu. Do đó, quy trình huấn luyện thực hiện suy giảm độ dốc trên xác suất log của dữ liệu quan sát. Điều này trái ngược với thuật toán EM, nơi phân phối hậu nghiệm của các nút ẩn phải được tính trước khi tối đa hóa giá trị kỳ vọng của xác suất đầy đủ của dữ liệu trong bước M.

Huấn luyện các độ lệch cũng tương tự, nhưng chỉ sử dụng hoạt động của một nút duy nhất:

:<math>\frac{\partial{G}}{\partial{\theta_{i}}} = -\frac{1}{R}[p_{i}^{+}-p_{i}^{-}]</math>

==Vấn đề==
Về mặt lý thuyết, máy Boltzmann là một môi trường tính toán khá chung. Ví dụ, nếu được huấn luyện trên các bức ảnh, máy sẽ mô hình hóa phân phối của các bức ảnh và có thể sử dụng mô hình đó để hoàn thiện một bức ảnh bị thiếu.

Tuy nhiên, máy Boltzmann gặp phải một vấn đề thực tế nghiêm trọng, cụ thể là dường như nó ngừng học đúng cách khi máy được mở rộng lên kích thước lớn hơn một kích thước tầm thường.{{Citation needed|date=January 2013}} Điều này là do những hiệu ứng quan trọng, cụ thể là:

* Thời gian cần thiết để thu thập thống kê cân bằng tăng theo cấp số nhân với kích thước của máy, và với độ lớn của các trọng số kết nối.{{Citation needed|date=August 2015}}
* Trọng số kết nối trở nên dễ thay đổi hơn khi các đơn vị được kết nối có xác suất kích hoạt nằm giữa không và một, dẫn đến một cái bẫy phương sai. Hiệu ứng tổng thể là tiếng ồn khiến các trọng số kết nối đi theo một đường đi ngẫu nhiên cho đến khi các hoạt động đạt đến trạng thái bão hòa.

==Các loại==
===Máy Boltzmann hạn chế===
{{chính|Máy Boltzmann hạn chế}}
[[File:Restricted Boltzmann machine.svg|thumb|right|alt=Biểu diễn đồ họa của một ví dụ về máy Boltzmann hạn chế.|Biểu diễn đồ họa của một máy Boltzmann hạn chế. Bốn đơn vị màu xanh dương đại diện cho các đơn vị ẩn, và ba đơn vị màu đỏ đại diện cho các trạng thái hiển thị. Trong máy Boltzmann hạn chế chỉ có các kết nối (phụ thuộc) giữa các đơn vị ẩn và hiển thị, và không có kết nối giữa các đơn vị cùng loại (không có kết nối ẩn-ẩn hoặc hiển thị-hiển thị).]]
Mặc dù việc học là không thực tế trong các máy Boltzmann thông thường, nó có thể trở nên hiệu quả trong một máy Boltzmann hạn chế (RBM) không cho phép có các kết nối nội lớp giữa các đơn vị ẩn và hiển thị, tức là không có kết nối giữa các đơn vị hiển thị với nhau và các đơn vị ẩn với nhau. Sau khi huấn luyện một RBM, hoạt động của các đơn vị ẩn có thể được xử lý như dữ liệu để huấn luyện một RBM cấp cao hơn. Phương pháp xếp chồng RBM này cho phép huấn luyện nhiều lớp đơn vị ẩn một cách hiệu quả và là một trong những chiến lược [[Học sâu|học sâu]] phổ biến nhất. Mỗi lớp mới được thêm vào sẽ cải thiện mô hình tạo sinh.

Một phần mở rộng của máy Boltzmann hạn chế cho phép sử dụng dữ liệu thực thay vì dữ liệu nhị phân.<ref>{{Citation|title=Recent Developments in Deep Learning| date=22 March 2010 |url=https://www.youtube.com/watch?v=VdIURAu1-aU |archive-url=https://ghostarchive.org/varchive/youtube/20211222/VdIURAu1-aU |archive-date=2021-12-22 |url-status=live|language=en|access-date=2020-02-17}}{{cbignore}}</ref>

Một ví dụ về ứng dụng thực tế của RBM là trong nhận dạng giọng nói.<ref>{{cite journal |url=http://research.microsoft.com/pubs/144412/DBN4LVCSR-TransASLP.pdf |title=Context-Dependent Pre-trained Deep Neural Networks for Large Vocabulary Speech Recognition |journal=Microsoft Research |volume=20 |year=2011|last1=Yu |first1=Dong |last2=Dahl |first2=George |last3=Acero |first3=Alex |last4=Deng |first4=Li }}</ref>

===Máy Boltzmann sâu===
Máy Boltzmann sâu (DBM) là một loại trường ngẫu nhiên Markov cặp nhị phân ([[Đồ thị (lý thuyết đồ thị)|đồ thị phi hướng]] xác suất [[Mô hình xác suất dạng đồ thị|dạng đồ thị]]) với nhiều lớp [[Biến tiềm ẩn|ẩn]] [[Biến ngẫu nhiên|ngẫu nhiên]]. Đây là một mạng lưới các đơn vị nhị phân đối xứng liên kết ngẫu nhiên. Nó bao gồm một tập hợp các đơn vị hiển thị <math>\boldsymbol{\nu} \in \{0,1\}^D</math> và các lớp đơn vị ẩn <math>\boldsymbol{h}^{(1)} \in \{0,1\}^{F_1}, \boldsymbol{h}^{(2)} \in \{0,1\}^{F_2}, \ldots, \boldsymbol{h}^{(L)} \in \{0,1\}^{F_L}</math>. Không có kết nối nào liên kết các đơn vị của cùng một lớp (giống như RBM). Đối với {{tooltip|2=Deep Boltzmann machine|DBM}}, xác suất được gán cho vector {{mvar|'''&nu;'''}} là
: <math>p(\boldsymbol{\nu}) = \frac{1}{Z}\sum_h e^{\sum_{ij}W_{ij}^{(1)}\nu_i h_j^{(1)} + \sum_{jl}W_{jl}^{(2)}h_j^{(1)}h_l^{(2)}+\sum_{lm}W_{lm}^{(3)}h_l^{(2)}h_m^{(3)}},</math>
trong đó <math>\boldsymbol{h} = \{\boldsymbol{h}^{(1)}, \boldsymbol{h}^{(2)}, \boldsymbol{h}^{(3)} \}</math> là tập hợp các đơn vị ẩn, và <math>\theta = \{\boldsymbol{W}^{(1)}, \boldsymbol{W}^{(2)}, \boldsymbol{W}^{(3)} \} </math> là các tham số của mô hình, đại diện cho tương tác giữa các đơn vị hiển thị và ẩn, cũng như tương tác giữa các đơn vị ẩn với nhau.<ref name="ref12">{{cite journal|last1=Hinton|first1=Geoffrey|last2=Salakhutdinov|first2=Ruslan|date=2012|title=A better way to pretrain deep Boltzmann machines|url=http://machinelearning.wustl.edu/mlpapers/paper_files/NIPS2012_1178.pdf|journal=Advances in Neural|volume=3|pages=1–9|access-date=2017-08-18|archive-url=https://web.archive.org/web/20170813152400/http://machinelearning.wustl.edu/mlpapers/paper_files/NIPS2012_1178.pdf|archive-date=2017-08-13}}</ref> Trong một DBN (deep belief network) chỉ có hai lớp trên cùng tạo thành một máy Boltzmann hạn chế (là một mô hình [[Mô hình xác suất dạng đồ thị|đồ thị dạng đồ thị phi hướng]]), trong khi các lớp dưới tạo thành một mô hình tạo sinh theo hướng. Trong DBM, tất cả các lớp đều đối xứng và phi hướng.

Giống như các mạng niềm tin sâu (DBNs), máy Boltzmann sâu (DBMs) có thể học các biểu diễn phức tạp và trừu tượng từ dữ liệu, giúp ích cho các nhiệm vụ như [[Nhận dạng tiếng nói|nhận dạng giọng nói]]. DBMs sử dụng dữ liệu nhãn ít để tinh chỉnh kết quả từ một lượng lớn dữ liệu không nhãn. Khác với DBNs và [[Mạng thần kinh tích chập|mạng thần kinh tích chập sâu]], DBMs học theo cả hai hướng: từ dưới lên và từ trên xuống. Điều này giúp DBMs hiểu rõ hơn về cấu trúc của dữ liệu đầu vào.<ref name="ref32">{{cite conference |last1=Hinton|first1=Geoffrey|last2=Salakhutdinov|first2=Ruslan|date=2009|title=Efficient Learning of Deep Boltzmann Machines |book-title=Proceedings of the Twelfth International Conference on Artificial Intelligence and Statistics |url=http://machinelearning.wustl.edu/mlpapers/paper_files/AISTATS09_SalakhutdinovH.pdf|volume=3|pages=448–455|access-date=2017-08-18|archive-url=https://web.archive.org/web/20151106235714/http://machinelearning.wustl.edu/mlpapers/paper_files/AISTATS09_SalakhutdinovH.pdf|archive-date=2015-11-06}}</ref><ref name="ref42">{{cite web |last1=Bengio|first1=Yoshua|last2=LeCun|first2=Yann|date=2007|title=Scaling Learning Algorithms towards AI |website=Université de Montréal |url=http://www.iro.umontreal.ca/~lisa/bib/pub_subject/language/pointeurs/bengio+lecun-chapter2007.pdf |type=Preprint}}</ref><ref name="ref22">{{cite conference |last1=Larochelle|first1=Hugo|last2=Salakhutdinov|first2=Ruslan|date=2010|title=Efficient Learning of Deep Boltzmann Machines |book-title=Proceedings of the Thirteenth International Conference on Artificial Intelligence and Statistics |url=http://machinelearning.wustl.edu/mlpapers/paper_files/AISTATS2010_SalakhutdinovL10.pdf|pages=693–700|access-date=2017-08-18|archive-url=https://web.archive.org/web/20170814001329/http://machinelearning.wustl.edu/mlpapers/paper_files/AISTATS2010_SalakhutdinovL10.pdf|archive-date=2017-08-14}}</ref>

Tuy nhiên, DBMs có tốc độ học rất chậm, ảnh hưởng đến hiệu quả và khả năng của chúng. Vì việc học tối ưu chính xác là không thể, DBMs chỉ có thể sử dụng phương pháp học xấp xỉ. Một cách khác là dùng suy luận trường trung bình để dự đoán dữ liệu, bằng cách dùng [[Xích Markov Monte Carlo|Markov chain Monte Carlo]] (MCMC).<ref name="ref12" /> Suy luận xấp xỉ này chậm hơn từ 25 đến 50 lần so với cách truyền từ dưới lên trong DBMs, làm cho việc tối ưu với dữ liệu lớn rất khó khăn và hạn chế khả năng của DBMs trong việc tạo biểu diễn đặc trưng.

=== RBMs dạng spike-and-slab ===
RBM dạng spike-and-slab (''ss''RBM) được phát triển để học với các đầu vào có [[Số thực|giá trị thực]], giống như Gaussian RBMs. Mô hình này sử dụng các [[biến tiềm ẩn]] nhị phân để mô phỏng dữ liệu có giá trị liên tục.<ref name="ref30">{{cite journal|last1=Courville|first1=Aaron|last2=Bergstra|first2=James|last3=Bengio|first3=Yoshua|date=2011|title=A Spike and Slab Restricted Boltzmann Machine|url=http://machinelearning.wustl.edu/mlpapers/paper_files/AISTATS2011_CourvilleBB11.pdf|journal=JMLR: Workshop and Conference Proceeding|volume=15|pages=233–241|access-date=2019-08-25|archive-url=https://web.archive.org/web/20160304112418/http://machinelearning.wustl.edu/mlpapers/paper_files/AISTATS2011_CourvilleBB11.pdf|archive-date=2016-03-04}}</ref> Giống như các RBMs cơ bản, ssRBM cũng là một [[Đồ thị hai phía|đồ thị hai phía]], nhưng các đơn vị đầu vào (hiển thị) có giá trị thực. Sự khác biệt nằm ở lớp ẩn: mỗi đơn vị ẩn có một biến spike nhị phân và một biến slab giá trị thực. Một spike là một [[Hàm khối xác suất|khối xác suất]] rời rạc ở 0, trong khi slab là một [[Hàm mật độ xác suất|mật độ]] trên miền liên tục;<ref name="ref322">{{cite conference|last1=Courville|first1=Aaron|last2=Bergstra|first2=James|last3=Bengio|first3=Yoshua|date=2011|title=Proceedings of the 28th International Conference on Machine Learning|volume=10|pages=1–8|chapter=Unsupervised Models of Images by Spike-and-Slab RBMs|chapter-url=http://machinelearning.wustl.edu/mlpapers/paper_files/ICML2011Courville_591.pdf|conference=|access-date=2019-08-25|archive-date=2016-03-04|archive-url=https://web.archive.org/web/20160304054551/http://machinelearning.wustl.edu/mlpapers/paper_files/ICML2011Courville_591.pdf}}</ref> hỗn hợp của chúng tạo ra một phân phối tiên nghiệm.<ref name="ref31">{{cite journal|last1=Mitchell|first1=T|last2=Beauchamp|first2=J|date=1988|title=Bayesian Variable Selection in Linear Regression|url=https://archive.org/details/sim_journal-of-the-american-statistical-association_1988-12_83_404/page/n100|journal=Journal of the American Statistical Association|volume=83|issue=404|pages=1023–1032|doi=10.1080/01621459.1988.10478694}}</ref>

Một phiên bản mở rộng của ssRBM được gọi là μ-ssRBM, cung cấp khả năng mô hình hóa mạnh hơn nhờ thêm các thành phần vào [[Tối ưu hóa (toán học)|hàm năng lượng]]. Một trong các thành phần này cho phép mô hình dự đoán biến spike bằng cách tính trung bình các biến slab dựa trên một quan sát.

=== Trong toán học ===
{{Main|Phân bố Gibbs}}

Trong toán học, phân phối Boltzmann còn được gọi là [[Phân bố Gibbs]]. Trong [[Thống kê]] và [[Học máy]], nó được gọi là mô hình log-tuyến tính. Trong [[Học sâu]], phân phối Boltzmann được sử dụng để lấy mẫu trong các [[Mạng thần kinh nhân tạo|mạng nơ-ron ngẫu nhiên]] như máy Boltzmann.

== Lịch sử ==
Máy Boltzmann dựa trên mô hình "spin glass" Sherrington–Kirkpatrick.<ref>{{Cite journal|last1=Sherrington|first1=David|last2=Kirkpatrick|first2=Scott|date=1975-12-29|title=Solvable Model of a Spin-Glass|journal=Physical Review Letters|volume=35|issue=26|pages=1792–1796|doi=10.1103/physrevlett.35.1792|bibcode=1975PhRvL..35.1792S|issn=0031-9007}}</ref> John Hopfield là người tiên phong khi ông đã áp dụng các phương pháp từ cơ học thống kê, như lý thuyết "spin glass" (kính xoay), để nghiên cứu [[Mạng Hopfield|bộ nhớ liên kết]] vào năm 1982.<ref>{{Cite journal |last=Hopfield, J. J. |year=1982 |title=Neural networks and physical systems with emergent collective computational abilities |journal=Proceedings of the National Academy of Sciences of the United States of America |publisher=[s.n.] |volume=79 |issue=8 |pages=2554–8 |bibcode=1982PNAS...79.2554H |doi=10.1073/pnas.79.8.2554 |oclc=848771572 |pmc=346238 |pmid=6953413 |doi-access=free}}</ref>

Những đóng góp ban đầu về việc ứng dụng mô hình dựa trên năng lượng vào khoa học nhận thức được thể hiện trong các bài báo của Hinton và Sejnowski.<ref>{{Cite conference|url=http://digitalcollections.library.cmu.edu/awweb/awarchive?type=file&item=360445|title=Analyzing Cooperative Computation|last1=Hinton|first1=Geoffery|date=May 1983|access-date=17 February 2020|first2=Terrence J.|last2=Sejnowski|conference=5th Annual Congress of the Cognitive Science Society|location=Rochester, New York}}{{Dead link|date=June 2024 |bot=InternetArchiveBot |fix-attempted=yes }}</ref><ref>{{cite conference|first1= Geoffrey E. |last1=Hinton |first2= Terrence J. |last2=Sejnowski|title=Optimal Perceptual Inference |conference=IEEE Conference on Computer Vision and Pattern Recognition (CVPR)|pages= 448–453|publisher= IEEE Computer Society|location= Washington, D.C.|date=June 1983}}</ref><ref>Fahlman SE, Hinton GE, Sejnowski TJ. ''[https://www.cs.toronto.edu/~fritz/absps/fahlmanBM.pdf Massively parallel architectures for Al: NETL, Thistle, and Boltzmann machines.]'' In: Genesereth MR, editor. ''AAAI-83.'' Washington, DC: AAAI; 1983. pp. 109–113</ref> Trong một cuộc phỏng vấn năm 1995, Hinton cho biết vào đầu năm 1983, ông đã thiết kế một thuật toán học để phục vụ cho buổi thuyết trình về "làm nguội mô phỏng" trong mạng Hopfield, và kết quả là sự ra đời của thuật toán máy Boltzmann.<ref>Chapter 16. Rosenfeld, Edward, and James A. Anderson, eds. 2000. ''Talking Nets: An Oral History of Neural Networks''. Reprint edition. The MIT Press.</ref>

Ý tưởng dùng mô hình Ising với phương pháp lấy mẫu Gibbs "làm nguội" đã được sử dụng trong dự án Copycat của Douglas Hofstadter vào năm 1984.<ref>{{Cite book|last=Hofstadter, D. R.|title=The Copycat Project: An Experiment in Nondeterminism and Creative Analogies.|date=January 1984|publisher=Defense Technical Information Center|oclc=227617764}}</ref><ref>{{Cite book|editor-last=Caianiello|editor-first=Eduardo R.|title=Physics of cognitive processes|date=1988|publisher=World Scientific|isbn=9971-5-0255-0|oclc=750950619|last=Hofstadter |first=Douglas R. |chapter=A Non-Deterministic Approach to Analogy, Involving the Ising Model of Ferromagnetism|location=Teaneck, New Jersey}}</ref>

Cách trình bày của máy Boltzmann liên quan đến các thuật ngữ từ vật lý như "năng lượng", do mô hình này có sự tương đồng với cơ học thống kê. Việc dùng các thuật ngữ này đã giúp áp dụng nhiều khái niệm và phương pháp từ cơ học thống kê. Các đề xuất sử dụng phương pháp làm nguội mô phỏng để suy luận có vẻ đã xuất hiện độc lập ở nhiều nơi.

Những ý tưởng tương tự, nhưng thay đổi một chút trong hàm năng lượng, cũng được tìm thấy trong "Lý thuyết hòa hợp" (Harmony Theory) của Paul Smolensky.<ref>Smolensky, Paul. "Information processing in dynamical systems: Foundations of harmony theory." (1986): 194-281.</ref> Mô hình Ising có thể được mở rộng thành trường ngẫu nhiên Markov, và được áp dụng rộng rãi trong [[Ngôn ngữ học]], [[Robot học]], [[Thị giác máy tính]] và [[Trí tuệ nhân tạo]].

Năm 2024, John J. Hopfield và Geoffrey E. Hinton đã nhận [[Giải Nobel Vật lý]] nhờ những đóng góp nền tảng của họ cho [[Học máy]], bao gồm cả máy Boltzmann.

==Tham khảo==
{{tham khảo|30em}}

==Đọc thêm==
* {{cite journal
 |last1=Hinton
 |first1=G. E.
 |last2=Sejnowski
 |first2=T. J.
 |year=1986
 |title=Learning and Relearning in Boltzmann Machines
 |editor=D. E. Rumelhart |editor2=J. L. McClelland
 |journal=Parallel Distributed Processing: Explorations in the Microstructure of Cognition. Volume 1: Foundations
 |pages=282–317
 |url=http://www.cs.toronto.edu/~hinton/absps/pdp7.pdf
 |archive-url=https://web.archive.org/web/20100705230134/http://learning.cs.toronto.edu/~hinton/absps/pdp7.pdf
 |archive-date=2010-07-05
 }}
* {{cite journal 
 |doi=10.1162/089976602760128018 
 |last1=Hinton |first1=G. E.
 |year=2002
 |title=Training Products of Experts by Minimizing Contrastive Divergence
 |journal=Neural Computation
 |volume=14 
 |issue=8 |pages=1771–1800
 |url=http://www.cs.toronto.edu/~hinton/absps/nccd.pdf 
 |pmid=12180402
|citeseerx=10.1.1.35.8613 |s2cid=207596505 }}
* {{cite journal 
 |doi=10.1162/neco.2006.18.7.1527 
 |last1=Hinton |first1=G. E.
 |last2=Osindero |first2=S.
 |last3=Teh |first3=Y. 
 |year=2006
 |title=A fast learning algorithm for deep belief nets
 |journal=Neural Computation
 |volume=18 
 |issue=7 |pages=1527–1554 
 |url=http://www.cs.toronto.edu/~hinton/absps/fastnc.pdf 
 |pmid=16764513
|citeseerx=10.1.1.76.1541 |s2cid=2309950 }}
* [https://www.forbes.com/sites/tomtaulli/2020/02/02/coronavirus-can-ai-artificial-intelligence-make-a-difference/?sh=1eca51e55817 Kothari P (2020): https://www.forbes.com/sites/tomtaulli/2020/02/02/coronavirus-can-ai-artificial-intelligence-make-a-difference/?sh=1eca51e55817]
* {{Cite web |last=Montufar|first=Guido|year=2018|title=Restricted Boltzmann Machines: Introduction and Review |type=Preprint |url=https://www.mis.mpg.de/preprints/2018/preprint2018_87.pdf|language=en|website=MPI MiS |access-date=1 August 2023}}

==Liên kết ngoài==
*[https://www.scholarpedia.org/article/Boltzmann_Machine Bài viết Scholarpedia của Hinton về máy Boltzmann] {{Webarchive|url=https://web.archive.org/web/20241009162418/http://www.scholarpedia.org/article/Boltzmann_machine |date=2024-10-09 }}
*[https://www.youtube.com/watch?v=AyzOUbkUf3M Bài nói chuyện tại Google của Geoffrey Hinton]

{{Chủ đề Cơ học thống kê}}
{{Kiểm soát tính nhất quán}}

[[Thể loại:Mạng thần kinh nhân tạo]]