Xem mã nguồn của Mạng thần kinh hồi quy

{{Short description|Mô hình tính toán được sử dụng trong học máy}}
{{Distinguish|mạng thần kinh đệ quy}}
{{Thanh bên học máy}}

'''Mạng thần kinh hồi quy''' (hay còn gọi là '''mạng thần kinh/nơ-ron tái phát''', '''mạng thần kinh tái phát''', [[tiếng Anh]]: '''recurrent neural network''', viết tắt '''RNN''') là một lớp của [[mạng thần kinh nhân tạo]], nơi kết nối giữa các nút để tạo thành [[đồ thị có hướng]] dọc theo một trình tự thời gian. Điều này cho phép mạng thể hiện hành vi động tạm thời. Có nguồn gốc từ [[mạng thần kinh truyền thẳng]], RNN có thể dùng trạng thái trong (bộ nhớ) để xử lý các chuỗi đầu vào có độ dài thay đổi.<ref>{{Chú thích tạp chí|last=Dupond|first=Samuel|date=2019|title=<!-- for sure correct title? not found, nor in archive.org (for 2020-02-13), nor Volume correct? 2019 is vol 47-48 and 41 from 2016--> A thorough review on the current advance of neural network structures.|url=https://www.sciencedirect.com/journal/annual-reviews-in-control|journal=Annual Reviews in Control|volume=14|pages=200–230|via=}}</ref><ref>{{Chú thích tạp chí|date = ngày 1 tháng 11 năm 2018 |title=State-of-the-art in artificial neural network applications: A survey|url=https://www.sciencedirect.com/science/article/pii/S2405844018332067|journal=Heliyon|language=en|volume=4|issue=11|pages=e00938|doi=10.1016/j.heliyon.2018.e00938|issn=2405-8440|doi-access=free|last1=Abiodun|first1=Oludare Isaac|last2=Jantan|first2=Aman|last3=Omolara|first3=Abiodun Esther|last4=Dada|first4=Kemi Victoria|last5=Mohamed|first5=Nachaat Abdelatif|last6=Arshad|first6=Humaira|pmid=30519653}}</ref><ref>{{Chú thích tạp chí|date = ngày 1 tháng 12 năm 2018 |title=Time series forecasting using artificial neural networks methodologies: A systematic review|url=https://www.sciencedirect.com/science/article/pii/S2314728817300715|journal=Future Computing and Informatics Journal|language=en|volume=3|issue=2|pages=334–340|doi=10.1016/j.fcij.2018.10.003|issn=2314-7288|doi-access=free|last1=Tealab|first1=Ahmed}}</ref> Điều này làm cho RNN có thể áp dụng cho các tác vụ như [[nhận dạng chữ viết tay]] (handwriting recognition)<ref>{{chú thích tạp chí |last1=Graves |first1=Alex |author-link1=Alex Graves (computer scientist) |last2=Liwicki |first2=Marcus |last3=Fernandez |first3=Santiago |last4=Bertolami |first4=Roman |last5=Bunke |first5=Horst |last6=Schmidhuber |first6=Jürgen |authorlink6=Jürgen Schmidhuber |title=A Novel Connectionist System for Improved Unconstrained Handwriting Recognition |url=http://www.idsia.ch/~juergen/tpami_2008.pdf |journal=IEEE Transactions on Pattern Analysis and Machine Intelligence |volume=31 |issue=5 |pages=855–868 |year=2009 |doi=10.1109/tpami.2008.137}}</ref> hay [[nhận dạng tiếng nói]] có tính chất kết nối, không phân đoạn.<ref name="sak2014">{{chú thích web |url=https://static.googleusercontent.com/media/research.google.com/en/pubs/archive/43905.pdf |title=Long Short-Term Memory recurrent neural network architectures for large scale acoustic modeling |last1=Sak |first1=Haşim |last2=Senior |first2=Andrew |last3=Beaufays |first3=Françoise |year=2014 |ngày truy cập=2020-11-17 |archive-date = ngày 22 tháng 9 năm 2019 |archive-url=https://web.archive.org/web/20190922234538/https://static.googleusercontent.com/media/research.google.com/en//pubs/archive/43905.pdf }}</ref><ref name="liwu2015">{{cite arxiv |last1=Li |first1=Xiangang |last2=Wu |first2=Xihong |date = ngày 15 tháng 10 năm 2014 |title=Constructing Long Short-Term Memory based Deep Recurrent Neural Networks for Large Vocabulary Speech Recognition |eprint=1410.4281 |class=cs.CL }}</ref>

Thông thường, người ta sử dụng thuật ngữ "mạng thần kinh hồi quy" không có tính hệ thống (có phần bừa bãi) nhằm để chỉ hai lớp mạng rộng với một cấu trúc chung giống nhau, cái đầu tiên là lớp mạng [[đáp ứng xung hữu hạn]] (finite impulse response) và cái thứ hai là lớp mạng [[đáp ứng xung vô hạn]] (infinite impulse response). Cả hai lớp mạng đều thể hiện [[hệ thống động lực]] theo thời gian.<ref>{{Chú thích tạp chí |last=Miljanovic |first=Milos |date=Feb-Mar 2012 |title=Comparative analysis of Recurrent and Finite Impulse Response Neural Networks in Time Series Prediction |url=http://www.ijcse.com/docs/INDJCSE12-03-01-028.pdf |journal=Indian Journal of Computer and Engineering |volume=3 |issue=1 }}</ref> Mạng hồi quy xung hữu hạn là một [[đồ thị xoay chiều có hướng]] (directed acyclic graph) có thể bị mở ra và thay thế bằng một [[mạng thần kinh truyền thẳng]] chặt chẽ hơn, trong khi mạng hồi quy xung vô hạn là một [[đồ thị có hướng]] mà không thể mở ra (unrolled).

Cả hai mạng hồi quy xung hữu hạn và vô hạn có thể chứa các trạng thái lưu trữ bổ sung, và bộ nhớ có thể được kiểm soát trực tiếp bởi mạng thần kinh. Bộ nhớ cũng có thể được thay thế bằng một mạng hoặc đồ thị khác, nếu kết hợp với thời gian trễ hoặc có vòng lặp phản hồi. Các trạng thái được kiểm soát như vậy được gọi là trạng thái cổng (gated state) hoặc bộ nhớ cổng (gated memory) và là một phần của mạng [[bộ nhớ dài-ngắn hạn]] (LSTM) và [[bộ nhớ định kỳ được kiểm soát]]. Đây còn được gọi là "mạng thần kinh phản hồi" (Feedback Neural Network, FNN).

== Lịch sử phát triển ==

=== Mạng thần kinh hồi quy (RNN) ===
Mạng thần kinh hồi quy dựa trên công trình của [[:en:David Rumelhart|David Rumelhart]] vào năm 1986.<ref>{{Chú thích tạp chí|last=Rumelhart|first=David E.|last2=Hinton|first2=Geoffrey E.|last3=Williams|first3=Ronald J.|date=1986-10|title=Learning representations by back-propagating errors|url=http://dx.doi.org/10.1038/323533a0|journal=Nature|volume=323|issue=6088|pages=533–536|doi=10.1038/323533a0|issn=0028-0836}}</ref> Một loại mạng RNN đặc biệt tên [[:en:Hopfield network|Hopfield netowrks]] được được [[:en:John Hopfield|John Hopfield]] phát hiện lại vào năm 1982. Năm 1993, một hệ thống nén lịch sử thần kinh đã giải quyết một nhiệm vụ "Học rất sâu" mà yêu cầu hơn 1000 lớp chồng nhau trong RNN được mở ra kịp thời.

=== Long short-term memory (LSTM) ===
[[Bộ nhớ dài-ngắn hạn|Bộ nhớ dài-ngắn hạn (LSTM)]] được phát minh bởi [[:en:Sepp Hochreiter|Hochreiter]] và [[:en:Jürgen Schmidhuber|Schmidhuber]] vào năm 1997 và thiết lập các bản ghi chính xác trong nhiều miền ứng dụng.<ref>{{Chú thích tạp chí|last=Hochreiter|first=Sepp|last2=Schmidhuber|first2=Jürgen|date = ngày 1 tháng 11 năm 1997 |title=Long Short-Term Memory|url=http://dx.doi.org/10.1162/neco.1997.9.8.1735|journal=Neural Computation|volume=9|issue=8|pages=1735–1780|doi=10.1162/neco.1997.9.8.1735|issn=0899-7667}}</ref>

Khoảng năm 2007, LSTM bắt đầu cách mạng hóa khả năng [[Nhận dạng tiếng nói|nhận dạng giọng nói]], vượt trội so với các mô hình truyền thống trong một số ứng dụng giọng nói.<ref>{{Chú thích tạp chí|last=Fernández|first=Santiago|last2=Graves|first2=Alex|last3=Schmidhuber|first3=Jürgen|date = ngày 9 tháng 9 năm 2007 |title=An application of recurrent neural networks to discriminative keyword spotting|url=https://dl.acm.org/doi/10.5555/1778066.1778092|journal=Proceedings of the 17th international conference on Artificial neural networks|series=ICANN'07|location=Berlin, Heidelberg|publisher=Springer-Verlag|pages=220–229|doi=|isbn=978-3-540-74693-5}}</ref> Vào năm 2009, mạng LSTM được đào tạo bởi [[:en:Connectionist Temporal Classification (CTC)|Connectionist Temporal Classification]] (CTC) là RNN đầu tiên giành chiến thắng trong các cuộc thi nhận dạng mẫu khi nó giành chiến thắng trong một số cuộc thi về [[nhận dạng chữ viết tay]] được kết nối. Vào năm 2014, công ty [[Baidu]] của Trung Quốc đã sử dụng các RNN do CTC đào tạo để vượt qua tiêu chuẩn bộ dữ liệu nhận dạng giọng nói 2S09 Switchboard Hub5'00<ref>{{Chú thích web|url=https://paperswithcode.com/sota/speech-recognition-on-hub500-switchboard|tựa đề=Papers with Code - Hub5'00 SwitchBoard Benchmark (Speech Recognition)|website=paperswithcode.com|ngôn ngữ=en|ngày truy cập=2023-02-05}}</ref> mà không sử dụng bất kỳ phương pháp xử lý giọng nói truyền thống nào.<ref>{{Chú thích tạp chí|last=Hannun|first=Awni|last2=Case|first2=Carl|last3=Casper|first3=Jared|last4=Catanzaro|first4=Bryan|last5=Diamos|first5=Greg|last6=Elsen|first6=Erich|last7=Prenger|first7=Ryan|last8=Satheesh|first8=Sanjeev|last9=Sengupta|first9=Shubho|date = ngày 19 tháng 12 năm 2014 |title=Deep Speech: Scaling up end-to-end speech recognition|url=http://arxiv.org/abs/1412.5567|journal=arXiv:1412.5567 [cs]}}</ref>

LSTM cũng cải thiện khả năng nhận dạng giọng nói với lượng từ vựng lớn<ref>{{Chú thích tạp chí|last=Sak|first=Haşim|last2=Senior|first2=Andrew|last3=Beaufays|first3=Françoise|date = ngày 14 tháng 9 năm 2014 |title=Long short-term memory recurrent neural network architectures for large scale acoustic modeling|url=http://dx.doi.org/10.21437/interspeech.2014-80|journal=Interspeech 2014|location=ISCA|publisher=ISCA|doi=10.21437/interspeech.2014-80}}</ref><ref>{{Chú thích tạp chí|last=Li|first=Xiangang|last2=Wu|first2=Xihong|date = ngày 10 tháng 5 năm 2015 |title=Constructing Long Short-Term Memory based Deep Recurrent Neural Networks for Large Vocabulary Speech Recognition|url=http://arxiv.org/abs/1410.4281|journal=arXiv:1410.4281 [cs]}}</ref> và [[Tổng hợp giọng nói|tổng hợp văn bản thành giọng nói]] và được sử dụng trong [[Android (hệ điều hành)|Google Android]].<ref>{{Chú thích tạp chí|last=Schmidhuber|first=Jürgen|date=2015-01|title=Deep learning in neural networks: An overview|url=http://dx.doi.org/10.1016/j.neunet.2014.09.003|journal=Neural Networks|volume=61|pages=85–117|doi=10.1016/j.neunet.2014.09.003|issn=0893-6080}}</ref><ref>{{Chú thích tạp chí|last=Zen|first=Heiga|last2=Sak|first2=Hasim|date=2015-04|title=Unidirectional long short-term memory recurrent neural network with recurrent output layer for low-latency speech synthesis|url=http://dx.doi.org/10.1109/icassp.2015.7178816|journal=2015 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP)|publisher=IEEE|doi=10.1109/icassp.2015.7178816}}</ref> Vào năm 2015, tính năng nhận dạng giọng nói của Google được báo cáo là đã có bước nhảy vọt đáng kể về hiệu suất 49% thông qua LSTM do CTC đào tạo.<ref>{{Chú thích tạp chí|last=Sak|first=Haşim|last2=Senior|first2=Andrew|last3=Rao|first3=Kanishka|last4=Beaufays|first4=Françoise|date = ngày 6 tháng 9 năm 2015 |title=Fast and accurate recurrent neural network acoustic models for speech recognition|url=http://dx.doi.org/10.21437/interspeech.2015-350|journal=Interspeech 2015|location=ISCA|publisher=ISCA|doi=10.21437/interspeech.2015-350}}</ref>

LSTM đã phá kỷ lục về cải tiến [[Dịch tự động|dịch máy]]<ref>{{Chú thích sách|url=http://worldcat.org/oclc/1106206767|title=Sequence to Sequence Learning with Neural Networks|last=V.|first=Sutskever, Ilya Vinyals, Oriol Le, Quoc|date = ngày 10 tháng 9 năm 2014 |oclc=1106206767}}</ref>, Mô hình hóa ngôn ngữ ([[:en:Language model|Language Modeling]])<ref>{{Chú thích tạp chí|last=Jozefowicz|first=Rafal|last2=Vinyals|first2=Oriol|last3=Schuster|first3=Mike|last4=Shazeer|first4=Noam|last5=Wu|first5=Yonghui|date = ngày 11 tháng 2 năm 2016 |title=Exploring the Limits of Language Modeling|url=http://arxiv.org/abs/1602.02410|journal=arXiv:1602.02410 [cs]}}</ref> và Xử lý ngôn ngữ đa ngôn ngữ<ref>{{Chú thích tạp chí|last=Gillick|first=Dan|last2=Brunk|first2=Cliff|last3=Vinyals|first3=Oriol|last4=Subramanya|first4=Amarnag|date = ngày 2 tháng 4 năm 2016 |title=Multilingual Language Processing From Bytes|url=http://arxiv.org/abs/1512.00103|journal=arXiv:1512.00103 [cs]}}</ref>. LSTM kết hợp với [[mạng thần kinh tích chập]] (CNN) đã cải thiện tính năng [[:en:Natural language generation#Image captioning|chú thích hình ảnh tự động]].

=== Gated recurrent unit (GRU) ===
GRU được phát triển bởi Kyunghyun Cho và Yoshua Bengio năm 2014<ref name=":0">{{Chú thích tạp chí|last=Cho|first=Kyunghyun|last2=van Merrienboer|first2=Bart|last3=Bahdanau|first3=Dzmitry|last4=Bengio|first4=Yoshua|date = ngày 7 tháng 10 năm 2014 |title=On the Properties of Neural Machine Translation: Encoder-Decoder Approaches|url=http://arxiv.org/abs/1409.1259|journal=arXiv:1409.1259 [cs, stat]}}</ref>. So với mạng LSTM (Long Short-Term Memory), GRU có cấu trúc đơn giản và tối ưu hơn, có khả năng giải quyết các vấn đề trong huấn luyện dữ liệu dài và ít phức tạp hơn.<ref name=":0" />

== Kiến trúc ==
Mạng thần kinh hồi quy có nhiều biến thể. Dưới đây là một vài biến thể phổ biến của RNN

=== Mạng thần kinh hồi quy đầy đủ (Fully Recurrent) ===
[[Tập tin:Recurrent neural network unfold.svg|nhỏ|Mạng thần kinh hồi quy cơ bản được nén (bên trái) và mở ra (bên phải).]]
Mạng thần kinh hồi quy đầy đủ (FRNN) kết nối đầu ra của tất cả các nơ-ron với đầu vào của tất cả các nơ-ron. Đây là cấu trúc liên kết mạng nơ-ron tổng quát nhất vì tất cả các cấu trúc liên kết khác có thể được biểu diễn bằng cách đặt một số trọng số (weights) kết nối thành 0 để mô phỏng sự thiếu kết nối giữa các nơ-ron đó. Hình minh họa bên phải có thể gây hiểu lầm cho nhiều người vì các cấu trúc liên kết mạng thần kinh thực tế thường được tổ chức thành "layers" chồng nhau và hình vẽ mang lại hình thức của mạng RNN. Tuy nhiên, những gì nhìn có vẻ nh các lớp, trên thực tế, là các thời điểm khác nhau trong timesteps của cùng một mạng thần kinh tái diễn đầy đủ. Phân ngoài cùng bên trái trong hình minh họa hiển thị các kết nối lặp lại dưới dạng cung có nhãn 'v'. Nó được "mở ra" theo từng step tạo ra sự xuất hiện của các lớp.

:<math>
\begin{align}
h_t &= \sigma_h(W_{h} x_t + U_{h} y_{t-1} + b_h) \\

\end{align}
</math>
:Trong đó: 
:* <math>

x_t
</math>: Input tại thời điểm <math>

t
</math>
:* <math>

y_{t-1}

</math>: Trạng thái ẩn tại thời điểm <math>

t-1
</math>
:* <math>
h_t
</math>: Trạng thái ẩn tại thời điểm <math>
t
</math>
:* <math>
W_x
</math>: Ma trận trọng số cho các kết nối input-to-hidden
:* <math>
U_h
</math>: Ma trận trọng số cho các kết nối hidden-to-hidden
:* <math>
b_h
</math>: Biaes của trạng thái ẩn
:* <math>
\sigma_h
</math>: Hàm kích hoạt của trạng thái ẩn, thường dùng hàm <math>
tanh
</math>
:Tùy thuộc vào mục đích bài toán và thiết kế mô hình đầu ra của bài toán mà bước tính vecto đầu ra <math>

y_t
</math> có thể khác nhau.
Đoạn mã ví dụ về chuyển tiếp cho mạng thần kinh tái phát đầy đủ (RNN) từ đầu bằng cách sử dụng numpy:<syntaxhighlight lang="python" line="1">
import numpy as np

def sigmoid(x):
    return 1 / (1 + np.exp(-x))

def tanh(x):
    return np.tanh(x)

def forward_pass(X, Wx, Wh, b):
     """
    This function implements the forward pass of a fully recurrent neural network (RNN) from scratch using numpy.
    
    Arguments:
    X -- a T by D numpy array representing the input to the RNN, where T is the number of time steps and D is the input size.
    Wx -- a D by H numpy array representing the weights from the input layer to the hidden layer, where H is the hidden size.
    Wh -- a H by H numpy array representing the weights from the hidden layer to the hidden layer.
    b -- a H-dimensional numpy array representing the biases for the hidden layer.
    
    Returns:
    h -- a T by H numpy array representing the hidden states of the RNN after processing the inputs.
    """
    T, D = X.shape
    N, H = Wh.shape
    
    h = np.zeros((T, H))
    h_prev = np.zeros((N, H))
    
    for t in range(T):
        a = X[t].dot(Wx) + h_prev.dot(Wh) + b
        h_prev = np.tanh(a)
        h[t] = h_prev
        
    return h

inputs = np.array([[1, 2, 3],[4, 5, 6],[7, 8, 9]]) # example inputs
Wx = np.random.randn(3, 10) # input to hidden weights
Wh = np.random.randn(10, 10) # hidden to hidden weights
b = np.random.randn(10) # biases

h = forward_pass(inputs, Wx, Wh, b)
print(h)

</syntaxhighlight>Trong mã này, các inputs được chuyển qua RNN từng bước một. Trong đó tại mỗi bước, input hiện tại được kết hợp với trạng thái ẩn trước đó, sau đó được chuyển qua hàm kích hoạt tanh để cập nhật trạng thái ẩn hiện tại. 
=== Mạng Elman và mạng Jordan ===
[[Tập tin:Elman srnn.png|nhỏ|Mạng Elman]]'''''Mạng [[:en:Jeff Elman|Elman]]''''' là mạng ba lớp (được sắp xếp theo chiều ngang là ''x'', ''y'' và ''z'' trong hình minh họa) với việc bổ sung một tập hợp các đơn vị ngữ cảnh (''u'' trong hình minh họa). Lớp ẩn ở giữa kết nối với các đơn vị ngữ cảnh ''u'' được cố định với trọng số là một.<ref name=":1" /> Tại mỗi time step, đầu vào được đưa về phía trước và [[:en:Learning rule|quy tắc học tập]] được áp dụng. Các kết nối ngược cố định lưu một bản sao của các giá trị trước đó của các đơn vị ẩn trong các đơn vị ngữ cảnh ''u'' (vì chúng lan truyền qua các kết nối trước khi áp dụng quy tắc học tập). Do đó, mạng có thể duy trì một loại trạng thái, cho phép nó thực hiện các nhiệm vụ như dự đoán chuỗi vượt quá khả năng của một [[:en:Multilayer perceptron|multilayer perceptron]] tiêu chuẩn.

'''''Mạng [[:en:Michael I. Jordan|Jordan]]''''' tương tự như '''''mạng Elman'''''. Các đơn vị ngữ cảnh được cung cấp từ lớp đầu ra thay vì lớp ẩn. Các đơn vị ngữ cảnh trong mạng Jordan cũng được gọi là lớp trạng thái. Chúng có một kết nối hồi quy với chính nó.

'''''Mạng Elman''''' và '''''Jordan''''' còn được gọi là "Mạng hồi quy đơn giản" (Simple recurrent networks- SRN).
;Elman network<ref name=":1">{{chú thích tạp chí
 | last=Elman
 | first=Jeffrey L.
 | title=Finding Structure in Time
 | journal=Cognitive Science
 | year=1990
 | volume=14
 | issue=2
 | pages=179–211
 | doi=10.1016/0364-0213(90)90002-E| doi-access=free
 }}</ref>
:<math>
\begin{align}
h_t &= \sigma_h(W_{h} x_t + U_{h} h_{t-1} + b_h) \\
y_t &= \sigma_y(W_{y} h_t + b_y)
\end{align}
</math>
;Jordan network<ref>{{chú thích sách |last=Jordan |first=Michael I. |title=Neural-Network Models of Cognition - Biobehavioral Foundations |date = ngày 1 tháng 1 năm 1997 |chapter=Serial Order: A Parallel Distributed Processing Approach |journal=Advances in Psychology |series=Neural-Network Models of Cognition |volume=121 |pages=471–495 |doi=10.1016/s0166-4115(97)80111-2 |isbn=9780444819314}}</ref>
:<math>
\begin{align}
h_t &= \sigma_h(W_{h} x_t + U_{h} y_{t-1} + b_h) \\
y_t &= \sigma_y(W_{y} h_t + b_y)
\end{align}
</math>
:Trong đó
:* <math>x_t</math>: vecto đầu vào
:* <math>h_t</math>: vecto lớp ẩn
:* <math>h_t</math>: vecto đầu ra
:* <math>W</math>, <math>U</math> và <math>b</math>: cSN) có một lớp ẩn ngẫu nhiên được kết nối thưa.ác ma trận tham số và vecto bias
:* <math>\sigma_h</math> và <math>\sigma_y</math>: Các [[hàm kích hoạt]]

=== Mạng Hopfield ===
{{Main|Mạng Hopfield}}
[[Tập tin:Hopfield-net-vector.svg|nhỏ|Một mạng Hopfield với bốn đơn vị]]
'''''Mạng Hopfield''''' là một RNN trong đó tất cả các kết nối trên các lớp đều có kích thước bằng nhau. Nó yêu cầu các đầu vào [[:en:Stationary process|cố định]] và do đó không phải là một RNN chung, vì nó không xử lý các chuỗi mẫu. Tuy nhiên, nó đảm bảo rằng nó sẽ hội tụ. Nếu các kết nối được đào tạo bằng cách sử dụng phương pháp [[:en:Hebbian learning|học tiếng Do Thái]] thì mạng Hopfield có thể hoạt động như một bộ nhớ [[:en:Content-addressable memory|định địa chỉ nội dung]] [[:en:Robustness (computer science)|robust]], chống lại sự thay đổi kết nối.

==== Bộ nhớ kết hợp hai chiều (Bidirectional Associative Memory - BAM) ====
{{Main|Bộ nhớ kết hợp hai chiều}}[[:en:Bidirectional associative memory|Mạng bộ nhớ kết hợp hai chiều]] (BAM) là một biến thể của mạng Hopfield lưu trữ dữ liệu kết hợp dưới dạng vectơ. Được giới thiệu bởi Bart Kosko vào năm 1988.<ref>{{Chú thích tạp chí|last=Kosko|first=B.|date=1988|title=Bidirectional associative memories|url=http://dx.doi.org/10.1109/21.87054|journal=IEEE Transactions on Systems, Man, and Cybernetics|volume=18|issue=1|pages=49–60|doi=10.1109/21.87054|issn=0018-9472}}</ref> Tính hai chiều xuất phát từ việc truyền thông tin qua ma trận và [[Ma trận chuyển vị|chuyển vị]] của nó. Thông thường, mã hóa lưỡng cực được ưu tiên hơn so với mã hóa nhị phân của các cặp kết hợp. Gần đây, các mô hình BAM ngẫu nhiên sử dụng bước [[Xích Markov|Markov]] đã được tối ưu hóa để tăng tính ổn định của mạng và mức độ phù hợp với các ứng dụng trong thế giới thực.<ref>{{Chú thích tạp chí|last=Rakkiyappan|first=R.|last2=Chandrasekar|first2=A.|last3=Lakshmanan|first3=S.|last4=Park|first4=Ju H.|date = ngày 2 tháng 1 năm 2015 |title=Exponential stability for markovian jumping stochastic BAM neural networks with mode-dependent probabilistic time-varying delays and impulse control|url=https://onlinelibrary.wiley.com/doi/10.1002/cplx.21503|journal=Complexity|language=en|volume=20|issue=3|pages=39–65|doi=10.1002/cplx.21503}}</ref> Mạng BAM có hai lớp, một trong hai lớp này có thể được điều khiển làm đầu vào để gọi lại liên kết và tạo đầu ra trên lớp kia.<ref>{{Chú thích sách|url=https://books.google.com/books?id=txsjjYzFJS4C&pg=PA336|title=Neural Networks: A Systematic Introduction|last=Rojas|first=Raul|date = ngày 12 tháng 7 năm 1996 |publisher=Springer Science & Business Media|isbn=978-3-540-60505-8|language=en}}</ref>

=== Echo state (ESN) ===
Mạng echo state (ESN) có một lớp ẩn ngẫu nhiên được kết nối thưa. Trọng số của các nơ ron đầu ra là phần duy nhất của mạng có thể thay đổi (được huấn luyện). ESN tái tạo [[chuỗi thời gian]] nhất định rất tốt. Một biến thể cho [[:en:Spiking neural network|mạng thần kinh spiking]] được gọi là [[:en:Liquid state machine|liquid state machine]].<ref>{{Chú thích tạp chí|last=Maass|first=Wolfgang|last2=Natschläger|first2=Thomas|last3=Markram|first3=Henry|date = ngày 1 tháng 11 năm 2002 |title=Real-Time Computing Without Stable States: A New Framework for Neural Computation Based on Perturbations|url=http://dx.doi.org/10.1162/089976602760407955|journal=Neural Computation|volume=14|issue=11|pages=2531–2560|doi=10.1162/089976602760407955|issn=0899-7667}}</ref>

=== Mạng thần kinh hồi quy độc lập (Independently RNN - IndRNN) ===
Mạng thần kinh hồi quy độc lập (IndRNN) giải quyết các vấn đề [[:en:Vanishing gradient problem|biến mất]] (vanishing) và [https://deepai.org/machine-learning-glossary-and-terms/exploding-gradient-problem bùng nổ](exploding) gradient trong RNN được kết nối đầy đủ truyền thống'''.''' <ref>{{Chú thích tạp chí|last=Li|first=Shuai|last2=Li|first2=Wanqing|last3=Cook|first3=Chris|last4=Zhu|first4=Ce|last5=Gao|first5=Yanbo|date = ngày 22 tháng 5 năm 2018 |title=Independently Recurrent Neural Network (IndRNN): Building A Longer and Deeper RNN|url=http://arxiv.org/abs/1803.04831|journal=arXiv:1803.04831 [cs]}}</ref> Mỗi nơ-ron trong một lớp chỉ nhận trạng thái quá khứ của chính nó dưới dạng thông tin ngữ cảnh (thay vì kết nối đầy đủ với tất cả các nơ-ron khác trong lớp này) và do đó, các nơ-ron độc lập với lịch sử của nhau. [[Truyền ngược|Lan truyền ngược gradient]] có thể được điều chỉnh để tránh hiện tượng vanishing và exploding gradient nhằm duy trì bộ nhớ dài hạn hoặc ngắn hạn. Thông tin về nơ-ron chéo được khám phá trong các lớp tiếp theo. IndRNN có thể được đào tạo mạnh mẽ với các hàm phi tuyến tính không bão hòa như [[:en:Rectifier (neural networks)|ReLU]]. Sử dụng kết nối bỏ qua (skip connection), mạng sâu có thể được đào tạo.

=== Mạng thần kinh đệ quy (Recursive neural network) ===
{{Main|Mạng thần kinh đệ quy}}
[[Tập tin:Simple recursive neural network.svg|nhỏ|Kiến trúc một mạng thần kinh đệ quy đơn giản]]
[[Mạng thần kinh đệ quy]]<ref>{{Chú thích tạp chí|last=Goller|first=C.|last2=Kuchler|first2=A.|title=Learning task-dependent distributed representations by backpropagation through structure|url=http://dx.doi.org/10.1109/icnn.1996.548916|journal=Proceedings of International Conference on Neural Networks (ICNN'96)|publisher=IEEE|doi=10.1109/icnn.1996.548916}}</ref> được tạo bằng cách áp dụng [[đệ quy]] cùng một tập trọng số trên một cấu trúc giống như đồ thị khả vi bằng cách duyệt qua cấu trúc theo [[sắp xếp tô pô]]. Các mạng như vậy thường cũng được đào tạo theo chế độ [[:en:Automatic differentiation|đạo hàm tự động]].<ref>{{Chú thích sách|title=The representation of the cumulative rounding error of an algorithm as a Taylor expansion of the local rounding errors|last=Linnainmaa|first=Seppo|publisher=M.Sc. thesis (in Finnish), University of Helsinki|year=1970}}</ref><ref>{{Chú thích sách|url=https://books.google.com/books?id=xoiiLaRxcbEC|title=Evaluating Derivatives: Principles and Techniques of Algorithmic Differentiation, Second Edition|last=Griewank|first=Andreas|last2=Walther|first2=Andrea|date = ngày 1 tháng 1 năm 2008 |publisher=SIAM|isbn=978-0-89871-776-1|language=en}}</ref> Chúng có thể xử lý các biểu diễn phân bố của cấu trúc, chẳng hạn như các [[Logic toán|logic toán học]]. Một trường hợp đặc biệt của mạng thần kinh đệ quy là RNN có cấu trúc tương ứng với một chuỗi tuyến tính. Mạng thần kinh đệ quy đã được áp dụng để [[xử lý ngôn ngữ tự nhiên]].<ref>{{citation|last1=Socher|first1=Richard|title=28th International Conference on Machine Learning (ICML 2011)|contribution=Parsing Natural Scenes and Natural Language with Recursive Neural Networks|contribution-url=https://ai.stanford.edu/~ang/papers/icml11-ParsingWithRecursiveNeuralNetworks.pdf|last2=Lin|first2=Cliff|last3=Ng|first3=Andrew Y.|last4=Manning|first4=Christopher D.}}</ref> Mạng Tenor thần kinh đệ quy sử dụng hàm tổng hợp dựa trên [[Tenxơ|tensor]] cho tất cả các nút trong cây.<ref>{{chú thích tạp chí|last1=Socher|first1=Richard|last2=Perelygin|first2=Alex|last3=Wu|first3=Jean Y.|last4=Chuang|first4=Jason|last5=Manning|first5=Christopher D.|last6=Ng|first6=Andrew Y.|last7=Potts|first7=Christopher|title=Recursive Deep Models for Semantic Compositionality Over a Sentiment Treebank|url=http://nlp.stanford.edu/~socherr/EMNLP2013_RNTN.pdf|journal=Emnlp 2013}}</ref>

=== Neural history compressor ===
Trình nén lịch sử thần kinh là một chồng RNN không được giám sát. Ở cấp độ đầu vào, nó học cách dự đoán đầu vào tiếp theo từ các đầu vào trước đó. Chỉ những đầu vào không thể đoán trước của một số RNN trong hệ thống phân cấp mới trở thành đầu vào cho RNN cấp cao hơn tiếp theo, do đó hiếm khi tính toán lại trạng thái bên trong của nó. Do đó, mỗi RNN cấp cao hơn nghiên cứu một biểu diễn nén của thông tin trong RNN bên dưới. Điều này được thực hiện sao cho chuỗi đầu vào có thể được tái tạo chính xác từ biểu diễn ở mức cao nhất.

== Tham khảo ==
{{tham khảo|30em}}

== Đọc thêm ==
* {{chú thích sách |last1=Mandic |first1=Danilo P. |last2=Chambers |first2=Jonathon A. |name-list-style=amp |title=Recurrent Neural Networks for Prediction: Learning Algorithms, Architectures and Stability |publisher=Wiley |year=2001 |isbn=978-0-471-49517-8 }}

== Liên kết ngoài ==
*[https://github.com/zhongkaifu/Seq2SeqSharp Seq2SeqSharp] LSTM/BiLSTM/Transformer recurrent neural networks framework running on CPUs and GPUs for sequence-to-sequence tasks ([[C Sharp (ngôn ngữ lập trình)]], [[.NET Framework]])
*[https://github.com/zhongkaifu/RNNSharp RNNSharp] CRFs based on recurrent neural networks ([[C Sharp (ngôn ngữ lập trình)]], [[.NET Framework]])
*[http://www.idsia.ch/~juergen/rnn.html Recurrent Neural Networks] with over 60 RNN papers by [[Jürgen Schmidhuber]]'s group at [[Dalle Molle Institute for Artificial Intelligence Research]]
*[http://jsalatas.ictpro.gr/weka Elman Neural Network implementation] for [[Weka (học máy)]]
*[http://deeplearning4j.org/recurrentnetwork Recurrent Neural Nets & LSTMs in Java] {{Webarchive|url=https://web.archive.org/web/20180721111002/https://deeplearning4j.org/recurrentnetwork |date = ngày 21 tháng 7 năm 2018}}
*[https://gammastorm.github.io/TheBrain/Brain.html an alternative try for complete RNN / Reward driven] {{Webarchive|url=https://web.archive.org/web/20180324162216/https://gammastorm.github.io/TheBrain/Brain.html |date = ngày 24 tháng 3 năm 2018}}

{{DEFAULTSORT:Recurrent Neural Network}}
[[Thể loại:Trí tuệ nhân tạo]]
[[Thể loại:Mạng thần kinh nhân tạo]]