Jaringan saraf berulang 📖 Wikipedia

Jaringan Saraf Berulang atau Recurrent Neural Network (RNN) adalah kelas dari jaringan saraf tiruan yang dirancang khusus untuk memproses data berurutan (sequential data) atau data deret waktu (time-series). Berbeda dengan jaringan saraf feed-forward tradisional yang mengasumsikan bahwa semua masukan bersifat independen satu sama lain, RNN memiliki "memori" yang memungkinkan informasi dari langkah-langkah sebelumnya memengaruhi keluaran saat ini.^[1]

Karakteristik utama yang membedakan RNN adalah adanya koneksi siklus atau feedback loop. Dalam setiap langkah waktu (${\displaystyle t}$), model menerima masukan saat ini (${\displaystyle x_{t}}$) sekaligus informasi dari status tersembunyi sebelumnya (${\displaystyle h_{t-1}}$).

Pada setiap unit RNN, perhitungan dilakukan untuk memperbarui status tersembunyi yang berfungsi sebagai representasi internal dari memori jangka pendek. Secara matematis, pembaruan status tersembunyi pada waktu ${\displaystyle t}$ dinyatakan sebagai:

${\displaystyle h_{t}=\phi (W_{h}h_{t-1}+W_{x}x_{t}+b)}$

Di mana:

• ${\displaystyle h_{t}}$: Status tersembunyi (hidden state) pada waktu ${\displaystyle t}$.
• ${\displaystyle \phi }$: Fungsi aktivasi non-linear (biasanya ${\displaystyle \tanh }$ atau ReLU).
• ${\displaystyle W_{h}}$ dan ${\displaystyle W_{x}}$: Matriks bobot untuk status sebelumnya dan masukan saat ini.
• ${\displaystyle b}$: Vektor bias.