| Bagian dari seri |
| Pembelajaran mesin dan penggalian data |
|---|
 |
Pemelajaran dalam (bahasa Inggris: deep learning) atau sering dikenal dengan istilah pemelajaran struktural mendalam (bahasa Inggris: deep structured learning) atau pemelajaran hierarki (bahasa Inggris: hierarchical learning) adalah salah satu cabang dari ilmu pemelajaran mesin (bahasa Inggris: machine learning) yang terdiri algoritma pemodelan abstraksi tingkat tinggi pada data menggunakan sekumpulan fungsi transformasi non-linear yang ditata berlapis-lapis dan mendalam.[1] Teknik dan algoritma dalam pemelajaran dalam dapat digunakan baik untuk kebutuhan pemelajaran terarah (supervised learning), pemelajaran tak terarah (unsupervised learning) dan semi-terarah (semi-supervised learning) dalam berbagai aplikasi seperti pengenalan citra, pengenalan suara, klasifikasi teks, dan sebagainya. Model pada pembelajaran dalam pada dasarnya dibangun berdasarkan jaringan saraf tiruan, yang risetnya sudah berlangsung sejak era 80-an tetapi baru-baru ini kembali bangkit dengan adanya komputer yang semakin cepat apalagi ditambah dengan kemampuan kartu grafis modern yang mampu melakukan kalkulasi berbasis matriks secara simultan.
Berdasarkan riset yang baru-baru ini dilakukan, pemelajaran dalam mampu melakukan pengenalan grafis, pola tulis tangan dan beberapa pola lainnya lebih akurat dibandingkan dengan algoritma pemelajaran mesin lainnya.[2]
Arsitektur
sunting
Deep Feedforward Network
suntingDeep Feedforward Network atau dikenal dengan Multilayer Perceptron (MLP) merupakan pengembangan dari jaringan saraf tiruan yang menekankan pada penggunakan satu atau lebih lapis tersembunyi (hidden layer) pada jaringannya dan penggunaan fungsi transformasi non-linear sebagai fungsi transformasi. Jaringan ini disebut Feedforward oleh karena sifatnya yang membawa informasi dari lapis masukan (input layer) untuk dibawa dan ditransformasi ke depan hingga lapis luaran (output layer).
Recurrent Neural Network
suntingRecurrent Neural Network (RNN) merupakan pengembangan dari Deep Feedforward Network yang mana informasi dari suatu neuron dapat berputar kembali ke neuron yang sama (Deep Feddforward Network hanya membawa informasi ke lapis A ke lapis B secara progresif tanpa kembali ke lapis sebelumnya).
Convolutional Neural Network
suntingConvolutional Neural Network (CNN) merupakan modifikasi dari Deep Feedforward Network yang mana setiap lapisnya dibuat dalam bentuk topologi grid mendalam. Modifikasi ini memungkinkan jaringan untuk mengekstraksi fitur secara hierarkis melalui penggunaan kernel atau filter yang bergeser di seluruh permukaan grid.
Hubungan dengan perkembangan kognitif dan otak manusia
suntingPemelajaran dalam memiliki keterkaitan dengan teori perkembangan neokorteks yang dikembangkan oleh ahli saraf pada awal 1990-an.[3][4][5][6] Teori tersebut kemudian menjadi pendahulu sistem pemelajaran dalam model komputasional. Model perkembangan ini menunjukkan bahwa dinamika belajar dalam otak, seperti gelombang faktor pertumbuhan saraf dapat membantu terbentuknya pengorganisasian diri.[7]
Jaringan saraf tiruan memproses informasi melalui lapisan yang tersusun secara hierarkis. Setiap lapisan memanfaatkan keluaran lapisan sebelumnya untuk menghasilkan struktur pemrosesan yang terorganisasi dengan sendirinya. Proses serupa pernah digambarkan dalam perkembangan otak bayi yang matang secara bertahap dari satu lapisan jaringan ke lapisan berikutnya.[8]
Upaya untuk memahami kesesuaian deep learning dengan proses biologis telah dilakukan melalui berbagai pendekatan. Beberapa penelitian mencoba membuat propagasi balik lebih realistis.[9][10] Penelitian lain menilai bahwa bentuk pembelajaran mendalam tanpa pengawasan lebih dekat dengan mekanisme yang ditemukan di otak. Model generatif ini juga dikaitkan dengan bukti pemrosesan berbasis sampling di korteks.[11]
Meskipun belum ada pemetaan langsung antara cara otak bekerja dan cara jaringan pemelajaran. Informasi akan dikode dengan sejumlah kemiripan yangn telah ditemukan. Perhitungan dalam unit pemelajaran dalam menunjukkan pola yang menyerupai neuron dan kelompok neuron biologis.[12][13] Representasinya mirip dengan pola yang tercatat pada sistem visual primata, baik pada tingkat neuron tunggal maupun populasi neuron.[14]
Referensi
sunting- ^ Li Deng and Dong Yu (2014), "Deep Learning: Methods and Applications", Foundations and Trends® in Signal Processing: Vol. 7: No. 3–4, pp 197-387. http://dx.doi.org/10.1561/2000000039
- ^ http://www.nytimes.com/2012/11/24/science/scientists-see-advances-in-deep-learning-a-part-of-artificial-intelligence.html?_r=0
- ^ Utgoff, P. E.; Stracuzzi, D. J. (2002). "Many-layered learning". Neural Computation. 14 (10): 2497–2529. doi:10.1162/08997660260293319. PMID 12396572. S2CID 1119517.
- ^ Elman, Jeffrey L. (1998). Rethinking Innateness: A Connectionist Perspective on Development. MIT Press. ISBN 978-0-262-55030-7.
- ^ Shrager, J.; Johnson, MH (1996). "Dynamic plasticity influences the emergence of function in a simple cortical array". Neural Networks. 9 (7): 1119–1129. doi:10.1016/0893-6080(96)00033-0. PMID 12662587.
- ^ Quartz, SR; Sejnowski, TJ (1997). "The neural basis of cognitive development: A constructivist manifesto". Behavioral and Brain Sciences. 20 (4): 537–556. CiteSeerX 10.1.1.41.7854. doi:10.1017/s0140525x97001581. PMID 10097006. S2CID 5818342.
- ^ S. Blakeslee, "In brain's early growth, timetable may be critical", The New York Times, Science Section, pp. B5–B6, 1995.
- ^ O'Reilly, Randall C. (1 July 1996). "Biologically Plausible Error-Driven Learning Using Local Activation Differences: The Generalized Recirculation Algorithm". Neural Computation. 8 (5): 895–938. doi:10.1162/neco.1996.8.5.895. ISSN 0899-7667. S2CID 2376781.
- ^ Testolin, Alberto; Zorzi, Marco (2016). "Probabilistic Models and Generative Neural Networks: Towards an Unified Framework for Modeling Normal and Impaired Neurocognitive Functions". Frontiers in Computational Neuroscience. 10: 73. doi:10.3389/fncom.2016.00073. ISSN 1662-5188. PMC 4943066. PMID 27468262. S2CID 9868901.
- ^ Testolin, Alberto; Stoianov, Ivilin; Zorzi, Marco (September 2017). "Letter perception emerges from unsupervised deep learning and recycling of natural image features". Nature Human Behaviour. 1 (9): 657–664. doi:10.1038/s41562-017-0186-2. ISSN 2397-3374. PMID 31024135. S2CID 24504018.
- ^ Buesing, Lars; Bill, Johannes; Nessler, Bernhard; Maass, Wolfgang (3 November 2011). "Neural Dynamics as Sampling: A Model for Stochastic Computation in Recurrent Networks of Spiking Neurons". PLOS Computational Biology. 7 (11) e1002211. Bibcode:2011PLSCB...7E2211B. doi:10.1371/journal.pcbi.1002211. ISSN 1553-7358. PMC 3207943. PMID 22096452. S2CID 7504633.
- ^ Cash, S.; Yuste, R. (February 1999). "Linear summation of excitatory inputs by CA1 pyramidal neurons". Neuron. 22 (2): 383–394. doi:10.1016/s0896-6273(00)81098-3. ISSN 0896-6273. PMID 10069343. S2CID 14663106.
- ^ Olshausen, B; Field, D (1 August 2004). "Sparse coding of sensory inputs". Current Opinion in Neurobiology. 14 (4): 481–487. doi:10.1016/j.conb.2004.07.007. ISSN 0959-4388. PMID 15321069. S2CID 16560320.
- ^ Güçlü, Umut; van Gerven, Marcel A. J. (8 July 2015). "Deep Neural Networks Reveal a Gradient in the Complexity of Neural Representations across the Ventral Stream". Journal of Neuroscience. 35 (27): 10005–10014. arXiv:1411.6422. doi:10.1523/jneurosci.5023-14.2015. PMC 6605414. PMID 26157000.
