Zadání diplomové práce

Studium sítí typu LSTM na datech z přírodních věd

Mezi moderními umělými neuronovými sítěmi (tzv. hlubokými), které přispěly k velkému rozvoji strojového učení v posledních 15 letech, patří k nejúspěšnějším sítě typu LSTM (long short-term memory). Nejčastěji se používají při zpracování jazyka, a to jak psaného textu, tak mluvené řeči. Jde o sítě rekurentní, zpracovávané signály se tedy do některých vrstev sítě s určitým zpožděním vrací. Velkým pokrokem LSTM sítí ve srovnání se staršími typy rekurentních síti je, že dokáží zabránit vymizení gradientu v důsldku rekurentního výpočtu. Aby toho bylo dosaženo, probíhají somatické operace v rekurentních vrstvách sítě nikoliv jako sekvence atomických operací, ale paralelně v různých částech strukturovaných buněk, které v těchto vrstvách nahrazují tradiční neurony umělých neuronových sítí.

Koncepce LSTM sítí byla poprvé publikována v r. 1997 a od té doby byla navržena celá řada jejich variant. Většinou ale byly zkoumány a porovnávány v kontextu úloh a dat ze zpracování jazyka. Navržená diplomová práce by se naproti tomu měla LSTM sítěmi zabývat v kontextu úloh z přírodních věd. K tomu účelu by měly být důležité varianty LSTM sítí studovány a porovnávány na reálných datech týkajících se růstu krystalů.

Doporučená literatura

· N. Dropka, M. Holeňa. Application of Artificial Neural Networks in Crystal Growth of Electronic and Opto-Electronic Materials. Crystals, 10 (2020), article no. 663.

· F.A. Gers, J. Schmidhuber, F. Cummins. Learning to Forget: Continual Prediction with LSTM. Neural Computation, 12 (2000): 2451–2471.

· F.A. Gers. Learning to forget: Continual prediction with LSTM. International Conference on Artificial Neural Networks, 1999, 850–855.

· K. Greff, R.K. Srivastava, J. Koutník, B.R. Steunebrink, J. Schmidhuber. LSTM: A Search Space Odyssey. IEEE Transactions on Neural Networks and Learning Systems, 28 (2017): 2222–2232. 

· S. Hochreiter J. Schmidhuber. Long short-term memory. Neural Computation, 9 (1997): 1735–1780.