Zadání diplomové práce

Volba počtu skrytých neuronů ve vícevrstevných perceptronech

Umělé neuronové sítě jsou oborem na pomezí matematiky a informatiky, který prodělal v posledních dvaceti letech tak prudký rozvoj jako málokterá jiný podobor těchto dvou disciplin. Jednou z hlavních příčin atraktivnosti umělých neuronových sítí je jejich schopnost libovolně přesně aproximovat velmi obecná zobrazení. V případě typu umělých neuronových sítí nejčastěji používaného v praktických aplikacích, vícevrstevného  perceptronu, se přesnost této aproximace zvyšuje s rostoucím počtem neuronů ve skryté vrstvě nebo skrytých vrstvách sítě. Zvyšování počtu skrytých neuronů však s sebou přináší jeden velmi závažný problém. Vícevrstevný perceptron totiž nekonstruuje aproximující zobrazení na základě celkového průběhu aproximovaného zobrazení, nýbrž pouze na základě konečného počtu dvojic vstupních a výstupních hodnot aproximovaného zobrazení, které má k dispozici jako trénovací data v průběhu učení. A při dostatečně velkém počtu skrytých neuronů lze vždy najít takové aproximující zobrazení, které sice ještě nebude od aproximovaného zobrazení natolik blízko, jako požadujeme, ale trénovací dvojice již bude aproximovat s maximální možnou přesností - tj. bude jimi procházet. Tento jev, označovaný jako přeučení, zároveň zablokuje další učení sítě a nalezení dostatečně přesné aproximace. Zatímco aproximační vlastnosti neuronových sítí byly v posledním desetiletí studovány velmi intenzivně, jen velmi malá pozornost byla věnována kombinování získaných výsledků s tím, co je známo o jevu přeučení, pro návrh vhodného počtu skrytých neuronů při dané trénovací množině. A právě takové tvůrčí kombinování známých výsledků by mělo být cílem navrhované diplomové práce.

Diplomant by se měl seznámit se současným stavem znalostí o aproximačních vlastnostech vícevrstevných perceptronů i o závislosti průběhu učení tohoto typu umělých neuronových sítí na množství trénovacích dat. Tvůrčím propojenímním výsledků z obou oblastí by měl vypracovat metodu, jak alespoň v případě některých jednoduchých typů aktivačních funkcí stanovit pro daná trénovací data takový počet skrytých neuronů, který bude zohledňovat jak přesnost aproximace, tak odolnost proti přeučení. Měl by prokázat schopnost samostatně odvozovat jednoduché teoretické výsledky i schopnost ověřovat ty vlastnosti sítí, jež nelze studovat teoreticky, pomocí vhodných počítačových simulací. Přitom bude mít možnost se podle svých vlastních zálib více zaměřit na jeden či druhý z obou přístupů.

Doporučená literatura

• A.R. Barron. Approximation and estimation bounds for artificial neural networks. Machine Learning, 14: 115-133, 1994.
• P.L. Bartlett. The sample complexity of pattern classification with neural networks. The size of weights is more important than the size of the network. IEEE Transacrions on Information Theory, 44: 525-536, 1998.
• K. Hornik. Approximation capabilities of multilayer neural networks. Neural Networks, 4: 251-257, 1991.
• K. Hornik, M. Stinchcombe, H. White, P. Auer. Degree of approximation results for feedforward networks approximating unknown mappings and their derivatives. Neural Computation, 6: 1262-1275, 1994.
• A.Jain, S. Raudys. On training size and complexity of artificial neural classifiers. Informatica, 3: 301-337, 1992.
• V. Kůrková. Approximation of functions by perceptrons with bounded number of hidden units. Neural Networks, 8: 745-750, 1995.
• V. Kůrková, P.C. Kainen, V. Kreinovich. Estimation of the number of hidden units and variation with respect to half-spaces. Neural Networks, 10: 1061-1068, 1997.
• W.S. Lee, P.L. Bartlett, L.C. Williamson. Efficient agnostic learning of neural networks with bounded fan-in. IEEE Transacrions on Information Theory, 42:2118-2132, 1996.
• J. Sjoeberg, J. Ljung. Overtraining, regularization and searching for a mininmum, with application to neural networks. International Journal of Control, 62: 1391-1407, 1995.
• V.N. Vapnik. The nature of statistical learning theory. Springer-Verlag, Berlin, 1995.