Zadání
diplomové práce
Urychlení evolučních algoritmů pomocí neuronových sítí
Evoluční algoritmy jsou v posledních
desetiletích jednou z nejúspěšnějších metod pro řešení netradičních
optimalizačních problémů, jako např. hledání nejvhodnějších dokumentů
obsahujících požadované informace, hledání nejvhodnějších materiálů
s požadovanými vlastnostmi či další typy optimalizačních úloh, při nichž
lze hodnoty cílové funkce získat pouze empiricky. Protože evoluční algoritmy
pracují pouze s funkčními hodnotami optimalizované funkce, blíží
s k jejímu optimu podstatně pomaleji než optimalizační metody pro
hladké funkce, které využívají rovněž informace o gradientu optimalizované
funkce, případně o jejích druhých derivacích. Tato vlastnost evolučních
algoritmů je zvláště nepříjemná ve spojení se skutečností, že empirické získání
hodnoty optimalizované funkce bývá někdy značně nákladné i časově náročné.
Evoluční algoritmy však lze podstatně urychlit tím, že při vyhodnocování
funkční hodnoty optimalizované funkce používají empirickou optimalizovanou
funkci jen občas, zatímco většinou vyhodnocují pouze dostatečně přesný regresní
model, označovaný jako její náhradní model.
K nejstarším druhům náhradních modelů,
které se začaly používat už před 20 i více lety, patřily i tradiční typy
umělých neuronových sítí – vícevrstvé perceptrony a sítě s radiálními
bázovými funkcemi. Naproti tomu moderní typy neuronových sítí, jako jsou
hluboké sítě a vícevrstevné sítě trénující pouze váhy mezi předposlední a
poslední vrstvou, např. sítě typu extreme learning machine či typu random
vector functional link, byly doposud používány k náhradnímu modelování jen
velmi málo nebo vůbec ne. Totéž platí i pro kombinace neuronových sítí a
gaussovských procesů, které jsou pro náhradní modelování zajímavé z toho
důvodu, že gaussovské procesy samotné patří k nejčastěji používaným a
nejúspěšnějším náhradním modelům. Některému z takovýchto dosud
neprozkoumaných nebo málo prozkoumaných typů náhradních modelů by se měl
věnovat každý zájemce o tuto diplomovou práci.
Doporučená literatura
·
L. Bajer, Z. Pitra, J. Repický,
and M. Holeňa.
Gaussian process surrogate models for the CMA evolution strategy. Evolutionary
Computation, 27:665–697, 2019.
·
N. Hansen. The CMA evolution strategy: A
comparing review. In Towards a New Evolutionary Computation, pages 75–102.
Springer, 2006.
·
M. Lu, S. Ning, S. Liu, F. Sun, B. Zhang, et
al. OPT-GAN: A broad-spectrum global optimizer for black-box problems by
learning distribution. Arxiv 2102.03888v5, 2022.
·
S. Müller, M. Feurer, N. Hollmann, F. Hutter. PFNs4BO:
In-Context Learning for Bayesian Optimization. ICML, 2023.
·
S. Feng, P. Hao, H. Liu,
K. Du, B. Wang, et al. A data‑driven Kriging model based on
adversarial learning for reliability assessment. Structural and multidisciplinary optimization,
65 (2022), paper 27.