Zadání diplomové práce

Transfer learning v black-box optimalizaci

Transfer learning (tedy učení přenosem, ale český překlad se v podstatě nepoužívá) je metoda algoritmické extrakce znalostí z řešeného problému a jejich zabudování do řešení jiného problému. Hlouběji studovat se začala zhruba před 20 lety, v souvislosti s rozvojem moderních typů neuronových sítí, často označovaných jako hluboké sítě. Umožňuje s využitím sítě natrénované na velkém množství dat natrénovat jinou síť podobné kvality na mnohem menším množství dat.

V posledních letech se objevují pokusy používat transfer learning i v black-box optimalizaci. To je optimalizace, při které se nepoužívá matematické vyjádření optimalizované funkce (typicky z důvodu, že žádné takové vyjádření není známo), ale optimalizační algoritmus má k dispozici pouze její hodnoty v konkrétních bodech. Tyto hodnoty se obvykle získávají empiricky měřením nebo pomocí experimentů, ať už probíhají fyzicky nebo v podobě simulací. Pro black-box optimalizaci se používají algoritmy, které nemají skoro žádné předpoklady o matematických vlastnostech optimalizované funkce, nejčastěji evoluční algoritmy a další přírodou inspirované algoritmy jako roje částic. Pokud jde o transfer learning, ukazuje se, že podobně jako v případě neuronových sítí umožňuje natrénovat síť stejné kvality s menším množstvím trénovačích dat, umožňuje při black-box optimalizaci najít optimum na základě menšího počtu hodnot black-box funkce. To je velmi slibné z důvodu, že empirické získání hodnoty optimalizované funkce bývá obvykle značně nákladné i časově náročné.

Výzkum metod pro transfer learning v black-box optimalizac je však teprve v začátcích. Příspěvkem k němu by měla být i navržená diplomová práce, případně i několik diplomových prací lišících se tím, jakou metodu budou v kontextu black-box optimalizace zkoumat.

Doporučená literatura

· W. Chen, H. Dong, P. Wang, X. Wang. Surrogate-assisted global transfer optimization based on adaptive sampling strategy. Advanced Engineering Informatics 56 (2023).

· H. Dong, P. Wang, X. Yu, B. Song. Surrogate-assisted teaching-learning-based optimization for high-dimensional and computationally expensive problems. Applied Soft Computing Journal 99 (2021).

· A. Gupta, Y.S. Ong, L. Feng. Surrogate-assisted teaching-learning-based optimization for high-dimensional and computationally expensive problems. IEEE Transactions on Emerging Topics in Computational Intelligence, 2 (2018).

· C. Hu, S. Zeng, C. Li. Scalable GP with hyperparameters sharing based on transfer learning for solving expensive optimization problems. Applied Soft Computing Journal 148 (2023).

· V. Perrone, H. Shen, M. Seeger, C. Archambeau, R. Jenatton. Learning search spaces for Bayesian optimization: Another view of hyperparameter transfer learning. In NeurIPS 2019.