Jako black-box
označujeme optimalizaci, při které se nepoužívá matematické vyjádření
optimalizované funkce (typicky z důvodu, že žádné takové vyjádření není
známo), ale optimalizační algoritmus má k dispozici pouze její hodnoty
v konkrétních bodech. Tyto hodnoty se obvykle získávají empiricky měřením
nebo pomocí experimentů, ať už probíhají fyzicky nebo v podobě simulací.
Pro black-box optimalizaci se používají algoritmy, které nemají skoro žádné
předpoklady o matematických vlastnostech optimalizované funkce, nejčastěji
evoluční algoritmy a další přírodou inspirované algoritmy jako roje částic.
Protože tyto algoritmy pracují pouze s funkčními hodnotami optimalizované
funkce, blíží s k jejímu optimu podstatně pomaleji než optimalizační
metody pro hladké funkce, které využívají rovněž informace o gradientu
optimalizované funkce, případně o jejích druhých derivacích. Tato vlastnost je
zvláště nepříjemná ve spojení se skutečností, že empirické získání hodnoty
optimalizované funkce bývá obvykle značně nákladné i časově náročné. Evoluční
algoritmy však lze podstatně urychlit tím, že při vyhodnocování funkční hodnoty
optimalizované funkce používají empirickou black-box funkci jen občas, zatímco
většinou vyhodnocují pouze její dostatečně přesný regresní model. Mezi regresními modely používanými
k tomuto účelu jsou už zhruba 20 let i umělé neuronové sítě, nejdříve
vícevrstvé perceptrony a později pak sítě s radiálními bázovými funkcemi.
Pod vlivem současné popularity moderních typů neuronových sítí, často
označovaných jako hluboké neuronové sítě, byly nicméně v posledních letech
navrženy dva nové přístupy k urychlení black-box optimalizace založené právě na
moderních neuronových sítích. První z nich spočívá v optimalizaci na
latentním prostoru nižší dimenze, zobrazovaném generativní neuronovou sítí do
původního prostoru, v němž leží vstupy optimalizované black-box funkce. Druhá
na sítích typu GAN (generative adversarial network), jejichž dvě komponenty se
používají pro explorační a exploatační složku optimalizace.
Student si k
tomuto rámcovému tématu může vybrat z několika konkrétních diplomových
prací podle toho, který druh umělých neuronových sítí ho nejvíce zajímá.
·
S. Feng, P. Hao, H. Liu, K. Du, B. Wang, et al.
A data‑driven Kriging model based on adversarial
learning for reliability assessment. Structural and multidisciplinary
optimization, 65 (2022), paper
27.
· M. Lu, S. Ning, S. Liu, F. Sun, B. Zhang, et al.
OPT-GAN: A Broad-Spectrum Global Optimizer for Black-box Problems by Learning
Distribution. Arxiv 2102.03888v5, 2022.
· S.
Müller, M. Feurer, N. Hollmann, F. Hutter. PFNs4BO: In-Context Learning for Bayesian
Optimization. ICML, 2023.
·
B. Paria, B. Pòczos, P. Ravikumar, J. Schneider, A.S. Suggala. Be greedy–a
simple algorithm for blackbox optimization using
neural networks. In: ICML 2022.
·
D. Phan-Trong, H.
Tran-The, S. Gupta. Neuralbo: A black-box
optimization
algorithm using deep neural networks. Neurocomputing 559(2023),
paper 126776.