Gabriela Kadlecová, Lukasik, J., Pilát, M., Petra Vidnerová, Safari, M., Roman Neruda, Hutter, F.
Surprisingly Strong Performance Prediction with Neural Graph Features.
Nedávný pokrok v oblasti umělé inteligence a ML vyžaduje využití stále složitějších architektur neuronových sítí, které by se měly rychle trénovat, snadno interpretovat a být co nejpřesnější. Ideální architektura sítě jednoznačně závisí na dané úloze. V poslední době vzbudily široké povědomí techniky vyhledávání neuronových architektur (NAS), a to díky automatickému průzkumu životaschopných síťových modelů. Byly zkoumány různé charakteristiky predikce výkonnosti, aby se zmírnily vysoké výpočetní náklady nutné k trénování zkoumaných sítí, mimo jiné i proxy s nulovými náklady. Motivováni jejich limity Kadlecová a kol. zavedli nové inovativní vlastnosti neuronových grafů (GRAF), které umožňují vyšší stabilitu a interpretovatelnost nalezených výsledků. Kromě toho, že se dají jednoduše a rychle vyhodnotit, překonávají většinu ostatních prediktorů ve více srovnávacích testech, zejména v kombinaci s dalšími zero-cost proxy.
Na výzkumu spolupracovali vědci z několika mezinárodních institucí. Článek byl prezentován na prestižní konferenci ICML v červenci 2024; od té doby byl dvakrát citován. Jeho první autorka, p. Kadlecová, je mladou autorkou, která pokračuje v doktorském studiu.