Třífázové učení

Tabulka 7.3: Třífázové učení.

šířka	vážená norma	druhá fáze	chyba sítě	čas
ne	ne	-	6.26	2s
ano	ne	Q sousedů, q=1, c=3	0.16	3s
		Q sousedů, q=1, c=3.5	0.08	3s
		Q sousedů, q=1, c=4	0.33	3s
ano	ne	gradientní metoda,	12.69	5s
		P = 2, 200 iterací
		gradientní metoda,	5.65	5s
		P = 4, 200 iterací
		gradientní metoda,	2.41	5s
		P = 6, 200 iterací
		gradientní metoda,	0.45	5s
		P = 10, 200 iterací
ano	diagonální	gradientní metoda,	5.47	8s
		P = 2, 200 iterací
		gradientní metoda,	13.38	11s
		P = 4, 300 iterací
		gradientní metoda,	0.65	11s
		P = 6, 300 iterací
		gradientní metoda,	0.067	27s
		P = 10, 1000 iterací
ano	ano	gradientní metoda,	2.16	15s
		P = 2, 200 iterací
		gradientní metoda,	13.12	15s
		P = 4, 200 iterací
		gradientní metoda,	1.15	15s
		P = 6, 200 iterací
		gradientní metoda,	0.09	30s
		P = 10, 500 iterací

V druhém případě jsme použili třífázové učení. Protože vstupní vzory jsou rozmístěny rovnoměrně, použijeme rovnoměrné rozmístění RBF jednotek.

Experiment jsme provedli několikrát s různými parametry jednotek a různými způsoby jejich nastavení.

K nastavení vah jsme použili SVD rozklad, který je nejsilnější z metod nejmenších čtverců. RQ rozklad a Moore-Penroseova pseudoinverze dávají méně přesné řešení a v některých případech selžou.

Výsledky provedených experimentů jsou uspořádány do tabulky 7.3. Uvádíme vždy s jakými parametry jednotek byl experiment prováděn a jakou metodou byly tyto parametry nastaveny. U použití průměru vzdáleností $q$ nejbližších sousedů uvádíme koeficient úměrnosti $c$, u gradientní metody počet iterací a parametr $P$ (viz kapitola 4.12). Dále následuje výsledná chyba sítě a celkový čas výpočtu zaokrouhlený na celé sekundy.

Průměrný čas 100 iterací gradientní metody je pro sítě, kde adaptujeme jen šířky, 1.06 s, pro sítě s adaptovatelnými šířkami a diagonálními maticemi norem 2.41 s a pro sítě s adaptovatelnými šířkami a obecnými maticemi norem 5.12 s.

Průměrný čas druhé fáze při použití heuristiky $q$ sousedů je 0.004 s. Třetí fáze trvá v průměru 3.35 s.

V tomto případě se ukázalo použití parametru šířky a heuristiky $q$ sousedů jako rychlejší a postačující. Minimalizací chybové funkce v druhé fázi a přidáním vážené normy jsme žádné podstatně lepší výsledky nezískali.

Funkce naučené sítě je na obrázku 7.4 a průběh její chybové funkce je znázorněn na obrázku 7.5.

Obrázek 7.4: Funkce sítě naučené třífázovou metodou.

Obrázek 7.5: Chybová funkce na tréninkové množině pro síť naučenou třífázovou metodou.