Gradientní metoda

První použitou metodou na problém klasifikace dvou spirál byla gradientní metoda.

Učili jsme síť se 150 jednotkami. Výpočet jsme pustili pětkrát s použitím euklidovské normy a pětkrát s použitím vážené normy, tedy v druhém případě měly jednotky adaptovatelnou matici normy.

Všechny výpočty jsme nechaly spočítat 10 000 iterací, přičemž hodnota chybové funkce byla zjišťována při každé desáté iteraci. Výpočet, při kterém se adaptovaly i matice vah, běžel asi čtyřikrát pomaleji. Průměrný čas potřebný na 100 iterací bez adaptace norem byl 36.4 s, pro 100 iterací s adaptací norem 133.4 s.

Průměrná počáteční chyba v obou případech byla zhruba 180. Výsledné hodnoty chybové funkce jsou zobrazeny v tabulce 7.13. Průběh výpočtu je zřejmý z obrázku 7.25. Chybová funkce klesá rychleji pro výpočet s adaptovatelnou maticí vah. Tento výpočet je však pomalejší, pro objektivní porovnání tedy slouží tabulka 7.14, kde je uveden počet iterací a odpovídající čas potřebný k poklesu chybové funkce pod dané $\varepsilon$ .

Tabulka 7.13: Výsledná hodnota chybové funkce (po 10 000 iteracích).

Euklidovská norma			Vážená norma
průměr	minimum	maximum	průměr	minimum	maximum
0.057	0.042	0.075	0.012	0.010	0.014

**Obrázek 7.25:** Porovnání poklesu chybové funkce pro sítě s váženými normami a euklidovskými normami.
$\begin{figure} \leavevmode \centering\epsfxsize =0.8\textwidth \epsfysize =0.4\textheight \epsfbox {2spback.eps}\end{figure}$

Tabulka 7.14: Průměrný počet iterací a čas potřebný k poklesu chybové funkce pod dané $\varepsilon$ .

	Euklidovská norma		Vážená norma
$\varepsilon$	iterace	čas	iterace	čas
100	20	7.27s	20	26.68s
10	630	3min 49s	460	10min 14s
1	1990	12min 4s	970	21min 34s
0.5	2590	15min 43s	1220	27min 8s
0.1	6530	39min 37s	2430	54min 2s
0.05	-	-	3610	1hod 20min 16s

RBF síť naučená gradientním algoritmem problém klasifikace dvou spirál vyřešila. Na obrázku 7.26 je reálná funkce sítě. Obrázek 7.27 pak zobrazuje ohodnocení bodů v rovině naučenou sítí.

**Obrázek 7.26:** Funkce sítě naučené gradientní metodou.
$\begin{figure} \leavevmode \centering\epsfxsize =0.8\textwidth \epsfysize =0.4\textheight \epsfbox{sit2spback.eps}\end{figure}$

**Obrázek 7.27:** Klasifikace bodů v rovině sítí naučenou gradientní metodou.
$\begin{figure} \leavevmode \centering\epsfxsize =0.8\textwidth \epsfysize =0.4\textheight \epsfbox{vystupy2spback.eps}\end{figure}$