|
A Einleitung und Basis-Modelle
11
1) Einleitung 11
2) Gedächtnisfunktion innerhalb
Evolutions-Algorithmen 13
2.1) Gedächtnisinhalte 13
2.2) Deklaratives und prozedurales
Gedächtnis 13
2.3) Gedächtnisträger 13
2.4) Gedächtniszeiträume
13
2.5) Approximations- und
Klassifikationsmodelle 14
2.6) Approximationsmodelle
als sekundäre Optimierungsaufgabe 15
3) Kostenbetrachtungen der
Anwendung von Approximationsmodellen 17
4) Verwendete Basis-Modelle
20
4.1) Verwendete Modelle
der Evolutions-Strategien 20
4.1.1) r-geschlechtliche
(m,l)- und (m+l)-ES 20
4.1.2) Mehr-Ziel-ES 22
4.1.2.1) Paretomenge
22
4.1.2.2) Pareto-ES 26
4.1.2.3) Pareto-Hierarchien
30
4.1.2.4) Pareto-Wettkampf-Hierarchien
34
4.1.2.4.1) Wettkampfoperation
34
4.1.2.4.2) Wettkampf-Hierarchie
35
4.1.2.4.3) Pareto-Wettkampf-Hierarchie
als Spezialisierung einer
Wettkampf-Hierarchie
37
4.1.3) Genetic Load als
eine Gedächtnisfunktion innerhalb ES 40
4.2) Resampling-Verfahren
42
4.2.1) Paar-Bootstrap
43
4.2.2) Paar-Bootstrap
höherer Ordnung 43
4.2.3) Restwert-Bootstrap
45
4.2.4) Moving-Blocks-Bootstrap
46
4.3) Verwendete Basis-Modelle
der stützpunktbasierten Approximation 47
4.3.1) Einführung 47
4.3.1.1) Approximation,
Interpolation, Regression 47
4.3.1.2) Symbolische
und stützpunktorientierte Approximation 49
4.3.1.3) Instanz- und
prototypbasierte stützpunktorientierte Approximation 49
4.3.1.4) Gemeinsames
Framework des überwachten und unüberwachten
Lernens 50
4.3.2) Local-Weighted-Regression
51
4.3.3) Sensorische-SOM
(S-SOM) 53
4.3.4) Growing-Neural-Gas
(GNG-SOM) 55
4.3.5) Stimulus-Cluster-GNG-SOM
(SC-GNG-SOM) 58
4.3.6) Local-Weighted-Regression
im Rahmen einer SC-GNG-SOM
(LWR-SC-GNG-SOM) 62
4.3.7) Exploitatives und
Exploratives Wachstum einer Verbindungsstruktur 66
4.3.7.1) Exploitatives
Wachstum einer Verbindungsstruktur 66
4.3.7.2) Verfahren von
exploitativen Einfügeoperationen 73
4.3.7.3) Exploratives
Wachstum einer Verbindungsstruktur 73
4.3.7.4) Verfahren von
explorativen Einfügeoperationen 77
4.3.7.5) Innere und
äussere Gewichtsvektoren 79
4.3.7.6) Aktualisierung
der Verbindungsstruktur 82
4.3.7.7) Fortschreitendes
Wachstum 84
4.3.7.8) Unifikationsansatz
von Wachstum und Reproduktion 86
4.3.8) Modellqualität
93
4.3.8.1) Modellqualität
durch lokale Fehler bei SC-GNG-SOM-Modellen 94
4.3.8.2) Zwei-Ziel-Bewertung
durch MSE und Fehlervarianz 95
4.3.8.3) MSE-Integral
und Bias-Varianz-Zerlegung 95
4.3.8.4) Zwei-Ziel-Bewertung
durch Varianz- und Bias-Mittelwert 96
4.3.8.5) Häufigkeits-Verteilungen
der Varianz- und Biaswerte 97
4.3.8.6) Modellbewertung
durch Varianz- und Bias-Integrale 99
4.3.8.7) Fitness-, Bias-,
und Varianz-Approximationsmodelle 100
4.3.8.8) Modellqualität
durch Gewinnerlisten-Verfahren 102
4.3.8.9) Suche nach
Inputvektoren mit extremalen Werten 106
4.4) Anwendungsregionen
stützpunktbasierter Approximationsmodelle 107
4.5) Ableitung von Modellvarianten
aus einem SC-SOM-Primärmodell 109
4.5.1) Rekonstruktionen
durch Stimulus-Resampling 109
4.5.2) Rekonstruktionen
durch Gewichtsvektoren-Resampling 112
4.5.3) Rekonstruktionen
durch Jackknife-Verfahren 115
4.5.4) Nutzung der Erzeugungs-Historie
eines Modells 117
4.5.5) Zentrierte Modellindividualisierung
121
4.5.5.1) Lokalität durch
e-Differenz-Umgebungen 122
4.5.5.2) Lokalität durch
Gewichtsvektoren-Nachbarschaften 124
4.6) Ordered-Weighted-Averaging-Operator
128
4.7) Verwendete Basis-Modelle
des aktiven, überwachten Lernens 129
4.7.1) Passives und aktives
Lernen 129
4.7.2) Geschlossene Stimulusmenge
130
4.7.3) Stimulusstrom (Query-Filtering)
135
4.7.4) Offene Stimulusmenge
138
4.7.5) Aktive Auswahl
eines Inputvektors 141
B Modelle der Fitnessfunktion
AM(x) 151
5) Generationsinterne Approximationsmodelle
auf Populationsebene 151
5.1) Basismodelle der populationszentrierten
AM(x)-Nutzung 152
5.2) Informationsaustausch
zwischen Suchräumen 157
5.3) Individuenzentrierte
AM(x)-Nutzungen 159
5.3.1) Akzeptanzkriterien
160
5.3.2) Individuenzentrierte
AM(x)-Nutzung im Rahmen von sel(R) 164
5.3.3) Individuenzentrierte
AM(x)-Nutzung im Rahmen von sel(Z) 168
5.3.4) Individuenzentrierte
AM(x)-Nutzung im Rahmen von sel(N) 171
5.4) AM(x)-Aktualisierung
durch aktives Lernen im Rahmen von sel(N) 173
6) Approximationmodelle auf
Individuenebene 177
6.1) Modellbewertung, explizite
Selbstadaption und Mehr-Ziel-Entscheidungen 179
6.2) AM(x)it-Nutzungen 183
6.2.1) AM(x)it-Nutzung
im Rahmen von sel(R) 183
6.2.2) AM(x)it-Nutzung
im Rahmen von sel(Z) 184
6.2.3) AM(x)it-Nutzung
im Rahmen von sel(N) 187
6.3) AM(x)it-Reproduktion
189
6.4) Temporäre, stützpunktbasierte
Modelle auf Elternebene 198
6.4.1) Eltern-Fitness-Approximationsmodelle
198
6.4.2) Eltern-Fehler-Approximationsmodelle
200
7) Reproduktion instanzbasierter
LWR-Modelle 201
7.1) Generationsinterne
LWR-Modelle 201
7.1.1) Generationsinterne
Stützpunkt-Zuordnung 202
7.1.2) Reelle Kodierung
der Stützpunktmenge 202
7.1.2) Reproduktionsproblematik
bei generationsinternen Modellen 205
7.2) Generationübergreifende
LWR-Modelle 205
7.2.1) Stützpunktvektoren
bei generationsübergreifenden Modellen 207
7.2.2) Reproduktion bei
generationsübergreifenden Modellen 208
7.2.3) Modellqualität
und Testmengenproblematik 210
7.2.4) Beispiel einer
Reproduktion mit Mehr-Ziel-Entscheidungen 212
8) Pareto-Selektion durch
Schätz- und Akzeptanzvektoren 215
8.1) Pareto-Selektion durch
Akzeptanzvektoren 215
8.1.1) Akzeptanzvektoren
im Rahmen von sel(R) 216
8.1.2) Akzeptanzvektoren
im Rahmen von sel(Z) 216
8.1.3) Akzeptanzvektoren
im Rahmen von sel(N) 218
8.2) Pareto-Selektion durch
Fitness-, Output-Varianz- und Bias-Schätzung 223
9) Selbst-Akzeptanzprüfung
und Eigenbestimmung von Nachkommen 230
9.1) Selbst-Akzeptanz auf
der Basis alternativer Bewertungen 231
9.2) Selbst-Akzeptanzprüfung
bei sel(R) 233
9.3) Selbst-Akzeptanzprüfung
bei sel(Z) 234
9.4) Selbst-Akzeptanzprüfung
bei sel(N) 241
10) Trennung von Reproduktion
und Bewertung durch Bewertungspools 246
10.1) Generationsinterner
Bewertungspool 249
10.1.1) Diversiver Bewertungspool
durch struktuelle bzw. funktionelle Diversivität 250
10.1.2) Erzeugung von
lokal optimalen Pools 253
10.1.3) Bewertungspool
im Rahmen von sel(Z) 254
10.1.4) Prüfung der Anwendung
eines Bootstrap-Bewertungspool bei sel(N) 260
10.1.5) Integration von
Reproduktion und Bestimmung der Anwendungsregion 264
10.1.5.1) Zulässigkeitsprüfung
265
10.1.5.2) Disagreement-Zulässigkeitsprüfung
266
10.1.5.3) Reproduktion
und AR-Bestimmung durch Prototyp 268
10.2) Generationsübergreifender
Pool generationsinterner Modelle 275
10.2.1) Bewertungspool-Selektion
auf der Basis von Anwendungsregionen 280
10.2.1.1) Bewertungspool
mit allen Modellen der Grundmenge 280
10.2.1.2) Behandlung
von Individuen in der blinden Explorationsregion 281
10.2.1.3) Strategien
zur Reduktion der Modellanzahl im Bewertungspool 282
10.2.1.4) Strategien
mit erwarteter Reproduktionsregion 283
10.2.1.5) Strukturierung
von Anwendungsregionen 288
10.2.2) Bewertungspool-Selektion
auf der Basis von Performancemodellen 291
11) Substitutionsansätze
von Fitnesswerten durch Schätzungen 303
11.1) Umfang der Substitution
304
11.2) Partielle Trennung
von Modellaufbau und Reproduktion 307
11.3) Selektion zur Fitnessbestimmung
sel(F) 308
11.3.1) Zufallsverfahren
309
11.3.2) Bewertungsverfahren
309
11.3.3) Distanzverfahren
311
11.3.4) Modelloptimierungsverfahren
312
11.4) Variable Individuenanzahl
im Rahmen der Substitution 315
11.5) Kopplungsstrategie
von Fitness- und Modellfunktion 317
11.5.1) Stochastische
Kopplungs-Schedule 317
11.5.2) Periodische Kopplungs-Schedule
318
11.5.3) Bewertungs-Schedule
318
11.5.4) Extremwert-Schedule
318
C Hybride Ansätze der Integration
von ES-Optimierung und GNG-Modellbildung 324
12) GNG-Prototyp-Individuen-Graphen
324
12.1) Neurone als Prototyp-Individuen
326
12.2) Selektion zur Reproduktion
mit Prototyp-Individuen 328
12.3) Reproduktion mit Prototyp-Individuen
331
12.3.1) Explorative, mutative
Erzeugung von Standard-Individuen 332
12.3.2) Explorative, unabhängige
Erzeugung von Prototyp-Individuen 335
12.3.3) Explorative, iterative
Erzeugung von Prototyp-Individuen 339
12.3.4) Wachstum und Steady-State-Reproduktion
343
12.4) Selektion zur Übernahme
in die Nachfolgepopulation 344
12.4.1) Sel(N) von Standard-Individuen
344
12.4.2) Sel(N) von Prototyp-Individuen
354
12.4.3) Approximationsmodelle
bei strukturierten Populationen 357
12.4.4) Degenerierung
einer Verbindungsstruktur 362
12.4.4.1) Degenerierung
durch Schwerpunktbildung 362
12.4.4.2) Degenerierung
durch Renormierung 366
12.5) Substitutions-Strategie
mit Prototyp-Individuen 371
13) Schrittrichtungsmodelle
und exploitative Zielregionen 385
13.1) Ungerichteter und
gerichteter Verbindungsgraph 386
13.2) Gerichteter Verbindungsgraph
mit regionalen und lokalen Extrema 387
13.3) Verschiebeoperationen
innerhalb der inneren Anwendungsregion 387
13.3.1) Verschieberichtung
und Verschiebedistanz 389
13.3.2) Zielregionen in
der inneren Anwendungsregion 391
13.3.3) Lokale Minima
als Ladungsträger 393
13.4) Gerichtete Graphen
durch alternative Masse und Pareto-Entscheidungen 394
13.5) Schrittrichtungsmodelle
und Zulässigkeitsprüfung in AR-(x) 396
14) Explorative Zielregionen
398
14.1) Einfach und doppelt
maskierte Voronoi-Regionen 398
14.2) Nachfolgeprobleme
asphärischer Zielregionen 404
14.3) Exploration-Exploitation
durch zwei Fehler-Schwellenwerte 417
14.4) Explizite Subpopulationsbildung
mit Zielregionen 419
14.4.1) Passive Subpopulationsbildung
durch NSC-GNG-SOM 420
14.4.2) Aktive Subpopulationsbildung
durch Auswahl mehrerer Zielregionen 426
14.5) Gitterverfahren vs.
Reproduktion 428
14.5.1) Betrachtung des
Aufwandes bei Gitterverfahren 434
14.5.2) Problem der unvollständigen
Individuenstruktur bei Gitterverfahren 438
14.6) Explorative Zielregionen
durch topologische Modellierung 440
14.6.1) Exploration als
Aufbau eines GNG-Graphen 444
14.6.1.1) Topologische
Modellierung von explorativen Kragen 445
14.6.1.2) Exploratives
Wachstum eines GNG-Verbindungsgraphen 456
14.6.1.3) Vollständige
Individuenstruktur bei Wachstumsprozessen 462
14.6.2) Spezialisierung
der Modelle für eine Zielregion durch Aktives Lernen 467
14.6.3) Konstruktion von
Zielregionarten durch GNG-Graph-Zerlegung 472
14.6.4) Abhängige Schwellenwerte
479
14.6.5) Exploitation als
Untersuchung verschiedener Zielregionarten 481
14.6.5.1) Verfahren
unter ausschliesslicher Verwendung des
Optimierungsaspektes
482
14.6.5.2) Verfahren
unter Einbeziehung des Modellbildungsaspektes 489
14.6.5.2.1) Berücksichtigung
bei der selN-Operation 491
14.6.5.2.2) Berücksichtigung
bei der Erzeugung von
Gewichtsvektoren
in R(G(AR+)) 492
14.6.5.2.3) Fitness-Minimierung
in äusserer Anwendungsregion und
ĂMSE-Maximierung
in Restregion 493
14.6.5.3) Exploitation
von Grenzregionen 495
14.6.6) Bildung eines
neuen Modells bzw. Modellaktualisierung 501
14.6.6.1) Generationsinterne
Stützpunktverteilung 502
14.6.6.2) Sel(F) nach
der Übernahme in die Nachfolgepopulation 504
14.6.6.3) Generationsübergreifende
Stützpunktverteilung bei Aktivem
Lernen 506
14.6.7) Effiziente Schätz-Strategien
beim exploitativen Wachstum 514
14.6.7.1) Initialisierung
einer lokalen Graphensuche 514
14.6.7.2) Zuordnung
einer Stützpunktliste 517
14.6.7.3) Direkte Schätzung
mit Hilfe der Nachbar-Gewichtsvektoren 519
14.6.8) Sequentieller
Ablauf von Modellbildungs- und Optimierungsaspekt 522
14.6.9) Verwendung unabhängiger,
instanzbasierter Modelle in G(AR+)t 534
14.6.10) Unabhängige Modelle
durch Häufigkeitsverteilungsmodell 537
14.7) Regelung des Aufwandes
für Exploration und Exploitation 541
14.7.1) Regelung der l-Werte
durch Fitnessschätzungen 543
14.7.2) Regelung der l-Werte
durch richtige Fitnesswerte 547
14.7.3) Regelung des m-Wertes
548
14.8) Übergang einer Explorations-Exploitations-
in eine Exploitationsstrategie 551
14.8.1) Vergleich einer
generationsinternen Region mit der Gesamtregion 552
14.8.2) Vergleich der
Folgezustände des generationsübergreifenden Modells 554
14.9) Zielregionen für Restart-Strategien
560
14.9.1) Restart des Exploitationsverfahrens
562
14.9.2) Restart des Explorations-Exploitationsverfahrens
563
14.9.2.1) Festlegung
der Initialisierungsregion 563
14.9.2.1.1) Festlegung
durch zufällige Initialisierung 563
14.9.2.1.2) Festlegung
durch globale ĂMSE-Maximierung 565
14.9.2.2) Restart mit
Übernahme zusätzlicher Attribute 566
14.9.2.2.1) Restart
mit nicht zufällig initialisierten
Schrittweitenvektoren
566
14.9.2.2.2) Zusätzliche
Verwendung von Modellen im Rahmen von
Modellpools 568
D Modelle der Schrittweitenqualität
AM(s) 569
15) Bewertung der Schrittweitenqualität
570
15.1) Initialisierungsproblematik
574
15.2) Sequenzlängenproblematik
575
15.3) Sequenzerzeugung 579
15.3.1) Sequenzerzeugung
durch ungeschlechtliche Reproduktion 579
15.3.2) Sequenzerzeugung
durch geschlechtliche Reproduktion 582
15.4) Sequenzanalyse und
Bestimmung der s-Fitness 585
15.4.1) Beschreibung durch
x-Fitnesswerte 585
15.4.2) Beschreibung durch
x-Fitness-Deltawerte 587
15.4.3) Beschreibung durch
Moving-Blocks-Bootstrap 588
15.5) Nutzung der Attributsschätzungen
der internen Optimierungen 590
15.5.1) Zusammenhang mit
extremer Substitutionsstrategie 590
15.5.2) Nutzung der Fitnessschätzungen
durch Substitution 590
15.5.2.1) Lokale Substitutionsstrategien
593
15.5.2.2) Globale Substitutionsstrategien
596
15.6) Umkehrung der Dominanz
bei direkter Selbstadaption 599
16) Approximationsmodelle
von Schrittweiten-Fitness 604
16.1) Verfahren auf der
Basis von Standard-Individuen 605
16.2) Verfahren auf der
Basis von Neuronen und Prototyp-Individuen 615
16.3) Aktives Lernen zur
Bestimmung des Schrittweiten-Fitness-Modells 625
16.4) Kooperative Koevolution
von Objekt- und Schrittweitenvektoren 641
16.4.1) Koevolution bei
selR und selZ 641
16.4.2) Koevolution bei
selN 645
Literaturverzeichnis
Abbildungsverzeichnis
|