Einführung in Einführung in ML mit CNN (Teil 1)

Vorwort

Bitte folgenden Code ausführen um notwendige Bibliotheken zu laden. Nicht erforderlich bei nativer R Software.

• R+ ist nahezu R Syntax mit einigen Ergänzungen die die Programmierung und lesbarkeit von Programmen erleichtern.

• Nicht alle R Packages sind in R+ enthalten, und es kann Abweichungen geben. Hier werden vor allem das imager, math, und cnn Package verwendet.

• Dennoch lassen sich die meisten öffentlich verfügbaren algorithmischen Lösungen und Hilfestellungen mit R+ umsetzen.

Literatur

• Lese "Learning R Programming" Kun Ren,2023

Synthetische Bilder

• Synthetische Bilder können mit Matrizen oder Bildobjekten erstellt werden.
• Matrizen sind immer monochromatische Grauwertbilder (zweidimensional)
• Eine Matrix wird mit matrix(init,nrow,ncol) erzeugt
• Alternativ kann als Initialwert auch ein Vektor (z.B. randomisiert mit runif(nrow*ncol)*scale) übergeben werden
• Es sollten für Bilder kompakte und typisierte Arrays verwendet werden, d.h., mit dem Zusatz mode='uint8'. Gängige Datentypen sind uint8, uint16, und uint32. bei einige Berechnungen und Operationen muss float32 verwendet werden.
• Im Package geometry gibt es eine Reihe von Funktionen um geometrische Objekte in Matrizen und Bildern zu erzeugen, wie z.B. (x ist eine Matrix oder ein Bild):
  • draw.line(x,value,from,to)
  • draw.rectangle(x,value,center?,left?,top?,width?,height?,angle?,filled?)
  • draw.circle(x,value,center,width?,height?,radius?,angle?,filled?)

• Für diese Übung werden synthetische Bilder mit geometrischen Figuren (nicht gefüllt) erzeugt:
  • Linie, Ellipse/Kreis, Rechteck, mit der mittleren Intensität i₁
  • Nur ein Objekt pro Bild
  • Es gibt einen Hintergrund nicht i₀, d.h. der Kontrast soll verkleinert werden:

Aufgabe. Erzeuge einen Datensatz mit jeweils N Linien, Kreise, und Rechtecken. Nachfolgend ist dieses für Rechtecke gezeigt. Ergänze Kreise (Ellipsen mit w != h) und Linien (w und h geben die rechteckige Rahmenboxgröße an).

Randomisiertes Sampling

Bisher liegen die annotierten Beispielsdaten in einer Datentabelle in geordneter Reihenfolge. Für das Training (Anpassung) (und ggfs. den Test) eines datengetriebenen Modells M(x) ≈ f(x)=x→y sind aber randomisiert gereihte Dateninstanzen sinnvoll oder gar erforderlich (hängt vom Anpassungsverfahren ab).

• Dazu verwendet man z.B. die sample Funktion

Aufgabe. Erzeuge einen randomisiert gereihten Datensatz (im.dataset aus im.dataset).

Datenteilung: Trainings- und Testdaten

Neben der Randomisierung der Reihenfolge von Datensätzen ist eine Partitionierung in Trainings- und Testdaten i.A. erforderlich. Für die Anpassung des Modells werden nur die Trainingsdaten verwendet.

Typischerweise teilt man die gesamte annotierte Datenmenge zu 80/20 % auf, Der Großteil wird für das Training verwendet.

• Die Aufteilung kann mit der split Funktion erfolgen
  • Die Split Funktion teilte eine Datenmenge in Untermengen ein. Entweder sequenziell oder randomisiert (mit random=TRUE, aber immer disjunkte Mengen)
  • Der prob=[p1,p2,..] Parameter ist ein Vektor der die verteilung der Daten auf die Partitionen angibt (Summe muss kleiner als 1 sein)
  • Die Funktion gibt eine Liste der Partitionen zurück
  • Die Split Funktion kann auf Vektoren ebenso auf Datentabellen angewendet werden.

Das CNN Modell

Ein CNN Modell besteht aus verschiedenen Ebenen:

1. Convolutional Layer (C): Mathematische kernelbasierte Matrixoperation hier mit mehreren Filtern (Kernels), mit bestimmten Padding und Striding ⇒ n Filter erzeugen aus einem Bild n neue Bidler!
   • Dei einzelnen Filter (matrizen) sind unabhängig, deren Koeffizienten werden durch das Trasining angepasst
   • Die Matrixoperation basiert auf Produkt-Summen (immer lineare Funktion)
2. Pooling Layer (P): Auch kerlnelbasierte Matrixoperation, aber nicht paramaterisierbar, d.h., Anwendung einer Funktion wie Maximumsauswahl oder Mittelwertberechnugn auf Filtermaske.
3. Funktionale Schicht (F): Abbildung von Matrizen durch Pixeloperation (z.B. ReLu Funktion);
4. Künstliches Neuronales Netzwerk (Fully Connected FCANN)
   • Hier ist jedes Neuron mit allen Pixel aller Ausgabebilder der vorherigen Ebene verbunden!
   • Ggfs. am Ausgang noch mit einer Softmax Funktion für Klassifikationsaufgaben
   • Softmax impliziert immer eine FC Schicht

C und P treten i.A. paarweise auf (CP Paare) und wirken hier häufig dimensions- und größenreduzierend. Das ist nicht verwunderlich da am Ende nur eine geringe Dimensionalität (hier Vektor mit drei Werten) berechnet werden soll.

Es wird mit der ´cnn::cnn´ Funktion erzeugt. Es können die Schichten (Layer), also die Modellstruktur und Architektur, und der Trainingsalgorithmus bestimmt und parametrisiert werden. Standardmäßig wird ein Stochastic Gradient Descent Trainer (SGD) verwendet.

Aufgabe. Berechne für die verwendeten Netzwerke die Gesamtzahl dynamischer Parameter aus den einzelnen Schichten.

Training des Modells

Das Training erfolgt mit cnn::train Funktion. Es wird benötigt:

• Die Eingabedaten x (hier Liste von Bildmatrizen);
• Die Ausgabedaten y (hier Vektoren von Zeichenketten, der Labels);
• Oder eine Datentabelle bzw. Matrix mit einer Formel die den Ein -und Ausgabezusammenhang darstellt, d.h., y~x, jeweils mit den Spaltennamen ersetzt.
• Das Training ist inkrementell, d.h., kann mehrfach hintereinander wiederholt werden. Eine Epoche durchläuft alle Instanzen des Trainingsdatensatzes!
• Wir deine Callback Funktion angegeben wird das Training asynchron ausgeführt.

Aufgabe. Führe ein Training exemplarisch mit einem kleinen Netzwerk und N=100 durch (epochs=30) und notiere exemplarisch die Entwicklung des Loss- und kategorischen Fehlerwerts. Wie entwickelt sich das Training mit zunehmenden Epochen?

Statistische Analyse

Was wird benötigt?

1. Der mittlere Klassifikationsfehler des Modells für:
   • Trainingsdaten
   • Testdaten
2. Der klassenspezifische Fehler, also die Konfusionsmatrix für:
   • Trainingsdaten
   • Testdaten
3. Accuracy, Precision, Recall, F1-Score

Die Berechnung des Modells mit Eingabedaten erfolgt mit cnn::predict(model,x). Man bekommt eine Liste mit {score:numeric,value:label} oder eine Datentabelle mit entsprechenden Spalten. Der Score ist der numerische Ausgabewert der Softmax oder Neuronenschicht, der Wert ist die kategorische Klasse als "best winner".

Frage. Was stellt man schon bei den ersten Versuchen fest (Ergebnisse für Trainings- versa Testdaten)?

Aufgabe

1. Wiederhole die Experimente für N=100 mit verschiedenen Modellarchitekturen:

   • Ein CP Paar mit 8 Filtern
   • Ein CP Paar mit 4 Filtern
   • Zwei CP Paaren mit 4/4 Filtern
   • Zwei CP Paaren mit 8/8 Filtern

2. Notiere die Ergebnisse. Wo gibt es Falschklassifikationen?

3. Wiederhole das Experiment mit N=500,1000. Gibt es eine Verbesserung?

4. Hat die Anzahl der Epochen einen Einfluss auf die Qualität des Modells (je mehr desto besser?). Es geht vor allem um die Ergebnisse mit den Testdaten.