Perzeptron
Der Begriff Perzeptron ist eine Wortschöpfung des amerikanischen Psychologen und Informatikers Frank Rosenblatt aus den Worten perception (engl. Wahrnehmung) und Neuron. Rosenblatts Ziel war es, eine Maschine zu bauen, welche wie unser Gehirn Eingabedaten mit Hilfe der Neuronenverbindungen ohne explizite Instruktion korrekt klassifiziert. Eine frühe Version des Perzeptrons wurde beispielsweise trainiert, um mit Hilfe von Fotozellen Bilder von Männern und Frauen den beiden Klassen zuzuordnen (siehe Video). Trainieren heisst im Falle dieses Beispiels folgendes:
Ein Bild wird von 20x20 Photozellen aufgenommen (=Eingabedaten).
Die Eingabedaten werden durch gewichtete Verbindungen im Netzwerk weitergereicht und eine Ausgabe berechnet, zum Beispiel "Frau".
Falls die Ausgabe korrekt ist, werden die Verbindungen (Gewichte) nicht verändert. Bei einer falschen Ausgabe werden die Gewichte leicht angepasst.
Dieser Prozess wird mit unterschiedlichen Bildern so lange wiederholt, bis die Fehlerrate einen akzeptablen Wert erreicht.
Inspiriert wurden künstliche Neuronen wie das Perzeptron durch die Funktionsweise von biologischen Nervenzellen (Neuronen), welche auf die Aufnahme und Verarbeitung von Signalen spezialisiert sind. Die Dendriten der Nervenzelle leiten die eingehenden elektrischen Erregungen an den Zellkörper weiter. Übersteigt die Erregung einen gewissen Schwellenwert, entlädt sich die Spannung über das Axon (Abb. 16). An den Axonterminalen werden die Signale über Synapsen chemisch oder elektrisch an Dendriten der nächsten Nervenzelle weitergereicht. So entsteht beispielsweise im menschlichen Gehirn ein Netzwerk mit etwa 90 Milliarden Neuronen (Quelle).
Dieses Perzeptron hat lediglich drei Eingabeneuronen. Es wurde trainiert, um anzugeben, ob eine Person einen Film mag (like) oder nicht (dislike). Der Wert in der Mitte ist die gewichtete Summe der Eingabeneuronen. Sie bildet die Spannung des Perzeptrons ab. Wie bei den biologischen Nervenzellen wird auch beim Perzeptron die Spannung erst weitergeleitet, wenn ein Schwellenwert erreicht wird. Durch einen Klick auf die Eingabeneuronen können diese aktiviert werden. Welche Art von Filmen mag die Person? Probier's selbst aus!
Die blauen und die orange Verbindung von den Eingabeneuronen zur Summe sind gewichtet. Das heisst, sie werden mit einem vorgegebenen Wert (dem Gewicht) multipliziert. In diesem Beispiel heisst das folgendes:
Die Eingabewerte sind entweder –1 oder 1.
Die blauen Gewichte sind 33%
Das orange Gewicht ist –33%
Im Beispiel Movie Recommender wird untersucht, wie sich die Gewichte im Laufe eines Trainings anpassen. Dabei wird auch gezeigt, dass mit dem gleichen Lernalgorithmus unterschiedliche Filmvorlieben antrainiert werden können.
Als wir versuchten, unser einschichtiges Perzeptron dazu zu bringen, sich auf den Geschmack von Sara einzustellen, stellten wir fest, dass es auch nach über 50 Iterationen nicht dazu in der Lage ist. Saras spezieller Filmgeschmack ist ein Beispiel für Kontravalenz oder XOR. Es lässt sich leicht erklären, weshalb ein einzelnes Perzeptron nicht in der Lage ist, die beiden Klassen voneinander zu trennen. Im Grunde sucht unser Perzeptron nämlich nach einer Linie, um die positiven von den negativ bewerteten Klassen zu trennen (Link zu interaktiver Darstellung).
Obwohl die Idee des Perzeptrons von 1957 als Grundlage für künstliche neuronale Netze gilt, führte die Unlösbarkeit des XOR-Problems in den 1970er-Jahren dazu, dass die Forschung in diesem Bereich für mehr als zehn Jahre fast eingestellt wurde. Die Lösung lag schliesslich darin, die künstlichen Neuronen in Schichten hintereinander zu setzen.