Verstärkendes Lernen

Tim und die Linzertorte: Mit vordefinierten Algorithmen zum perfekten Dessert

Als Beispiel, wie verstärkendes Lernen funktioniert folgt hier eine kurze Geschichte von Tobias Rikenmann. Tim ist leidenschaftlicher Bäcker und zugleich gewiefter Programmierer. Tims Grossmutter backte zu ihren Lebzeiten die allerbeste Linzertorte - sie war weit über Tims Familie hinaus für das erstklassige, von ihr entwickelte Rezept bekannt. Dieses hielt sie anno dazumal per Handschrift in einem Rezeptbuch fest, in dessen Besitz Tim heute ist.

Die grosse Beliebtheit des Desserts hat dazu geführt, dass Tim der immensen Nachfrage nach Linzertorten nicht mehr nachkommen konnte. Er entschied sich deshalb, eine Linzertorten-Maschine zu programmieren. Dazu übersetzte er das Familienrezept in ein Programm, das sämtliche Zutaten akribisch genau kombiniert und die Zubereitung auf die Sekunde genau automatisiert steuert.

So dürfen sich seine Kunden eines Desserts erfreuen, das dem Original der Grossmutter in nichts nachsteht.

Das Wissen, das zur perfekten Linzertorte führt, hat Tims Grossmutter entwickelt und in ihrem Rezeptbuch festgehalten. Tim hat dieses Wissen in einem Programm festgehalten, das zum Backen der Torte immer wieder dieselben vordefinierten Schritte abarbeitet.

Linzi-KI: Mit maschinellem Lernen zum perfekten Dessert

Obwohl der Weg des vordefinierten Backrezeptes hin zu einer perfekten Torte für uns einleuchtend ist, gibt es auch einen anderen Weg, um dieses Ziel zu erreichen.

Das Start-Up Linzi, das sich auf das Herstellen von ausgezeichneten Linzertorten spezialisieren möchte, verfügt leider nicht über Tims geheimes Familienrezept.

Die Ingenieure und Programmierer von Linzi schlagen deshalb einen anderen Weg ein: Sie entwickeln den Roboter Linzi-KI, der für sie durch maschinelles Lernen die perfekte Torte produzieren soll.

Weil Linzi-KI nicht auf Vorerfahrungen aufbauen kann, muss er ein Training durchlaufen, um seine Fähigkeiten zu perfektionieren. In einem ersten Anlauf nimmt Linzi-KI ein paar zufällige Zutaten und bäckt diese bei 250°C während 100 Minuten im Ofen.


Das Resultat wird von den Mitarbeitenden von Linzi begutachtet und mit der Schulnote 2 abgestempelt. Linzi-KI erhält die Rückmeldung: Dieser Versuch war ungenügend.

Beim zweiten Versuch variiert Linzi-KI die Zutaten leicht und passt die Backzeit sowie Temperatur nach unten an.

Obwohl die Jury nun der Meinung ist, dass die so entstandene Linzertorte mit zu viel Konfitüre gefüllt wurde, scheint die Backzeit doch immerhin besser gewählt zu sein. Die Jury vergibt für den zweiten Versuch die Note 3.5.

Beim dritten Vergleich ist zwar die Konfitürenmenge ideal, jedoch ist der Teig etwas zu weich. Die Jury vergibt Note um Note, und Linzi-KI lernt fortwährend aus den Rückmeldungen, die er von der Jury erhält.

Nach 1500 Versuchen und entsprechend vielen Anpassungen von Zutaten, Backzeit, und Backtemperatur ist die Jury endlich zufrieden: Die Rückmeldungen fallen nun bei weiteren Backversuchen durch Linzi-KI grossmehrheitlich positiv aus.

Das Start-Up Linzi hat mit dem Linzi-KI, ohne vorangehend ein vordefiniertes Rezept zur Herstellung einer perfekten Torte zu kennen, eine perfekte Linzertorte produziert und wird dies nun auch in Zukunft tun können.

Der Lernprozess eines KI-Systems kann sehr aufwendig sein. Es gilt aber: Je besser ein System trainiert wurde (also je besser es gelernt hat), desto bessere Ergebnisse wird dieses später im "Einsatz" in der Backstube, auf der Strasse oder auf ihrem Smartphone liefern.

Ein zentrales Element baim Training von Machine-Learning-Systemen sind die Daten. Linzi-KI hätte keine Chance gehabt, eine perfekte Linzertorte zu backen, wenn nicht die Rückmeldungen der Jury als Daten in das System zurückgeflossen wären.

Ein KI-System, das auf maschinellem Lernen basiert, durchläuft von seiner Entwicklung bis hin zu seinem Einsatz drei typische Phasen:

Trainingsphase

In dieser Phase werden Daten in das System gespiesen und das lernende System passt, aufgrund der Daten, sein Verhalten an. Im Falle von Linzi-KI waren die Feedbackdaten der Linzertorten-Experten zentral. Andere Systeme wiederum werden beispielsweise mit Bilddaten von Katzen und Hunden gespiesen, um die beiden Tiere später unterscheiden zu können. Egal, welche Art des maschinellen Lernens gewählt wird: Diese Phase ist aufwendig und erfordert qualitativ gutes und umfangreiches Datenmaterial als Voraussetzung für den maschinellen Lernerfolg.

Testphase

In dieser Phase wird der maschinelle Lernerfolg des Systems untersucht. Das System nimmt keine weiteren Anpassungen seines Verhaltens vor, das Lernen an sich ist also abgeschlossen. In unserem Beispiel bäckt Linzi-KI in der Testphase einige Linzertorten, und das Evaluationsteam des Linzi-Startups prüft, inwiefern der Roboter sich im Backstubenalltag bewähren würde. Wenn ein System dagegen darauf trainiert wurde, Katzen und Hundebilder zu unterscheiden, wird dem System neues Bildmaterial mit Katzen und Hunden vorgelegt und es wird überprüft, wie zuverlässig die Tiere erkannt werden.

Anwendungsphase

Die Anwendungsphase eines durch maschinelle Lernverfahren trainierten KI-Systems folgt auf eine positiv verlaufene Testphase. Bewährt sich ein System bzw. ein erstelltes Modell in der Testphase, so kann es schliesslich in der Praxis angewendet werden. Systeme, die sich in der Anwendungsphase befinden, kennen wir aus unserem Alltag: So wird unser Gesicht bei der Handyentsperrung erkannt, unser Filmgeschmack auf der Streamingplattform vorhergesagt oder eine Spam-Nachricht aussortiert, bevor sie in unserer Mailbox landet. Hinter all diesen Beispielen verbergen sich KI-Systeme, die durch maschinelles Lernen vorerst trainiert werden mussten, damit sie das zuverlässig machen, was sie machen.

Das nebenstehende Video zeigt, wie einem Programm mit Hilfe von verstärkendem Lernen beigebracht wird, das Spiel Super Mario World zu spielen. Da das Originalvideo Englisch ist, wurden drei praktische moderne Machine Learning Algorithmen für die Übersetzung des Videos verwendet:

  • Die YouTube-Funktion «Untertitel» erzeugt automatisch ein Transkript der gesprochenen Audiospur.

  • Dieses Transkript wurde mit dem Übersetzungsprogramm DeepL auf Deutsch übersetzt. Das Übersetzungsprogramm wurde ebenfalls mit Hilfe von Machine Learning Algorithmen und einer riesigen Menge an Sprachdaten aus unterschiedlichen Sprachen trainiert.

  • Anschliessend wurde der übersetzte Text mit Hilfe von Microsoft Azure durch die neue KI-Sprecherin «Leni» gesprochen. Sie ist eine der ersten Sprach-Computer, die CH-Deutsch sprechen kann und zeigt auf, wie rasant sich sogar die Entwicklung der natürlichen Sprachverarbeitung entwickelt.

Quellhinweise: