Zwischenstand, geschrieben im laufenden Semester.
Deep Learning ohne Prüfung: warum ich mir das Kursbuch als Webseite nachgebaut habe
Ich sitze dieses Semester als Hörer in der Deep-Learning-Vorlesung am HPI. Um den Stoff wirklich zu verstehen, habe ich den ersten Teil des Kursbuchs als vereinfachte deutsche Lernseite mit interaktiven Demos neu geschrieben.
Eine Formel für Gradient Descent versteht man irgendwann. Was eine zu große Lernrate anrichtet, versteht man erst, wenn man den Punkt aus dem Tal springen sieht.
Dieses Semester sitze ich in der Deep-Learning-Vorlesung von Prof. Christoph Lippert am HPI, auf Englisch. Ich höre nur zu, eine Prüfung schreibe ich nicht und Leistungspunkte bekomme ich keine. Ich will den Stoff trotzdem können. Also habe ich angefangen, den ersten Teil des Kursbuchs neu zu schreiben, auf Deutsch, vereinfacht und als kleine Webseite mit Demos, an denen man selbst drehen kann.
Bis jetzt sind es elf Seiten. Drei Lektionen: lineare Regression mit Gradientenverfahren, logistische Regression und dann Optimierung und Regularisierung. Dazu Labs zu Optimierung und Regularisierung und ein paar Extras: exakte Lösungen, Krümmung und Konvergenz. Formeln setzt KaTeX, dazu kommt ein Glossar.
So funktioniert das Grundprinzip, das die Demos sichtbar machen, in Worten. Du hast eine Verlustkurve, also ein Tal, und einen Punkt irgendwo am Hang. Gradient Descent schaut, in welche Richtung es bergab geht, und macht einen Schritt. Wie groß der Schritt ist, bestimmt die Lernrate. Ist sie klein, kriecht der Punkt ins Tal. Ist sie passend, ist er schnell unten. Ist sie zu groß, springt er über das Tal hinweg, auf der anderen Seite höher als vorher, und schaukelt sich auf. Bei der Regularisierung ist es ähnlich anschaulich: Je stärker sie ist, desto mehr werden große Gewichte bestraft, und das Modell wird einfacher.
Warum der Aufwand? Weil ich beim Erklären merke, wo ich etwas nicht verstanden habe. Eine Demo zu bauen zwingt mich, jede Zeile der Formel in Code zu übersetzen.
Das Ganze ist reines HTML und JavaScript, ohne Framework und ohne Server. Veröffentlicht ist es nicht, es ist bisher eine Lernhilfe für mich. Das wiederkehrende Muster kenne ich von mir selbst: Bei ¡Vamos! für Spanisch war es dasselbe, erst ein Werkzeug bauen, dann damit lernen.
Was ich bis jetzt mitnehme: Ohne Prüfung lernt man anders. Kein Druck auf eine Note, dafür die Freiheit, an einer einzigen Stelle so lange zu bleiben, bis sie sitzt. Und interaktive Demos sind für mich die schnellste Art, eine Formel ins Gefühl zu bekommen.
Tools und Skills: HTML, JavaScript, KaTeX, Gradient Descent, Verlustfunktionen, logistische Regression, Regularisierung und Optimierung, dazu Didaktik, also die Frage, wie man etwas so erklärt, dass es jemand ohne Vorwissen versteht.