Ist das ein Graph oder kann das weg? Funktionales Deep Learning in Haskell (bobkonf2023)

Published: March 17, 2023, 11:35 a.m.

b'Mathematisch betrachtet sind Neuronale Netze parametrisierte Funktionen. Optimierungsverfahren zum Trainieren neuronaler Netze sind higher-order Funktionen, die Parameter anhand von Trainingsdaten optimieren. Bei der Nutzung g\\xe4ngiger Deep-Learning-Frameworks verschwindet die Grenze zwischen dem mathematischen Modell und der Implementierung: Um das Optimierungsverfahren zu realisieren, ist in der Regel eine komplexe Maschinerie n\\xf6tig, in der neuronale Netze state-behaftete Graphen sind, die zur Laufzeit verwaltet werden m\\xfcssen. Daran ist leider einiges suboptimal. Neben praktischen Problemen ist das indirekte Programmiermodell mit Graphen schwer zu verstehen, der Fokus auf numerische Arrays verhindert Generalisierung, die Algorithmen sind kompliziert, wesentliche Funktionalit\\xe4t der Programmiersprache kann nicht genutzt werden.\\n\\nDank Conal Elliots Compiler-Plugin ConCat verschwindet in Haskell das Graphen-Modell genauso wie die Beschr\\xe4nkung auf numerische Arrays; die wesentlichen Konzepte werden sichtbar - Funktionen, Optimierung und Ableitbarkeit. Das Plugin erlaubt eine generalisierte Formulierung der Kernideen. Die Trennung der neuronalen Netze von ihrer Optimierung erlaubt es z.B., separat \\xfcber diese Aspekte nachzudenken und sie unabh\\xe4ngig voneinander zu testen und zu verwenden. Ableitungen werden automatisch zur Kompilierzeit generiert.\\n\\nDer Vortrag gibt Einblicke in Ansatz und Denkweise und enth\\xe4lt Erfahrungsberichte aus der Entwicklung einer Applikation f\\xfcr Anomaly Detection in industrieller Produktion.\\n\\n\\t\\nabout this event: https://bobkonf.de/2023/schlotterbeck.html'