Quo vadis Informatik? Bindestrichinformatik – Zerreißprobe Maschinelles Lernen / Pattern Recognition Barbara Hammer, Institute of Informatics, Clausthal University of Technology

Clausthal - Zellerfeld Brocken

??? GS-Z-12 GS-Z-13 GS-Z-14

GS-A-11 GS-CT-4 GS-Z-14 GS-K-11 GS-G-42 GS-H-99 Ein Fall für maschinelles Lernen / Pattern Recognition: Schnee-gestörte Nummernschildern lesen.

Maschinelles Lernen / Pattern Recognition machine learning = teach your computer/machine to improve its performance based on experience (Mitchell) pattern recognition = ‚low level KI‘, neuronale Netze/statistische Methoden auf der Basis von verteilter Information schmutzige KI 

Eigenschaften ML ermöglicht allgemeine Lösungen: entwickelt Lernmethoden für technische Systeme, sich Information und geeignete Darstellungen anzueignen adaptive Lösungen: entwickelt Lernmethoden, um aus problemspezifischen Beispielen problemspezifische Information zu generieren selbst adaptierende Lösungen: lebenslanges automatisiertes Lernen robuste Lösungen: basierend auf verteilter Informationsdarstellung, redundant, parallel effiziente Lösungen: neue Lösungen benötigen nur Trainingsbeispiele und Lernalgorithmus, skalierbar dieses ist zentral / natürlich in ML realisiert  ML ist zentral für die junge Informatik

Zerreißprobe Gesellschaft Biologie Mathematik ML Anwendungen außerhalb der Informatik Anwendungen in der Informatik klassische KI

Biologie biologische neuronale Netze  künstliche neuronale Netze Perzeptron, MLP  Ratenkodierung der Signale spikende Netze  Pulskodierung SOM  Selbstorganisation, winner-takes-all biologische Lernprinzipien: Hebbsches Lernen, vielfach mathematisch ‚nachgebildet‘ Lernen aus der Biologie mithilfe der richtigen Abstraktion Bsp: SVM RNNs – klassisches Backpropagation bis heute erfolglos, biologische Alternative: festes rekurrentes Reservoir

Mathematik statistische Lerntheorie Verifikation/Validierung von Modellen als Black-Box Algorithmen Lücke Theorie-Praxis: verschiedene Tagungen, verschiedene betrachtete Modelle, irrelevante Schranken Kapazität (insbesondere rekurrenter) neuronaler Netze gliedert sich nicht in klassische Theorien (wie Chomsky) ein, Lernbias unklar, Bedeutung für konkrete Anwendungen unklar ( non-uniform-boolean-circuits, Blum-Shub-Smale Modell, definite memory machines, …) formale Modelle in Bezug auf kognitive Fähigkeiten sind nötig

Anwendungen in der Informatik Erkennung handgeschriebener Ziffern (>97%) Spam Filter (meiner ist klasse ;-) Robotik und Computer Vision (inverse Kinematik, Repräsentation kontinuierlicher Umgebung, Bildinterpretation, …) Computergrafik (Szenenanalyse, …) Data Mining (WebSOM, …) Computerlinguistik (Erkennen gesprochener Sprache, …) Neuroscience (Erklärung kognitiver Fähigkeiten) Bioinformatik (Interpretation von Daten aus High-throughput Verfahren wie Microarrays / Spektren, …) Medizininformatik (Medizinische Bildverarbeitung, …) Wirtschaftsinformatik (Prognose von wasauchimmer ,…) …

Anwendungen außerhalb der Informatik Prognose: Wetterdaten, Abverkäufe, Börsendaten, … Überwachung/Steuerung industrieller Anlagen Auswertung von Messdaten (Sonden für Landminen, …) Bilderkennung (militärischer Bereich, Umweltbereich, …) … Pattern Recognition in der Regel ein kleiner, aber vitaler Anteil oft eher einfache (veraltete) Technologie verwandt häufig mühsame Adaptation der Eingabe (Vorverarbeitung) ‚nur‘ statistische Verifikation wird von Praktikern/Ingenieuren oft nicht akzeptiert (zumindest nicht, wenn das Modell offensichtlich ein Black Box Mechanismus ist) komfortablere/universelle/selbst adaptierende I/O nötig Interpretierbarkeit der Modelle nötig

Anwendungen innerhalb ML  eine Stelle / Leistungszulage / Drittmittel  Publikationen  neue Algorithmen es existiert ein Zoo von Algorithmen (ohne adäquate Implementation) benchmarks z.B. UCI, verschiedene contests, RoboCup, … data set selection problem ordentliche Grundausstattung, faire Möglichkeiten für Stellen / Drittmittel, sinnvolle Leistungskriterien

Gesellschaft Computers will take over? Noch nicht, aber Einsatz / Einsatzmöglichkeit von black box Mechanismen in kritischen Bereichen (Medizinische Diagnose, Kreditwürdigkeitsprognose, Biometrische Datenanalyse, Analyse von Proteom-Daten, ...) Möglichkeit, Individuen zu überwachen / kategorisieren (market basket analysis, personalisierte Empfehlungen, einfache Analyse großer personalisierter Datenmengen durch wenauchimmer …) Menschliches Expertenwissen wird automatisierbar

Klassische KI liefert im Gegensatz zu schmutziger KI interpretierbare Modelle ist aber langsam oder funktioniert nicht in realen Umgebungen symbolisch/subsymbolische Integration nötig rekurrente neuronale Strukturen müssen verstanden werden

Quo vadis Informatik? ML ist zentral für die junge Informatik Lernen aus der Biologie mithilfe der richtigen Abstraktion Verifikation/Validierung von Modellen als Black-Box Algorithmen ordentliche Grundausstattung, faire Möglichkeiten für Stellen / Drittmittel, sinnvolle Leistungskriterien formale Modelle in Bezug auf kognitive Fähigkeiten sind nötig komfortablere/universelle/selbst adaptierende I/O nötig Interpretierbarkeit der Modelle nötig symbolisch/subsymbolische Integration nötig rekurrente neuronale Strukturen müssen verstanden werden

GS-A-11 GS-CT-4 GS-Z-14 GS-K-11 GS-G-42 GS-H-99 GS-H-99 Dank Informatik GS-A-11 GS-CT-4 GS-Z-14 GS-K-11 GS-G-42 GS-H-99 GS-H-99