Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische Argumentation Niels Pinkwart1, Vincent Aleven2, Kevin Ashley3, Collin Lynch3 1TU Clausthal 2Carnegie Mellon University 3University of Pittsburgh

Übersicht Ansatz für ITS: Beispiele realer Sokratischer Dialoge - Unterstützung von Analyse & Reflexion Lernobjekte: Mitschriften von mündlichen Verhandlungen vor dem US Supreme Court Diagramme zur Visualisierung von juristischer Argumentation als Testen von Hypothesen Schwächen in Argumentationsdiagrammen – Auffindung und Rückmeldungen Niels Pinkwart DeLFI 2006 Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische Argumentation

Mündliche Gerichtsverhandlungen (US Supreme Court) Wichtiger Teil des Entscheidungsprozesses Anwälte schlagen Entscheidungsregel vor, auf Basis derer der Fall zu entscheiden ist („Test“) Richter prüfen diese Tests, u.a. durch hypothetische Szenarien (Bedeutung, Konsistenz mit vergangenen Entscheidungen, juristische und verfahrenstechnische Implikationen) Basis des „common law“ (USA), aber auch der höheren Instanzen des „civil law“ (Europa) Niels Pinkwart DeLFI 2006 Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische Argumentation

Beispiel Lynch v. Donnelly 465 U.S. 668 (1984) Fakten: Die Stadt Pawtucket, Rhode Island, stellte jährlich eine Weihnachtsdekoration im Einkaufsbezirk der Stadt auf. Diese beinhaltete u.a. einen Weihnachtsmann, einen Weihnachtsbaum, ein Spruchband „ Seasons Greetings“ sowie ein Krippenspiel. Frage: Verletzte dies die konstitutionelle Trennung von Kirche und Staat? Niels Pinkwart DeLFI 2006 Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische Argumentation

Beispiel: Tests und Hypothesen MR. DE LUCA: With the possible exception of the cross, the nativity scene is one of the most powerful religious symbols in this country, and most certainly one of the most powerful Christian religious symbols in this country. (…) Pawtucket's purchase, the maintenance, and the erection of the fundamental Christian symbol involves government in religion to a profound and substantial degree. (…) JUSTICE: Now, if the city did not own the crèche itself, so that everything that was contributed to the display, including the crèche, were privately owned, it wouldn't violate the First Amendment, the fact that it was right next door to the City Hall, would it? MR. DE LUCA: I think that in understanding that the city owns all of the symbols and all of the artifacts that are contained in this display, and assuming that the crèche were purchased and paid for privately without any other explanation that it is private, then I think it would still violate the establishment clause for the First Amendment, because there is no indication to anyone looking at that that the display or the crèche is not part of the broader display which is put up and sponsored by the city. (…) JUSTICE: Would you regard the prayer that I spoke of to your friend in the House or the Senate or in any state legislature as purely symbolic, or is it a matter of substance? Test Hypothese Änderung Test Hypothese

Pädagogischer Wert Argumentationsfähigkeiten wichtiger Teil der juristischen Ausbildung Protokolle: realistische & wertvolle Beispiele von Experten im Sokratischen Dialog Analyse der Protokolle: Hilfreich zum Lernen dieser Fähigkeiten Gelegenheit zur Reflexion Aber: komplexes, schwierig zu verstehendes Material ( Zielgruppe) Niels Pinkwart DeLFI 2006 Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische Argumentation

A Tool For Graphical Argument Visualization

Typisches Diagramm (Ergebnis einer Pilotstudie) Niels Pinkwart DeLFI 2006 Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische Argumentation

Intelligente Unterstützung Zentrale Frage: was macht gute Argumentationsdiagramme aus? Problem 1: Domäne des juristischen Argumentierens ist „ill-defined“ Kein formales Domänenmodell Verschiedene Ansichten und Repräsentationen möglich Korrektheitsbegriff schwer zu definieren Problem 2: Argumente bestehen aus Text in natürlicher Sprache – NLP-basierte Verfahren fehlerträchtig Niels Pinkwart DeLFI 2006 Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische Argumentation

Intelligente Unterstützung Ansatz: Versuch, Anzeichen von Schwächen (potenzielle Probleme) in Argumentationsdiagrammen zu finden. Unterscheidung verschiedener Arten von Schwächen: Diagrammstruktur Links zwischen Diagramm und Protokoll Textinhalt der Diagrammelemente Niels Pinkwart DeLFI 2006 Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische Argumentation

Strukturelle Schwächen Abstrakte Struktur des Graphs, keine Berücksichtigung von Textinhalt der Knoten und Hyperlinks zum Protokoll Erkennbar mittels Graphgrammatik (Regeln werden deklariert und parametrisieren allgemeinen Parser) Unabhängig von Fällen Einfache Beispiele: Isolierte Hypothesen Kein Test-Element vorhanden Niels Pinkwart DeLFI 2006 Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische Argumentation

Beispiel einer strukturellen Schwäche Hypothetische Szenarien werden voneinander unterschieden, aber eine ist weder zu den Fakten noch zu einem Test in Beziehung Niels Pinkwart DeLFI 2006 Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische Argumentation

Kontextschwächen Erkennung mit Graphgrammatik möglich Erkennbar durch Analyse von Links zwischen Graph und Protokoll Beispiele: Wichtiger Test im Diagramm nicht vorhanden Hypothese als Test markiert Erkennung mit Graphgrammatik möglich Regeln zu Kontextschwächen sind fallabhängig Anforderung: Analyse des Protokolls durch Experten zur Markierung von zentralen Stellen/Passagen Keine volle Expertenlösung notwendig! Niels Pinkwart DeLFI 2006 Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische Argumentation

Strukturelle Schwächen und Kontextschwächen Erlauben Spezifikation von „Lösungsteilen“: Wichtige Teile des Arguments Allgemeine Argumentationsprinzipien Fehlen von strukturellen Schwächen und Kontextschwächen  inhaltliche Qualität der Lösung ?! Niels Pinkwart DeLFI 2006 Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische Argumentation

Inhaltliche Analyse? Niels Pinkwart DeLFI 2006 Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische Argumentation

Inhaltliche Schwächen Idee: Kollaboratives Filtern – Lerner bewerten Lösungsteile anderer Lerner als Teil ihrer Arbeit mit dem System Niels Pinkwart DeLFI 2006 Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische Argumentation

Inhaltliche Schwächen Lerner A Ausnutzung der Tatsache, dass das System die Verbindungen zwischen Graphelementen und wichtigen Stellen des Protokolls kennt… Lerner B Lerner C Niels Pinkwart DeLFI 2006 Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische Argumentation

Inhaltliche Schwächen Lerner A … für die Erstellung der Dialoge. Lerner B Lerner C Niels Pinkwart DeLFI 2006 Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische Argumentation

Inhaltliche Schwächen Qualitätsbewertung ist zusammengesetzt aus: Basisbewertung Wie bewertet der Lerner alternative Lösungen (deren Qualitätsschätzung das System kennt)? Dient als sofort verfügbare Heuristik Annahme: Qualität der Lösung korreliert mit Fähigkeit des Erkennens guter Lösungen Evaluationsbewertung Welche anderen Lerner empfehlen die Lösung (und welche nicht)? Entwickelt sich mit der Zeit Annahme: gewichtetes Mittel der Empfehlungen misst Qualität Niels Pinkwart DeLFI 2006 Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische Argumentation

Inhaltliche Schwächen Beispiel: Ein Lerner sieht in seinem Dialog eine gute, eine mittlere und eine schlechte Lösung. Er empfiehlt nur die gute  hohe Basisbewertung Seine Lösung wird jedoch von keinem anderen Lerner empfohlen  geringe Evaluationsbewertung  Diagnose einer inhaltlichen Schwäche Niels Pinkwart DeLFI 2006 Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische Argumentation

Rückmeldungen Das System ermittelt Schwächen in Argumentationsdiagrammen, z.B. Hypothesen ohne Bezug zu Tests oder den Fakten Wichtige Testversionen nicht berücksichtigt Geringe Qualität von Testbeschreibungen Anforderungen an Rückmeldung: Vermeidung von unangebrachten Fehlermeldungen Beziehung zum aktuellen Kontext des Lerners Niels Pinkwart DeLFI 2006 Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische Argumentation

Form der Rückmeldungen: Aufforderungen zur Selbsterklärung Idee: Verwende erkannte Schwächen als Aufforderung zur Selbsterklärung Forschungsergebnisse: Selbsterklärung lernförderlich (Lückenfüllung im Wissen, Reparatur mentaler Modelle) Gelegenheit zur Reflexion über spezifische Teile des Sokratischen Dialogs – solchen, mit denen der Lernende vermutlich Schwierigkeiten hatte Niels Pinkwart DeLFI 2006 Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische Argumentation

Feedback as Self Explanation Prompts Niels Pinkwart DeLFI 2006 Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische Argumentation

Feedback as Self Explanation Prompts Niels Pinkwart DeLFI 2006 Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische Argumentation

Auswahl der Rückmeldungen Oft viele Schwächen gleichzeitig diagnostizierbar (Pilotstudien: >100) mehrere Regeln (Arten von Schwächen) mehrere Passungen pro Regel (gleiche Schwäche in verschiedenen Stellen des Diagramms) Wozu wird Rückmeldung angeboten? Ansatz: Berücksichtige Arbeitskontext des Lernenden Niels Pinkwart DeLFI 2006 Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische Argumentation

Auswahl der Rückmeldungen – Grundalgorithmus Berechne alle möglichen Rückmeldungen Berechnung eines Prioritätsmaßes (Nähe zum Arbeitskontext) für jede Rückmeldung Pro Kategorie (d.h. pro rückmeldungserzeugender Regel in der Graphgrammatik) Bestimmung der Rückmeldung mit der höchsten Priorität Wähle die fünf „Kategoriespitzenreiter“ aus Verfahren garantiert, dass nicht zwei typgleiche Rückmeldungen, welche sich nur im Kontext im Diagramm unterscheiden, gezeigt werden. Niels Pinkwart DeLFI 2006 Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische Argumentation

Auswahl der Rückmeldungen – Prioritätsbestimmung Faktoren in der Prioritätsbestimmung: Visuelle Information: sichtbarer Teil des Diagramms und des Protokollausschnittes Zeitliche Information: letzter Zeitpunkt des Editierens von Diagrammelementen, auf welche sich eine Rückmeldung bezieht; Berücksichtigung, wann eine Passage des Protokolls das letzte Mal angezeigt wurde Typbasierte Information: System merkt sich, wann eine Regel der Grammatik das letzte Mal Basis für eine Rückmeldung war ( niedrigere Priorität); Berücksichtigung der gleichzeitigen Passung von Rückmeldungen gleichen Typs ( höhere Priorität) Phaseninformation: Typische wiederkehrende Verwendungsphasen (nicht notwendig in festgelegter Reihenfolge): A. Orientierung im System, B. Markierung und Verlinkung des Textes, C. Verbindung von Diagrammelementen, D. Analyse und Korrektur des Diagramms und E. Reflexion Heuristische Bestimmung der aktuellen Phase, zur Phase passende Rückmeldungen erhalten eine höhere Priorität Niels Pinkwart DeLFI 2006 Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische Argumentation

Auswahl der Rückmeldungen – Phasenbestimmung Grundprinzip: Zuordnung von Rückmeldungen (Regeln) zu Phasen Phase Beispiel für Aktivierungsbedingung einer zugehörigen Produktionsregel A: Orientierung im System Diagramm enthält keine „Hypothesen“-Elemente B: Markierung und Verlinkung des Textes Keines der „Test“-Elemente im Diagramm annotiert eine wichtige Stelle im Textdokument, die die Formulierung eines Tests beinhaltet C:Verbindung von Diagrammelementen Ein „Test“-Element im Diagramm ist mit keinem „Hypothesen“-Element verbunden D: Analyse und Korrektur des Diagramms Das Diagramm enthält ein „Hypothesen“-Element, das in kausaler Beziehung („führt zu“) zu mehreren Tests steht E: Reflexion Im Diagramm sind zwei weder direkt noch indirekt verbundene „Test“-Elemente enthalten (Rückmeldung: Anregung zur Diskussion dieses Teils des Arguments) Niels Pinkwart DeLFI 2006 Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische Argumentation

Auswahl der Rückmeldungen – Ansätze zur Phasenbestimmung Grammatikbasierter Ansatz (zustandsorientiert) – bestimme Phasenwahrscheinlichkeit durch Zählung der möglichen anwendbaren Regeln pro Phase und setze dies ins Verhältnis zu den existierenden Regeln pro Phase (in unserem Fall: A:4, B:11, C:11, D:13, E:5) Beispiel: 9 Regeln sind anwendbar, davon gehören fünf zu Phase B, eine zu Phase C und drei zu Phase E. Heuristik für die aktuelle Benutzungsphase: P(A)=0%, P(B)=40%, P(C)=8%, P(D)=0% und P(E)=52%. Niels Pinkwart DeLFI 2006 Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische Argumentation

Auswahl der Rückmeldungen – Ansätze zur Phasenbestimmung Aktionsbasierter Ansatz (prozessorientiert)– assoziiere Benutzeraktionen zu Phasen (über Wahrscheinlichkeiten) und ermittle Phasenheuristik mittels Hidden Markov Modell Phasenübergangswahrscheinlichkeiten: (Wahrscheinlichkeiten geschätzt auf Basis der Pilotstudien, bessere Datenbasis nach erster größerer Studie) Nach  Von  A B C D E A: Orientierung im System 0,4 0,2 B: Markierung und Verlinkung des Textes 0,1 0,3 C: Verbindung von Diagrammelementen D: Analyse und Korrektur des Diagramms E: Reflexion 0,6 Niels Pinkwart DeLFI 2006 Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische Argumentation

Auswahl der Rückmeldungen – Ansätze zur Phasenbestimmung Beispiel: minimale 36 erforderliche Schritte zur Erstellung des Diagramms Viterbi-Algorithmus liefert: P(A)=7%, P(B)=18%, P(C)=18%, P(D)=28% und P(E)=29% Auch hier Phase E am wahrscheinlichsten! Niels Pinkwart DeLFI 2006 Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische Argumentation

Zusammenfassung / Ausblick Juristische Argumentation: problematisches Gebiet für traditionelle eLearning-Systeme (insbesondere ITS) Ansatz: Beispiele von Experten im Sokratischen Dialog werden verwendet, um „gute Fragen zu stellen“: System zur Erstellung von graphischen Argumentrepräsentationen Analyse der Diagramme auf Schwächen verschiedener Arten (Graphgrammatik, kollaboratives Filtern) Erkannte Schwächen  Aufforderungen zur Selbsterklärung Priorität von Rückmeldungen auf Basis des Benutzungskontextes (lokaler und zeitlicher Kontext, Rückmeldungshistorie und Benutzungsphase) Niels Pinkwart DeLFI 2006 Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische Argumentation

Zusammenfassung / Ausblick Pilotstudien (10 Studenten) sehr erfolgreich Oktober/November 2006: größere Studie mit ~ 150 Studenten (1. Semester Jura) an der University of Pittsburgh 5 Konditionen geplant: Mit / ohne Rückmeldungen Individuelle / kollaborative Nutzung Zusätzliche Kontrollgruppe: Arbeit mit Text Niels Pinkwart DeLFI 2006 Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische Argumentation

Projektwebseite: http://www.cs.cmu.edu/~hypoform Email: pinkwart@in.tu-clausthal.de Niels Pinkwart DeLFI 2006 Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische Argumentation