Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische Argumentation Niels Pinkwart1, Vincent Aleven2,

Präsentation zum Thema: "Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische Argumentation Niels Pinkwart1, Vincent Aleven2,"—  Präsentation transkript:

1 Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische Argumentation Niels Pinkwart1, Vincent Aleven2, Kevin Ashley3, Collin Lynch3 1TU Clausthal 2Carnegie Mellon University 3University of Pittsburgh

2 Übersicht Ansatz für ITS: Beispiele realer Sokratischer Dialoge - Unterstützung von Analyse & Reflexion Lernobjekte: Mitschriften von mündlichen Verhandlungen vor dem US Supreme Court Diagramme zur Visualisierung von juristischer Argumentation als Testen von Hypothesen Schwächen in Argumentationsdiagrammen – Auffindung und Rückmeldungen Niels Pinkwart DeLFI 2006 Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische Argumentation

3 Mündliche Gerichtsverhandlungen (US Supreme Court)
Wichtiger Teil des Entscheidungsprozesses Anwälte schlagen Entscheidungsregel vor, auf Basis derer der Fall zu entscheiden ist („Test“) Richter prüfen diese Tests, u.a. durch hypothetische Szenarien (Bedeutung, Konsistenz mit vergangenen Entscheidungen, juristische und verfahrenstechnische Implikationen) Basis des „common law“ (USA), aber auch der höheren Instanzen des „civil law“ (Europa) Niels Pinkwart DeLFI 2006 Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische Argumentation

4 Beispiel Lynch v. Donnelly 465 U.S. 668 (1984)
Fakten: Die Stadt Pawtucket, Rhode Island, stellte jährlich eine Weihnachtsdekoration im Einkaufsbezirk der Stadt auf. Diese beinhaltete u.a. einen Weihnachtsmann, einen Weihnachtsbaum, ein Spruchband „ Seasons Greetings“ sowie ein Krippenspiel. Frage: Verletzte dies die konstitutionelle Trennung von Kirche und Staat? Niels Pinkwart DeLFI 2006 Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische Argumentation

5 Beispiel: Tests und Hypothesen
MR. DE LUCA: With the possible exception of the cross, the nativity scene is one of the most powerful religious symbols in this country, and most certainly one of the most powerful Christian religious symbols in this country. (…) Pawtucket's purchase, the maintenance, and the erection of the fundamental Christian symbol involves government in religion to a profound and substantial degree. (…) JUSTICE: Now, if the city did not own the crèche itself, so that everything that was contributed to the display, including the crèche, were privately owned, it wouldn't violate the First Amendment, the fact that it was right next door to the City Hall, would it? MR. DE LUCA: I think that in understanding that the city owns all of the symbols and all of the artifacts that are contained in this display, and assuming that the crèche were purchased and paid for privately without any other explanation that it is private, then I think it would still violate the establishment clause for the First Amendment, because there is no indication to anyone looking at that that the display or the crèche is not part of the broader display which is put up and sponsored by the city. (…) JUSTICE: Would you regard the prayer that I spoke of to your friend in the House or the Senate or in any state legislature as purely symbolic, or is it a matter of substance? Test Hypothese Änderung Test Hypothese

6 Pädagogischer Wert Argumentationsfähigkeiten wichtiger Teil der juristischen Ausbildung Protokolle: realistische & wertvolle Beispiele von Experten im Sokratischen Dialog Analyse der Protokolle: Hilfreich zum Lernen dieser Fähigkeiten Gelegenheit zur Reflexion Aber: komplexes, schwierig zu verstehendes Material ( Zielgruppe) Niels Pinkwart DeLFI 2006 Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische Argumentation

7 A Tool For Graphical Argument Visualization

8 Typisches Diagramm (Ergebnis einer Pilotstudie)
Niels Pinkwart DeLFI 2006 Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische Argumentation

9 Intelligente Unterstützung
Zentrale Frage: was macht gute Argumentationsdiagramme aus? Problem 1: Domäne des juristischen Argumentierens ist „ill-defined“ Kein formales Domänenmodell Verschiedene Ansichten und Repräsentationen möglich Korrektheitsbegriff schwer zu definieren Problem 2: Argumente bestehen aus Text in natürlicher Sprache – NLP-basierte Verfahren fehlerträchtig Niels Pinkwart DeLFI 2006 Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische Argumentation

10 Intelligente Unterstützung
Ansatz: Versuch, Anzeichen von Schwächen (potenzielle Probleme) in Argumentationsdiagrammen zu finden. Unterscheidung verschiedener Arten von Schwächen: Diagrammstruktur Links zwischen Diagramm und Protokoll Textinhalt der Diagrammelemente Niels Pinkwart DeLFI 2006 Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische Argumentation

11 Strukturelle Schwächen
Abstrakte Struktur des Graphs, keine Berücksichtigung von Textinhalt der Knoten und Hyperlinks zum Protokoll Erkennbar mittels Graphgrammatik (Regeln werden deklariert und parametrisieren allgemeinen Parser) Unabhängig von Fällen Einfache Beispiele: Isolierte Hypothesen Kein Test-Element vorhanden Niels Pinkwart DeLFI 2006 Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische Argumentation

12 Beispiel einer strukturellen Schwäche
Hypothetische Szenarien werden voneinander unterschieden, aber eine ist weder zu den Fakten noch zu einem Test in Beziehung Niels Pinkwart DeLFI 2006 Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische Argumentation

13 Kontextschwächen Erkennung mit Graphgrammatik möglich
Erkennbar durch Analyse von Links zwischen Graph und Protokoll Beispiele: Wichtiger Test im Diagramm nicht vorhanden Hypothese als Test markiert Erkennung mit Graphgrammatik möglich Regeln zu Kontextschwächen sind fallabhängig Anforderung: Analyse des Protokolls durch Experten zur Markierung von zentralen Stellen/Passagen Keine volle Expertenlösung notwendig! Niels Pinkwart DeLFI 2006 Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische Argumentation

14 Strukturelle Schwächen und Kontextschwächen
Erlauben Spezifikation von „Lösungsteilen“: Wichtige Teile des Arguments Allgemeine Argumentationsprinzipien Fehlen von strukturellen Schwächen und Kontextschwächen  inhaltliche Qualität der Lösung ?! Niels Pinkwart DeLFI 2006 Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische Argumentation

15 Inhaltliche Analyse? Niels Pinkwart DeLFI 2006
Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische Argumentation

16 Inhaltliche Schwächen
Idee: Kollaboratives Filtern – Lerner bewerten Lösungsteile anderer Lerner als Teil ihrer Arbeit mit dem System Niels Pinkwart DeLFI 2006 Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische Argumentation

17 Inhaltliche Schwächen
Lerner A Ausnutzung der Tatsache, dass das System die Verbindungen zwischen Graphelementen und wichtigen Stellen des Protokolls kennt… Lerner B Lerner C Niels Pinkwart DeLFI 2006 Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische Argumentation

18 Inhaltliche Schwächen
Lerner A … für die Erstellung der Dialoge. Lerner B Lerner C Niels Pinkwart DeLFI 2006 Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische Argumentation

19 Inhaltliche Schwächen
Qualitätsbewertung ist zusammengesetzt aus: Basisbewertung Wie bewertet der Lerner alternative Lösungen (deren Qualitätsschätzung das System kennt)? Dient als sofort verfügbare Heuristik Annahme: Qualität der Lösung korreliert mit Fähigkeit des Erkennens guter Lösungen Evaluationsbewertung Welche anderen Lerner empfehlen die Lösung (und welche nicht)? Entwickelt sich mit der Zeit Annahme: gewichtetes Mittel der Empfehlungen misst Qualität Niels Pinkwart DeLFI 2006 Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische Argumentation

20 Inhaltliche Schwächen
Beispiel: Ein Lerner sieht in seinem Dialog eine gute, eine mittlere und eine schlechte Lösung. Er empfiehlt nur die gute  hohe Basisbewertung Seine Lösung wird jedoch von keinem anderen Lerner empfohlen  geringe Evaluationsbewertung  Diagnose einer inhaltlichen Schwäche Niels Pinkwart DeLFI 2006 Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische Argumentation

21 Rückmeldungen Das System ermittelt Schwächen in Argumentationsdiagrammen, z.B. Hypothesen ohne Bezug zu Tests oder den Fakten Wichtige Testversionen nicht berücksichtigt Geringe Qualität von Testbeschreibungen Anforderungen an Rückmeldung: Vermeidung von unangebrachten Fehlermeldungen Beziehung zum aktuellen Kontext des Lerners Niels Pinkwart DeLFI 2006 Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische Argumentation

22 Form der Rückmeldungen: Aufforderungen zur Selbsterklärung
Idee: Verwende erkannte Schwächen als Aufforderung zur Selbsterklärung Forschungsergebnisse: Selbsterklärung lernförderlich (Lückenfüllung im Wissen, Reparatur mentaler Modelle) Gelegenheit zur Reflexion über spezifische Teile des Sokratischen Dialogs – solchen, mit denen der Lernende vermutlich Schwierigkeiten hatte Niels Pinkwart DeLFI 2006 Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische Argumentation

23 Feedback as Self Explanation Prompts
Niels Pinkwart DeLFI 2006 Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische Argumentation

24 Feedback as Self Explanation Prompts
Niels Pinkwart DeLFI 2006 Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische Argumentation

25 Auswahl der Rückmeldungen
Oft viele Schwächen gleichzeitig diagnostizierbar (Pilotstudien: >100) mehrere Regeln (Arten von Schwächen) mehrere Passungen pro Regel (gleiche Schwäche in verschiedenen Stellen des Diagramms) Wozu wird Rückmeldung angeboten? Ansatz: Berücksichtige Arbeitskontext des Lernenden Niels Pinkwart DeLFI 2006 Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische Argumentation

26 Auswahl der Rückmeldungen – Grundalgorithmus
Berechne alle möglichen Rückmeldungen Berechnung eines Prioritätsmaßes (Nähe zum Arbeitskontext) für jede Rückmeldung Pro Kategorie (d.h. pro rückmeldungserzeugender Regel in der Graphgrammatik) Bestimmung der Rückmeldung mit der höchsten Priorität Wähle die fünf „Kategoriespitzenreiter“ aus Verfahren garantiert, dass nicht zwei typgleiche Rückmeldungen, welche sich nur im Kontext im Diagramm unterscheiden, gezeigt werden. Niels Pinkwart DeLFI 2006 Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische Argumentation

27 Auswahl der Rückmeldungen – Prioritätsbestimmung
Faktoren in der Prioritätsbestimmung: Visuelle Information: sichtbarer Teil des Diagramms und des Protokollausschnittes Zeitliche Information: letzter Zeitpunkt des Editierens von Diagrammelementen, auf welche sich eine Rückmeldung bezieht; Berücksichtigung, wann eine Passage des Protokolls das letzte Mal angezeigt wurde Typbasierte Information: System merkt sich, wann eine Regel der Grammatik das letzte Mal Basis für eine Rückmeldung war ( niedrigere Priorität); Berücksichtigung der gleichzeitigen Passung von Rückmeldungen gleichen Typs ( höhere Priorität) Phaseninformation: Typische wiederkehrende Verwendungsphasen (nicht notwendig in festgelegter Reihenfolge): A. Orientierung im System, B. Markierung und Verlinkung des Textes, C. Verbindung von Diagrammelementen, D. Analyse und Korrektur des Diagramms und E. Reflexion Heuristische Bestimmung der aktuellen Phase, zur Phase passende Rückmeldungen erhalten eine höhere Priorität Niels Pinkwart DeLFI 2006 Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische Argumentation

28 Auswahl der Rückmeldungen – Phasenbestimmung
Grundprinzip: Zuordnung von Rückmeldungen (Regeln) zu Phasen Phase Beispiel für Aktivierungsbedingung einer zugehörigen Produktionsregel A: Orientierung im System Diagramm enthält keine „Hypothesen“-Elemente B: Markierung und Verlinkung des Textes Keines der „Test“-Elemente im Diagramm annotiert eine wichtige Stelle im Textdokument, die die Formulierung eines Tests beinhaltet C:Verbindung von Diagrammelementen Ein „Test“-Element im Diagramm ist mit keinem „Hypothesen“-Element verbunden D: Analyse und Korrektur des Diagramms Das Diagramm enthält ein „Hypothesen“-Element, das in kausaler Beziehung („führt zu“) zu mehreren Tests steht E: Reflexion Im Diagramm sind zwei weder direkt noch indirekt verbundene „Test“-Elemente enthalten (Rückmeldung: Anregung zur Diskussion dieses Teils des Arguments) Niels Pinkwart DeLFI 2006 Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische Argumentation

29 Auswahl der Rückmeldungen – Ansätze zur Phasenbestimmung
Grammatikbasierter Ansatz (zustandsorientiert) – bestimme Phasenwahrscheinlichkeit durch Zählung der möglichen anwendbaren Regeln pro Phase und setze dies ins Verhältnis zu den existierenden Regeln pro Phase (in unserem Fall: A:4, B:11, C:11, D:13, E:5) Beispiel: 9 Regeln sind anwendbar, davon gehören fünf zu Phase B, eine zu Phase C und drei zu Phase E. Heuristik für die aktuelle Benutzungsphase: P(A)=0%, P(B)=40%, P(C)=8%, P(D)=0% und P(E)=52%. Niels Pinkwart DeLFI 2006 Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische Argumentation

30 Auswahl der Rückmeldungen – Ansätze zur Phasenbestimmung
Aktionsbasierter Ansatz (prozessorientiert)– assoziiere Benutzeraktionen zu Phasen (über Wahrscheinlichkeiten) und ermittle Phasenheuristik mittels Hidden Markov Modell Phasenübergangswahrscheinlichkeiten: (Wahrscheinlichkeiten geschätzt auf Basis der Pilotstudien, bessere Datenbasis nach erster größerer Studie) Nach  Von  A B C D E A: Orientierung im System 0,4 0,2 B: Markierung und Verlinkung des Textes 0,1 0,3 C: Verbindung von Diagrammelementen D: Analyse und Korrektur des Diagramms E: Reflexion 0,6 Niels Pinkwart DeLFI 2006 Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische Argumentation

31 Auswahl der Rückmeldungen – Ansätze zur Phasenbestimmung
Beispiel: minimale 36 erforderliche Schritte zur Erstellung des Diagramms Viterbi-Algorithmus liefert: P(A)=7%, P(B)=18%, P(C)=18%, P(D)=28% und P(E)=29% Auch hier Phase E am wahrscheinlichsten! Niels Pinkwart DeLFI 2006 Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische Argumentation

32 Zusammenfassung / Ausblick
Juristische Argumentation: problematisches Gebiet für traditionelle eLearning-Systeme (insbesondere ITS) Ansatz: Beispiele von Experten im Sokratischen Dialog werden verwendet, um „gute Fragen zu stellen“: System zur Erstellung von graphischen Argumentrepräsentationen Analyse der Diagramme auf Schwächen verschiedener Arten (Graphgrammatik, kollaboratives Filtern) Erkannte Schwächen  Aufforderungen zur Selbsterklärung Priorität von Rückmeldungen auf Basis des Benutzungskontextes (lokaler und zeitlicher Kontext, Rückmeldungshistorie und Benutzungsphase) Niels Pinkwart DeLFI 2006 Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische Argumentation

33 Zusammenfassung / Ausblick
Pilotstudien (10 Studenten) sehr erfolgreich Oktober/November 2006: größere Studie mit ~ 150 Studenten (1. Semester Jura) an der University of Pittsburgh 5 Konditionen geplant: Mit / ohne Rückmeldungen Individuelle / kollaborative Nutzung Zusätzliche Kontrollgruppe: Arbeit mit Text Niels Pinkwart DeLFI 2006 Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische Argumentation

34 Projektwebseite: http://www.cs.cmu.edu/~hypoform
Niels Pinkwart DeLFI 2006 Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische Argumentation