Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische Argumentation Niels Pinkwart 1, Vincent Aleven.

Ähnliche Präsentationen


Präsentation zum Thema: "Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische Argumentation Niels Pinkwart 1, Vincent Aleven."—  Präsentation transkript:

1 Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische Argumentation Niels Pinkwart 1, Vincent Aleven 2, Kevin Ashley 3, Collin Lynch 3 1 TU Clausthal 2 Carnegie Mellon University 3 University of Pittsburgh

2 2 Niels Pinkwart DeLFI 2006 Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische Argumentation Übersicht Ansatz für ITS: Beispiele realer Sokratischer Dialoge - Unterstützung von Analyse & Reflexion Lernobjekte: Mitschriften von mündlichen Verhandlungen vor dem US Supreme Court Diagramme zur Visualisierung von juristischer Argumentation als Testen von Hypothesen Schwächen in Argumentationsdiagrammen – Auffindung und Rückmeldungen

3 3 Niels Pinkwart DeLFI 2006 Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische Argumentation Mündliche Gerichtsverhandlungen (US Supreme Court) Wichtiger Teil des Entscheidungsprozesses Anwälte schlagen Entscheidungsregel vor, auf Basis derer der Fall zu entscheiden ist (Test) Richter prüfen diese Tests, u.a. durch hypothetische Szenarien (Bedeutung, Konsistenz mit vergangenen Entscheidungen, juristische und verfahrenstechnische Implikationen) Basis des common law (USA), aber auch der höheren Instanzen des civil law (Europa)

4 4 Niels Pinkwart DeLFI 2006 Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische Argumentation Beispiel Lynch v. Donnelly 465 U.S. 668 (1984) Fakten: Die Stadt Pawtucket, Rhode Island, stellte jährlich eine Weihnachtsdekoration im Einkaufsbezirk der Stadt auf. Diese beinhaltete u.a. einen Weihnachtsmann, einen Weihnachtsbaum, ein Spruchband Seasons Greetings sowie ein Krippenspiel. Frage: Verletzte dies die konstitutionelle Trennung von Kirche und Staat?

5 MR. DE LUCA: With the possible exception of the cross, the nativity scene is one of the most powerful religious symbols in this country, and most certainly one of the most powerful Christian religious symbols in this country. (…) Pawtucket's purchase, the maintenance, and the erection of the fundamental Christian symbol involves government in religion to a profound and substantial degree. (…) JUSTICE: Now, if the city did not own the crèche itself, so that everything that was contributed to the display, including the crèche, were privately owned, it wouldn't violate the First Amendment, the fact that it was right next door to the City Hall, would it? MR. DE LUCA: I think that in understanding that the city owns all of the symbols and all of the artifacts that are contained in this display, and assuming that the crèche were purchased and paid for privately without any other explanation that it is private, then I think it would still violate the establishment clause for the First Amendment, because there is no indication to anyone looking at that that the display or the crèche is not part of the broader display which is put up and sponsored by the city. (…) JUSTICE: Would you regard the prayer that I spoke of to your friend in the House or the Senate or in any state legislature as purely symbolic, or is it a matter of substance? Beispiel: Tests und Hypothesen Test Hypothese Änderung Test Hypothese

6 6 Niels Pinkwart DeLFI 2006 Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische Argumentation Pädagogischer Wert Argumentationsfähigkeiten wichtiger Teil der juristischen Ausbildung Protokolle: realistische & wertvolle Beispiele von Experten im Sokratischen Dialog Analyse der Protokolle: Hilfreich zum Lernen dieser Fähigkeiten Gelegenheit zur Reflexion Aber: komplexes, schwierig zu verstehendes Material ( Zielgruppe)

7 A Tool For Graphical Argument Visualization

8 8 Niels Pinkwart DeLFI 2006 Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische Argumentation Typisches Diagramm (Ergebnis einer Pilotstudie)

9 9 Niels Pinkwart DeLFI 2006 Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische Argumentation Intelligente Unterstützung Zentrale Frage: was macht gute Argumentationsdiagramme aus? Problem 1: Domäne des juristischen Argumentierens ist ill-defined Kein formales Domänenmodell Verschiedene Ansichten und Repräsentationen möglich Korrektheitsbegriff schwer zu definieren Problem 2: Argumente bestehen aus Text in natürlicher Sprache – NLP-basierte Verfahren fehlerträchtig

10 10 Niels Pinkwart DeLFI 2006 Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische Argumentation Intelligente Unterstützung Ansatz: Versuch, Anzeichen von Schwächen (potenzielle Probleme) in Argumentationsdiagrammen zu finden. Unterscheidung verschiedener Arten von Schwächen: Diagrammstruktur Links zwischen Diagramm und Protokoll Textinhalt der Diagrammelemente

11 11 Niels Pinkwart DeLFI 2006 Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische Argumentation Strukturelle Schwächen Abstrakte Struktur des Graphs, keine Berücksichtigung von Textinhalt der Knoten und Hyperlinks zum Protokoll Erkennbar mittels Graphgrammatik (Regeln werden deklariert und parametrisieren allgemeinen Parser) Unabhängig von Fällen Einfache Beispiele: Isolierte Hypothesen Kein Test-Element vorhanden

12 12 Niels Pinkwart DeLFI 2006 Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische Argumentation Beispiel einer strukturellen Schwäche Hypothetische Szenarien werden voneinander unterschieden, aber eine ist weder zu den Fakten noch zu einem Test in Beziehung

13 13 Niels Pinkwart DeLFI 2006 Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische Argumentation Kontextschwächen Erkennbar durch Analyse von Links zwischen Graph und Protokoll Beispiele: Wichtiger Test im Diagramm nicht vorhanden Hypothese als Test markiert Erkennung mit Graphgrammatik möglich Regeln zu Kontextschwächen sind fallabhängig Anforderung: Analyse des Protokolls durch Experten zur Markierung von zentralen Stellen/Passagen Keine volle Expertenlösung notwendig!

14 14 Niels Pinkwart DeLFI 2006 Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische Argumentation Strukturelle Schwächen und Kontextschwächen Erlauben Spezifikation von Lösungsteilen: Wichtige Teile des Arguments Allgemeine Argumentationsprinzipien Fehlen von strukturellen Schwächen und Kontextschwächen inhaltliche Qualität der Lösung ?!

15 15 Niels Pinkwart DeLFI 2006 Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische Argumentation Inhaltliche Analyse?

16 16 Niels Pinkwart DeLFI 2006 Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische Argumentation Inhaltliche Schwächen Idee: Kollaboratives Filtern – Lerner bewerten Lösungsteile anderer Lerner als Teil ihrer Arbeit mit dem System

17 17 Niels Pinkwart DeLFI 2006 Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische Argumentation Inhaltliche Schwächen Ausnutzung der Tatsache, dass das System die Verbindungen zwischen Graphelementen und wichtigen Stellen des Protokolls kennt… Lerner A Lerner B Lerner C

18 18 Niels Pinkwart DeLFI 2006 Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische Argumentation Inhaltliche Schwächen … für die Erstellung der Dialoge. Lerner A Lerner B Lerner C

19 19 Niels Pinkwart DeLFI 2006 Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische Argumentation Inhaltliche Schwächen Qualitätsbewertung ist zusammengesetzt aus: Basisbewertung Wie bewertet der Lerner alternative Lösungen (deren Qualitätsschätzung das System kennt)? Dient als sofort verfügbare Heuristik Annahme: Qualität der Lösung korreliert mit Fähigkeit des Erkennens guter Lösungen Evaluationsbewertung Welche anderen Lerner empfehlen die Lösung (und welche nicht)? Entwickelt sich mit der Zeit Annahme: gewichtetes Mittel der Empfehlungen misst Qualität

20 20 Niels Pinkwart DeLFI 2006 Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische Argumentation Inhaltliche Schwächen Beispiel: Ein Lerner sieht in seinem Dialog eine gute, eine mittlere und eine schlechte Lösung. Er empfiehlt nur die gute hohe Basisbewertung Seine Lösung wird jedoch von keinem anderen Lerner empfohlen geringe Evaluationsbewertung Diagnose einer inhaltlichen Schwäche

21 21 Niels Pinkwart DeLFI 2006 Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische Argumentation Rückmeldungen Das System ermittelt Schwächen in Argumentationsdiagrammen, z.B. Hypothesen ohne Bezug zu Tests oder den Fakten Wichtige Testversionen nicht berücksichtigt Geringe Qualität von Testbeschreibungen Anforderungen an Rückmeldung: Vermeidung von unangebrachten Fehlermeldungen Beziehung zum aktuellen Kontext des Lerners

22 22 Niels Pinkwart DeLFI 2006 Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische Argumentation Form der Rückmeldungen: Aufforderungen zur Selbsterklärung Idee: Verwende erkannte Schwächen als Aufforderung zur Selbsterklärung Forschungsergebnisse: Selbsterklärung lernförderlich (Lückenfüllung im Wissen, Reparatur mentaler Modelle) Gelegenheit zur Reflexion über spezifische Teile des Sokratischen Dialogs – solchen, mit denen der Lernende vermutlich Schwierigkeiten hatte

23 23 Niels Pinkwart DeLFI 2006 Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische Argumentation Feedback as Self Explanation Prompts

24 24 Niels Pinkwart DeLFI 2006 Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische Argumentation Feedback as Self Explanation Prompts

25 25 Niels Pinkwart DeLFI 2006 Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische Argumentation Auswahl der Rückmeldungen Oft viele Schwächen gleichzeitig diagnostizierbar (Pilotstudien: >100) mehrere Regeln (Arten von Schwächen) mehrere Passungen pro Regel (gleiche Schwäche in verschiedenen Stellen des Diagramms) Wozu wird Rückmeldung angeboten? Ansatz: Berücksichtige Arbeitskontext des Lernenden

26 26 Niels Pinkwart DeLFI 2006 Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische Argumentation Auswahl der Rückmeldungen – Grundalgorithmus 1.Berechne alle möglichen Rückmeldungen 2.Berechnung eines Prioritätsmaßes (Nähe zum Arbeitskontext) für jede Rückmeldung 3.Pro Kategorie (d.h. pro rückmeldungserzeugender Regel in der Graphgrammatik) Bestimmung der Rückmeldung mit der höchsten Priorität 4.Wähle die fünf Kategoriespitzenreiter aus Verfahren garantiert, dass nicht zwei typgleiche Rückmeldungen, welche sich nur im Kontext im Diagramm unterscheiden, gezeigt werden.

27 27 Niels Pinkwart DeLFI 2006 Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische Argumentation Auswahl der Rückmeldungen – Prioritätsbestimmung Faktoren in der Prioritätsbestimmung: Visuelle Information: sichtbarer Teil des Diagramms und des Protokollausschnittes Zeitliche Information: letzter Zeitpunkt des Editierens von Diagrammelementen, auf welche sich eine Rückmeldung bezieht; Berücksichtigung, wann eine Passage des Protokolls das letzte Mal angezeigt wurde Typbasierte Information: System merkt sich, wann eine Regel der Grammatik das letzte Mal Basis für eine Rückmeldung war ( niedrigere Priorität); Berücksichtigung der gleichzeitigen Passung von Rückmeldungen gleichen Typs ( höhere Priorität) Phaseninformation: Typische wiederkehrende Verwendungsphasen (nicht notwendig in festgelegter Reihenfolge): A. Orientierung im System, B. Markierung und Verlinkung des Textes, C. Verbindung von Diagrammelementen, D. Analyse und Korrektur des Diagramms und E. Reflexion Heuristische Bestimmung der aktuellen Phase, zur Phase passende Rückmeldungen erhalten eine höhere Priorität

28 28 Niels Pinkwart DeLFI 2006 Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische Argumentation Auswahl der Rückmeldungen – Phasenbestimmung Grundprinzip: Zuordnung von Rückmeldungen (Regeln) zu Phasen PhaseBeispiel für Aktivierungsbedingung einer zugehörigen Produktionsregel A: Orientierung im SystemDiagramm enthält keine Hypothesen-Elemente B: Markierung und Verlinkung des Textes Keines der Test-Elemente im Diagramm annotiert eine wichtige Stelle im Textdokument, die die Formulierung eines Tests beinhaltet C:Verbindung von Diagrammelementen Ein Test-Element im Diagramm ist mit keinem Hypothesen-Element verbunden D: Analyse und Korrektur des Diagramms Das Diagramm enthält ein Hypothesen-Element, das in kausaler Beziehung (führt zu) zu mehreren Tests steht E: ReflexionIm Diagramm sind zwei weder direkt noch indirekt verbundene Test-Elemente enthalten (Rückmeldung: Anregung zur Diskussion dieses Teils des Arguments)

29 29 Niels Pinkwart DeLFI 2006 Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische Argumentation Auswahl der Rückmeldungen – Ansätze zur Phasenbestimmung Grammatikbasierter Ansatz (zustandsorientiert) – bestimme Phasenwahrscheinlichkeit durch Zählung der möglichen anwendbaren Regeln pro Phase und setze dies ins Verhältnis zu den existierenden Regeln pro Phase (in unserem Fall: A:4, B:11, C:11, D:13, E:5) Beispiel: 9 Regeln sind anwendbar, davon gehören fünf zu Phase B, eine zu Phase C und drei zu Phase E. Heuristik für die aktuelle Benutzungsphase: P(A)=0%, P(B)=40%, P(C)=8%, P(D)=0% und P(E)=52%.

30 30 Niels Pinkwart DeLFI 2006 Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische Argumentation Auswahl der Rückmeldungen – Ansätze zur Phasenbestimmung Aktionsbasierter Ansatz (prozessorientiert)– assoziiere Benutzeraktionen zu Phasen (über Wahrscheinlichkeiten) und ermittle Phasenheuristik mittels Hidden Markov Modell Phasenübergangswahrscheinlichkeiten: (Wahrscheinlichkeiten geschätzt auf Basis der Pilotstudien, bessere Datenbasis nach erster größerer Studie) Nach Von ABCDE A: Orientierung im System0,4 0,200 B: Markierung und Verlinkung des Textes0,10,3 0,10,2 C: Verbindung von Diagrammelementen0,10,2 0,30,2 D: Analyse und Korrektur des Diagramms0,10,2 0,30,2 E: Reflexion00,1 0,20,6

31 31 Niels Pinkwart DeLFI 2006 Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische Argumentation Auswahl der Rückmeldungen – Ansätze zur Phasenbestimmung Beispiel: minimale 36 erforderliche Schritte zur Erstellung des Diagramms Viterbi-Algorithmus liefert: P(A)=7%, P(B)=18%, P(C)=18%, P(D)=28% und P(E)=29% Auch hier Phase E am wahrscheinlichsten!

32 32 Niels Pinkwart DeLFI 2006 Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische Argumentation Zusammenfassung / Ausblick Juristische Argumentation: problematisches Gebiet für traditionelle eLearning-Systeme (insbesondere ITS) Ansatz: Beispiele von Experten im Sokratischen Dialog werden verwendet, um gute Fragen zu stellen: System zur Erstellung von graphischen Argumentrepräsentationen Analyse der Diagramme auf Schwächen verschiedener Arten (Graphgrammatik, kollaboratives Filtern) Erkannte Schwächen Aufforderungen zur Selbsterklärung Priorität von Rückmeldungen auf Basis des Benutzungskontextes (lokaler und zeitlicher Kontext, Rückmeldungshistorie und Benutzungsphase)

33 33 Niels Pinkwart DeLFI 2006 Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische Argumentation Zusammenfassung / Ausblick Pilotstudien (10 Studenten) sehr erfolgreich Oktober/November 2006: größere Studie mit ~ 150 Studenten (1. Semester Jura) an der University of Pittsburgh 5 Konditionen geplant: Mit / ohne Rückmeldungen Individuelle / kollaborative Nutzung Zusätzliche Kontrollgruppe: Arbeit mit Text

34 34 Niels Pinkwart DeLFI 2006 Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische Argumentation Projektwebseite:


Herunterladen ppt "Schwachstellenermittlung und Rückmeldungsprinzipen in einem intelligenten Tutorensystem für juristische Argumentation Niels Pinkwart 1, Vincent Aleven."

Ähnliche Präsentationen


Google-Anzeigen