Student‘s Usage of Multiple Linked Argument Representations in LARGO Niels Pinkwart, Collin Lynch, Kevin Ashley, Vincent Aleven TU Clausthal Carnegie Mellon University University of Pittsburgh

Student‘s Usage of Multiple Linked Argument Representations in LARGO Übersicht Das ITS LARGO: Lernen juristischer Argumentation durch Analyse & Reflexion Sokratischer Dialoge Mündliche Verhandlungen vor dem US Supreme Court Diagramme zur Visualisierung von juristischer Argumentation als Testen von Hypothesen Systemfeedback zu Argumentationsdiagrammen Evaluation: Wirkung und Interaktionsverhalten Niels Pinkwart Mensch & Computer 2007 Student‘s Usage of Multiple Linked Argument Representations in LARGO

Mündliche Gerichtsverhandlungen (US Supreme Court) Wichtiger Teil des Entscheidungsprozesses Anwälte schlagen Entscheidungsregel vor, auf Basis derer der Fall zu entscheiden ist („Test“) Richter prüfen diese Tests, u.a. durch hypothetische Szenarien (Bedeutung, Konsistenz mit vergangenen Entscheidungen, juristische und verfahrenstechnische Implikationen) Basis des „common law“ (USA), aber auch der höheren Instanzen des „civil law“ (Europa) Niels Pinkwart Mensch & Computer 2007 Student‘s Usage of Multiple Linked Argument Representations in LARGO

Student‘s Usage of Multiple Linked Argument Representations in LARGO Beispiel Example: Kathy Keeton v. Hustler Magazine (1984) Fakten: Kathy Keeton verklagte das Hustler Magazine wegen übler Nachrede. Ort der Klage: Bundesstaat New Hampshire. Hustler ist im Staat Ohio registriert und machte in Kalifornien den Großteil seines Umsatzes. Frau Keeton war keine Einwohnerin von New Hampshire und hatte kaum Verbindungen dorthin. Hustler verkaufte in New Hampshire nur ca. 15.000 Magazine pro Monat. New Hampshire war der einzige Bundesstaat, in dem die Klage von Frau Keeton nicht verjährt war. Frage: War das Gericht in New Hamshire zuständig (personal jurisdiction)? Niels Pinkwart Mensch & Computer 2007 Student‘s Usage of Multiple Linked Argument Representations in LARGO

Student‘s Usage of Multiple Linked Argument Representations in LARGO Beispiel: Tests und Hypothesen MR. GRUTMAN: The synthesis of those cases holds that where you have purposeful conduct by a defendant directed at the forum in question and out of which conduct the cause of action arises or is generated that satisfies the formula of those minimum contacts which substantial justice and reasonable fair play make it suitable that a defendant should be hailed into that court and be amenable to suit in that jurisdiction. JUSTICE: Would it apply in Alaska? MR. GRUTMAN: It would apply, Mr. Justice Marshall, wherever the magazine was circulated. It would apply in Honolulu if the publication were circulated there. It would apply theoretically and, I think, correctly wherever the magazine was circulated, however many copies were circulated. JUSTICE: What if the publisher had no intention of ever selling any magazines in New Hampshire? MR. GRUTMAN: A very different case, Mr. Justice White. … because in that case you could not say, as you do here, that you have purposeful conduct. There you have to look for other -- I think your phrase is affiliating circumstances, other connections, judicially cognizable ties -- Test Hypothese Antwort: Analogie Hypothese Antwort: Unterscheidung, Änderung Test Niels Pinkwart Mensch & Computer 2007 Student‘s Usage of Multiple Linked Argument Representations in LARGO

Student‘s Usage of Multiple Linked Argument Representations in LARGO Pädagogischer Wert Argumentationsfähigkeiten wichtiger Teil der juristischen Ausbildung Protokolle: realistische & wertvolle Beispiele von Experten im Sokratischen Dialog Analyse der Protokolle: Hilfreich zum Lernen dieser Fähigkeiten Gelegenheit zur Reflexion Aber: komplexes, schwierig zu verstehendes Material ( Zielgruppe!) Niels Pinkwart Mensch & Computer 2007 Student‘s Usage of Multiple Linked Argument Representations in LARGO

A LARGO Argument Diagram LARGO Argumentations- diagramm Palette Niels Pinkwart Mensch & Computer 2007 Student‘s Usage of Multiple Linked Argument Representations in LARGO

Interaktion mit Diagrammen -Unterstützung von Reflexion Zentrale Fragen: Wie können Diagramme interpretiert werden? Was macht gute Argumentationsdiagramme aus? Problem 1: Argumentation ist „ill-defined“: Kein komplettes, formales Domänenmodell Verschiedene Ansichten und Repräsentationen möglich Korrektheitsbegriff schwer zu definieren Problem 2: Argumente bestehen aus Text in natürlicher Sprache – NLP-basierte Verfahren fehlerträchtig Ansatz in LARGO: Versuch, Charakteristika in Argumentationsdiagrammen zu finden: Schwächen (Indikatoren möglicher Fehler) Gelegenheiten zur Reflexion Niels Pinkwart Mensch & Computer 2007 Student‘s Usage of Multiple Linked Argument Representations in LARGO

Charakteristika in Diagrammen Kontext: Hyperlinks zwischen Graphelementen und Textpassagen im Protokoll. Struktur: Teile des Diagramms, die zu vordefinierten „Argumentationsmustern“ passen. Inhalt: Angemessenheit des Inhalts der Diagrammelemente (Freitexteingaben). Beispiel: Kein “Test”-Element ist zu einer Textpassage verlinkt, die einen zentralen Test enthält. Erkennung: Graphgrammatik. Beispiel: Das Diagramm enthält Hypothesen, die nicht mit Tests oder Fakten verbunden sind. Erkennung: Graphgrammatik. Beispiel: Eine Beschreibung eines Tests ist nicht angemessen. Erkennung: Kollaboratives Filtern Niels Pinkwart Mensch & Computer 2007 Student‘s Usage of Multiple Linked Argument Representations in LARGO

Erkennung inhaltlicher Schwächen durch Kollaboratives Filtern Student A A bewertet die Test-Versionen von B and C, nachdem er seine eigene formuliert hat. Student C Student B Niels Pinkwart Mensch & Computer 2007 Student‘s Usage of Multiple Linked Argument Representations in LARGO

Form der Rückmeldungen: Aufforderungen zur Selbsterklärung Idee: Verwende erkannte Charkteristika als Aufforderung zur Selbsterklärung Forschungsergebnisse: Selbsterklärung lernförderlich (Lückenfüllung im Wissen, Reparatur mentaler Modelle) Gelegenheit zur Reflexion über spezifische Teile des Sokratischen Dialogs: Teile, mit denen der Lernende vermutlich Schwierigkeiten hatte Wichtige Teile, bei denen sich Reflexion besonders lohnt Niels Pinkwart Mensch & Computer 2007 Student‘s Usage of Multiple Linked Argument Representations in LARGO

Beispiel für Rückmeldungen Niels Pinkwart Mensch & Computer 2007 Student‘s Usage of Multiple Linked Argument Representations in LARGO

Auswahl der Rückmeldungen Oft viele Charakteristika gleichzeitig diagnostizierbar (>100) mehrere Regeln (Arten von Charakteristika) mehrere Passungen pro Regel (gleiche Art, aber in verschiedenen Stellen des Diagramms) Angebotene Rückmeldungen berücksichtigen Arbeitskontext des Lernenden Sichtbare Teile des Diagramms und Protokolls Änderungshistorie am Dokument Frühere Rückmeldungen Benutzungsphase (heuristisch bestimmt) Annahmen für Auswahl der Rückmeldungen: Hyperlinks Diagramm – Protokoll sinnvoll verwendet Annähernd lineare Arbeitsweise durch Protokoll Niels Pinkwart Mensch & Computer 2007 Student‘s Usage of Multiple Linked Argument Representations in LARGO

Student‘s Usage of Multiple Linked Argument Representations in LARGO Experiment (Herbst 2006) Ziel: Evaluation von LARGO (im Vergleich zu „normaler“ Dokument-Annotation) Primärhypothese (Lerneffekt): Die Verwendung von LARGO führt zu einem besseren Verständnis der Argumentationsmethode mit Tests und Hypothesen. Interaktionshypothese 1: Die Funktion der Hyperlinks zwischen Diagrammen und Text wird korrekt und konsistent genutzt. Interaktionshypothese 2: Die Arbeit mit dem Protokoll erfolgt im Wesentlichen linear vom Anfang bis zum Ende. Teilnehmer: 28 Jurastudenten im 1. Semester. Aufgabe: Analyse der Argumentation in Gerichtsprotokollen. Experimentalgruppe: Verwendung von LARGO. Kontrollgruppe: Gleiche Protokolle und allgemeine Hinweise auf Argumentationselemente, aber Verwendung eines einfachen Notiztools (Text & Highlighting, kein Feedback). Ablauf: Im Verlauf von 4 Wochen: 1. (2h): Pre-Test & Einführung in System 2. & 3. (2x2h): Arbeit mit Protokollen Burnham & Burger King (personal jurisdiction) 4. (3h): Post-Test We have now represented oral arguments across four unrelated legal domains (including warrantless search of a motor home), increasing our confidence that the model of hypothetical reasoning and its representation with LARGO are quite general. Since the approach does not require a highly detailed mark-up of or deep system-side knowledge about specific legal arguments, only modest effort has been needed in order to use the system with a new transcript in a new legal domain. Niels Pinkwart Mensch & Computer 2007 Student‘s Usage of Multiple Linked Argument Representations in LARGO

Kontrollgruppe: Notiztool Niels Pinkwart Mensch & Computer 2007 Student‘s Usage of Multiple Linked Argument Representations in LARGO

Student‘s Usage of Multiple Linked Argument Representations in LARGO Testergebnis Niels Pinkwart Mensch & Computer 2007 Student‘s Usage of Multiple Linked Argument Representations in LARGO

Aufteilung der Probanden nach Ergebnis im LSAT Gruppe LSAT N  Diagram Text Pre-Test* Post-Test* HIGH 162-165 2 6 .660 .622 MED 161 8 1 .615 .549 LOW 158-160 5 .599 .544 We then divided up students by LSAT score, creating a “Low” group containing 10 students, a “Med” group with 9, and a “High” group with 8 (the group sizes vary slightly to ensure that all students with the same score are in the same group). One student did not have an LSAT score and was not included. The results of these three groups differed considerably (F2,25)=4.151, p<.05 for the overall score, similar results for most subscores), the students in the Low group scored significantly lower than those in the High group, consistent with the predictive value claimed for the LSAT scores. We hypothesized that lower-LSAT students would do better with LARGO than with the text-based annotation tool, with respect to the different test items. This hypothesis was confirmed with respect to some item types but not others. In particular, we found a condition effect for the post-test near transfer questions involving the Keeton case. A 1-sided t-test confirmed this hypothesis, showing an effect size of 1.994 (p<.05). Effect size d is the difference between the means, M1 - M2, divided by the pooled standard deviation, s, of the two groups. There was no pre-test difference between the experimental and control subgroups of LOW (p>.8 in the overall pre-test score – the pre-test did not include specific Keeton questions). *p< .05 Niels Pinkwart Mensch & Computer 2007 Student‘s Usage of Multiple Linked Argument Representations in LARGO

Gruppe: “Low LSAT” * Transferfragen: Neuer Fall zu „Argumentation personal jurisdiction“ * *p< .05 Niels Pinkwart Mensch & Computer 2007 Student‘s Usage of Multiple Linked Argument Representations in LARGO

Student‘s Usage of Multiple Linked Argument Representations in LARGO Post-Hoc Analyse: Klassifikation der Fragen nach Element des Argumentationsmodells. Eine Kategorie: Bewerte Hypothese auf Basis von Test Assume that Mr. Grutman’s proposed test is as follows: …. The following hypotheticals either were or could have been posed in the oral argument. Each of them is followed by four explanations why the hypothetical is or is not problematic for Mr. Grutman’s proposed test. For each hypothetical, please check ALL of the explanations that are plausible. [First hypothetical:] “ what if the plaintiff was totally unknown in the jurisdiction before the magazine was circulated?” The hypothetical is problematic for Mr. Grutman’s proposed test. The decision rule applies by its terms, but arguably the publisher should not be subject to personal jurisdiction in the state under those circumstances. The hypothetical is not problematic for Mr. Grutman’s proposed test. … … [Second hypothetical:] … We classified the argument model related pre- and post-test questions according to the specific aspect of the argument model to which they related most closely: Tests, Hypotheticals, Responses to hypotheticals, or Relations of hypotheticals to tests.. This uncovered another effect by condition. Regarding post-test questions (about both near- and far-transfer problems) that ask students to evaluate a hypothetical with respect to a test (as exemplified in Figure 4), for LOW and MED, students in the experimental group scored higher than the control group, showing that the former benefited from LARGO. For the combined LOW and MED, which is the lower-ability two thirds of our subjects, the difference was significant (F(1,17)=0.793, p<.05, 1-sided), but not for the whole group (LOW+MED+HIGH). The differences between conditions for the other classes of questions were not significant. Ergebnis: Studenten der LOW und MED-Experimentalgruppe waren bei diesen Fragen im post-test deutlich besser als die entsprechenden Studenten in der Kontrollgruppe (t(1,17)=2.73, d=1.00, p<.05). Niels Pinkwart Mensch & Computer 2007 Student‘s Usage of Multiple Linked Argument Representations in LARGO

Verwendung der Rückmeldungen LARGO gibt Rückmeldungen auf Nachfrage Nachfrage im Schnitt 10-mal pro Protokoll (1h). LOW 12,3 MED 6,2 HIGH 17,9 Nachfrage nahm nicht mit der Zeit ab: 7,3 und 9,8 in den ersten beiden Protokollen 12,2 und 8,6 bei den letzten beiden Bei 75% der Nachfragen wählten die Teilnehmer einen der Kurztitel aus, um detailliertes Feedback zu erhalten. Fazit: Feedback wurde gut angenommen Across all study sessions, students requested help by pressing the advice button an average of 10.1 times per transcript (i.e., per hour). The average number of help requests was high for all LSAT groups: LOW, 12.3; MED 6.2; HIGH 17.9. In three out of four of these occasions (on average), students selected one of the three short hint titles LARGO shows when help is requested in order to see the portions of the diagram LARGO highlights and read through its detailed feedback. The usage of advice actually increased over time: in the later sessions, the average number of help requests was even higher than in the earlier sessions (7.3 and 9.8 in the first two transcripts vs. 12.2 and 8.6 in the last two transcripts). This voluntary and unprompted increase of advice function usage, together with the relatively high overall level (on total average, every six minutes) is a clear evidence that the students must have valued the comments LARGO gives. Niels Pinkwart Mensch & Computer 2007 Student‘s Usage of Multiple Linked Argument Representations in LARGO

Student‘s Usage of Multiple Linked Argument Representations in LARGO Markup der Protokolle Interaktionshypothese 1a: Hyperlinks werden korrekt verwendet 15% der Diagramme wurden zwei Personen zur Bewertung vorgelegt. Frage jeweils: „Ist Hypothese XYZ im Diagramm enthalten?“ Cohen‘s = 0,8 Vergleich LARGO – Mensch: = 0,65 Detailanalyse der 7 Unterschiede: 2x Hypothese nicht verlinkt 2x Referenz zu Protokollstelle, in der Hypothese wieder aufgegriffen wird (LARGO testet nur auf Link zum ersten Auftreten) 2 Fälle, bei denen auch die Menschen unterschiedlicher Meinung waren 1x zu starke Abkürzung im Text ( Problem der nicht-automatischen Erkennung) Kein einziger Fall, bei dem Verlinkung klar falsch verwendet wurde. Schlussfolgerung: Korrekte Verwendung der Hyperlinks. Niels Pinkwart Mensch & Computer 2007 Student‘s Usage of Multiple Linked Argument Representations in LARGO

Student‘s Usage of Multiple Linked Argument Representations in LARGO Markup der Protokolle Interaktionshypothese 1b: Hyperlinks werden konsistent verwendet Analyse: wie viele der Graphelemente wurden überhaupt mit dem Protokoll verlinkt? M=.87, SD=.24 Nicht durch „Bitte verlinken“ Feedback verursacht, aber vermutlich dadurch unterstützt (zu 16% der verlinkten Elemente gab es vorher entsprechendes Feedback). Schlussfolgerung: Hohe Konsistenz der Verlinkung. Niels Pinkwart Mensch & Computer 2007 Student‘s Usage of Multiple Linked Argument Representations in LARGO

Student‘s Usage of Multiple Linked Argument Representations in LARGO Markup der Protokolle Interaktionshypothese 2: Protokolle werden im wesentlichen von Anfang bis zum Ende durchgearbeitet. Analyse: Vergleich der Scroll-Aktionen mit Kontrollgruppe Auch Gesamtzahl an Scrolls ähnlich (p>.7) % LARGO (graph) Control (text) Long scrolls forward 0,26 0,25 Short scrolls forward 85,49 84,89 Short scrolls backward 13,51 14,59 Long scrolls backward** 0,54 0,27 Niels Pinkwart Mensch & Computer 2007 Student‘s Usage of Multiple Linked Argument Representations in LARGO

Student‘s Usage of Multiple Linked Argument Representations in LARGO Markup der Protokolle Signifikanter Unterschied bei langen Scrolls zurück kann durch entsprechendes Systemfeedback erklärt werden (52 aus 97 vermutlich dadurch begründet). Schlussfolgerung: lineare Arbeitsweise, nur leichte „Störung“ durch Feedback Niels Pinkwart Mensch & Computer 2007 Student‘s Usage of Multiple Linked Argument Representations in LARGO

Zusammenfassung / Ausblick Juristische Argumentation: problematisches Gebiet für traditionelle eLearning-Systeme (insbesondere ITS) Design von LARGO: Beispiele von Experten im Sokratischen Dialog werden verwendet, um „gute Fragen zu stellen“: System zur Erstellung von graphischen Argumentrepräsentationen Interaktion mit Diagrammen: Analyse der Diagramme auf verschiedene Charakteristika (Graphgrammatik, kollaboratives Filtern). Feedback als Aufforderungen zur Selbsterklärung. In einer ersten Studie konnte gezeigt werden, dass LARGO zu Lernerfolgen vor allem bei schwächeren Studenten führt. Hypothesen zur Systeminteraktion (Graphisches Markup, Umgang mit Protokoll) bestätigt. Aktuell: Neue Studie mit 85 Teilnehmern Vorhersagewert der Diagramme wird analysiert Detail-Evaluation des Kollaborativen Filterns Niels Pinkwart Mensch & Computer 2007 Student‘s Usage of Multiple Linked Argument Representations in LARGO

Student‘s Usage of Multiple Linked Argument Representations in LARGO Projektwebseite: http://www.cs.cmu.edu/~hypoform Email: niels.pinkwart@tu-clausthal.de “Hands-On”: Design-Präsentation (nach dieser Session) Niels Pinkwart Mensch & Computer 2007 Student‘s Usage of Multiple Linked Argument Representations in LARGO