Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Students Usage of Multiple Linked Argument Representations in LARGO Niels Pinkwart, Collin Lynch, Kevin Ashley, Vincent Aleven TU Clausthal Carnegie Mellon.

Ähnliche Präsentationen


Präsentation zum Thema: "Students Usage of Multiple Linked Argument Representations in LARGO Niels Pinkwart, Collin Lynch, Kevin Ashley, Vincent Aleven TU Clausthal Carnegie Mellon."—  Präsentation transkript:

1 Students Usage of Multiple Linked Argument Representations in LARGO Niels Pinkwart, Collin Lynch, Kevin Ashley, Vincent Aleven TU Clausthal Carnegie Mellon University University of Pittsburgh

2 2 Niels Pinkwart Mensch & Computer 2007 Students Usage of Multiple Linked Argument Representations in LARGO Übersicht Das ITS LARGO: Lernen juristischer Argumentation durch Analyse & Reflexion Sokratischer Dialoge Mündliche Verhandlungen vor dem US Supreme Court Diagramme zur Visualisierung von juristischer Argumentation als Testen von Hypothesen Systemfeedback zu Argumentationsdiagrammen Evaluation: Wirkung und Interaktionsverhalten

3 3 Niels Pinkwart Mensch & Computer 2007 Students Usage of Multiple Linked Argument Representations in LARGO Mündliche Gerichtsverhandlungen (US Supreme Court) Wichtiger Teil des Entscheidungsprozesses Anwälte schlagen Entscheidungsregel vor, auf Basis derer der Fall zu entscheiden ist (Test) Richter prüfen diese Tests, u.a. durch hypothetische Szenarien (Bedeutung, Konsistenz mit vergangenen Entscheidungen, juristische und verfahrenstechnische Implikationen) Basis des common law (USA), aber auch der höheren Instanzen des civil law (Europa)

4 4 Niels Pinkwart Mensch & Computer 2007 Students Usage of Multiple Linked Argument Representations in LARGO Beispiel Example: Kathy Keeton v. Hustler Magazine (1984) Fakten: Kathy Keeton verklagte das Hustler Magazine wegen übler Nachrede. Ort der Klage: Bundesstaat New Hampshire. Hustler ist im Staat Ohio registriert und machte in Kalifornien den Großteil seines Umsatzes. Frau Keeton war keine Einwohnerin von New Hampshire und hatte kaum Verbindungen dorthin. Hustler verkaufte in New Hampshire nur ca Magazine pro Monat. New Hampshire war der einzige Bundesstaat, in dem die Klage von Frau Keeton nicht verjährt war. Frage: War das Gericht in New Hamshire zuständig ( personal jurisdiction) ?

5 5 Niels Pinkwart Mensch & Computer 2007 Students Usage of Multiple Linked Argument Representations in LARGO MR. GRUTMAN: The synthesis of those cases holds that where you have purposeful conduct by a defendant directed at the forum in question and out of which conduct the cause of action arises or is generated that satisfies the formula of those minimum contacts which substantial justice and reasonable fair play make it suitable that a defendant should be hailed into that court and be amenable to suit in that jurisdiction. JUSTICE: Would it apply in Alaska? MR. GRUTMAN: It would apply, Mr. Justice Marshall, wherever the magazine was circulated. It would apply in Honolulu if the publication were circulated there. It would apply theoretically and, I think, correctly wherever the magazine was circulated, however many copies were circulated. JUSTICE: What if the publisher had no intention of ever selling any magazines in New Hampshire? MR. GRUTMAN: A very different case, Mr. Justice White. … because in that case you could not say, as you do here, that you have purposeful conduct. There you have to look for other -- I think your phrase is affiliating circumstances, other connections, judicially cognizable ties -- Beispiel: Tests und Hypothesen Test Hypothese Antwort: Unterscheidung, Änderung Test Hypothese Antwort: Analogie

6 6 Niels Pinkwart Mensch & Computer 2007 Students Usage of Multiple Linked Argument Representations in LARGO Pädagogischer Wert Argumentationsfähigkeiten wichtiger Teil der juristischen Ausbildung Protokolle: realistische & wertvolle Beispiele von Experten im Sokratischen Dialog Analyse der Protokolle: Hilfreich zum Lernen dieser Fähigkeiten Gelegenheit zur Reflexion Aber: komplexes, schwierig zu verstehendes Material ( Zielgruppe!)

7 7 Niels Pinkwart Mensch & Computer 2007 Students Usage of Multiple Linked Argument Representations in LARGO A LARGO Argument Diagram LARGO Argumentations- diagramm Palette

8 8 Niels Pinkwart Mensch & Computer 2007 Students Usage of Multiple Linked Argument Representations in LARGO Interaktion mit Diagrammen - Unterstützung von Reflexion Zentrale Fragen: Wie können Diagramme interpretiert werden? Was macht gute Argumentationsdiagramme aus? Problem 1: Argumentation ist ill-defined: Kein komplettes, formales Domänenmodell Verschiedene Ansichten und Repräsentationen möglich Korrektheitsbegriff schwer zu definieren Problem 2: Argumente bestehen aus Text in natürlicher Sprache – NLP-basierte Verfahren fehlerträchtig Ansatz in LARGO: Versuch, Charakteristika in Argumentationsdiagrammen zu finden: Schwächen (Indikatoren möglicher Fehler) Gelegenheiten zur Reflexion

9 9 Niels Pinkwart Mensch & Computer 2007 Students Usage of Multiple Linked Argument Representations in LARGO Charakteristika in Diagrammen Kontext: Hyperlinks zwischen Graphelementen und Textpassagen im Protokoll. Struktur: Teile des Diagramms, die zu vordefinierten Argumentationsmustern passen. Inhalt: Angemessenheit des Inhalts der Diagrammelemente (Freitexteingaben). Beispiel: Kein Test-Element ist zu einer Textpassage verlinkt, die einen zentralen Test enthält. Erkennung: Graphgrammatik. Beispiel: Das Diagramm enthält Hypothesen, die nicht mit Tests oder Fakten verbunden sind. Erkennung: Graphgrammatik. Beispiel: Eine Beschreibung eines Tests ist nicht angemessen. Erkennung: Kollaboratives Filtern

10 10 Niels Pinkwart Mensch & Computer 2007 Students Usage of Multiple Linked Argument Representations in LARGO Erkennung inhaltlicher Schwächen durch Kollaboratives Filtern Student A Student B Student C A bewertet die Test- Versionen von B and C, nachdem er seine eigene formuliert hat.

11 11 Niels Pinkwart Mensch & Computer 2007 Students Usage of Multiple Linked Argument Representations in LARGO Form der Rückmeldungen: Aufforderungen zur Selbsterklärung Idee: Verwende erkannte Charkteristika als Aufforderung zur Selbsterklärung Forschungsergebnisse: Selbsterklärung lernförderlich (Lückenfüllung im Wissen, Reparatur mentaler Modelle) Gelegenheit zur Reflexion über spezifische Teile des Sokratischen Dialogs: Teile, mit denen der Lernende vermutlich Schwierigkeiten hatte Wichtige Teile, bei denen sich Reflexion besonders lohnt

12 12 Niels Pinkwart Mensch & Computer 2007 Students Usage of Multiple Linked Argument Representations in LARGO Beispiel für Rückmeldungen

13 13 Niels Pinkwart Mensch & Computer 2007 Students Usage of Multiple Linked Argument Representations in LARGO Auswahl der Rückmeldungen Oft viele Charakteristika gleichzeitig diagnostizierbar (>100) mehrere Regeln (Arten von Charakteristika) mehrere Passungen pro Regel (gleiche Art, aber in verschiedenen Stellen des Diagramms) Angebotene Rückmeldungen berücksichtigen Arbeitskontext des Lernenden Sichtbare Teile des Diagramms und Protokolls Änderungshistorie am Dokument Frühere Rückmeldungen Benutzungsphase (heuristisch bestimmt) Annahmen für Auswahl der Rückmeldungen: Hyperlinks Diagramm – Protokoll sinnvoll verwendet Annähernd lineare Arbeitsweise durch Protokoll

14 14 Niels Pinkwart Mensch & Computer 2007 Students Usage of Multiple Linked Argument Representations in LARGO Experiment (Herbst 2006) Ziel: Evaluation von LARGO (im Vergleich zu normaler Dokument-Annotation) Primärhypothese (Lerneffekt): Die Verwendung von LARGO führt zu einem besseren Verständnis der Argumentationsmethode mit Tests und Hypothesen. Interaktionshypothese 1: Die Funktion der Hyperlinks zwischen Diagrammen und Text wird korrekt und konsistent genutzt. Interaktionshypothese 2: Die Arbeit mit dem Protokoll erfolgt im Wesentlichen linear vom Anfang bis zum Ende. Teilnehmer: 28 Jurastudenten im 1. Semester. Aufgabe: Analyse der Argumentation in Gerichtsprotokollen. Experimentalgruppe: Verwendung von LARGO. Kontrollgruppe: Gleiche Protokolle und allgemeine Hinweise auf Argumentationselemente, aber Verwendung eines einfachen Notiztools (Text & Highlighting, kein Feedback). Ablauf: Im Verlauf von 4 Wochen: 1. (2h): Pre-Test & Einführung in System 2. & 3. (2x2h): Arbeit mit Protokollen Burnham & Burger King (personal jurisdiction) 4. (3h): Post-Test

15 15 Niels Pinkwart Mensch & Computer 2007 Students Usage of Multiple Linked Argument Representations in LARGO Kontrollgruppe: Notiztool

16 16 Niels Pinkwart Mensch & Computer 2007 Students Usage of Multiple Linked Argument Representations in LARGO Testergebnis

17 17 Niels Pinkwart Mensch & Computer 2007 Students Usage of Multiple Linked Argument Representations in LARGO Aufteilung der Probanden nach Ergebnis im LSAT GruppeLSATN DiagramTextPre-Test*Post-Test* HIGH MED LOW *p<.05

18 18 Niels Pinkwart Mensch & Computer 2007 Students Usage of Multiple Linked Argument Representations in LARGO Gruppe: Low LSAT *p<.05 * Transferfragen: Neuer Fall zu Argumentation personal jurisdiction

19 19 Niels Pinkwart Mensch & Computer 2007 Students Usage of Multiple Linked Argument Representations in LARGO Post-Hoc Analyse: Klassifikation der Fragen nach Element des Argumentationsmodells. Eine Kategorie: Bewerte Hypothese auf Basis von Test Assume that Mr. Grutmans proposed test is as follows: …. The following hypotheticals either were or could have been posed in the oral argument. Each of them is followed by four explanations why the hypothetical is or is not problematic for Mr. Grutmans proposed test. For each hypothetical, please check ALL of the explanations that are plausible. [First hypothetical:] what if the plaintiff was totally unknown in the jurisdiction before the magazine was circulated? oThe hypothetical is problematic for Mr. Grutmans proposed test. The decision rule applies by its terms, but arguably the publisher should not be subject to personal jurisdiction in the state under those circumstances. oThe hypothetical is not problematic for Mr. Grutmans proposed test. … o… [Second hypothetical:] … Ergebnis: Studenten der LOW und MED-Experimentalgruppe waren bei diesen Fragen im post-test deutlich besser als die entsprechenden Studenten in der Kontrollgruppe (t(1,17)=2.73, d=1.00, p<.05).

20 20 Niels Pinkwart Mensch & Computer 2007 Students Usage of Multiple Linked Argument Representations in LARGO Verwendung der Rückmeldungen LARGO gibt Rückmeldungen auf Nachfrage Nachfrage im Schnitt 10-mal pro Protokoll (1h). LOW 12,3 MED 6,2 HIGH 17,9 Nachfrage nahm nicht mit der Zeit ab: 7,3 und 9,8 in den ersten beiden Protokollen 12,2 und 8,6 bei den letzten beiden Bei 75% der Nachfragen wählten die Teilnehmer einen der Kurztitel aus, um detailliertes Feedback zu erhalten. Fazit: Feedback wurde gut angenommen

21 21 Niels Pinkwart Mensch & Computer 2007 Students Usage of Multiple Linked Argument Representations in LARGO Markup der Protokolle Interaktionshypothese 1a: Hyperlinks werden korrekt verwendet 15% der Diagramme wurden zwei Personen zur Bewertung vorgelegt. Frage jeweils: Ist Hypothese XYZ im Diagramm enthalten? Cohens = 0,8 Vergleich LARGO – Mensch: = 0,65 Detailanalyse der 7 Unterschiede: 2x Hypothese nicht verlinkt 2x Referenz zu Protokollstelle, in der Hypothese wieder aufgegriffen wird (LARGO testet nur auf Link zum ersten Auftreten) 2 Fälle, bei denen auch die Menschen unterschiedlicher Meinung waren 1x zu starke Abkürzung im Text ( Problem der nicht-automatischen Erkennung) Kein einziger Fall, bei dem Verlinkung klar falsch verwendet wurde. Schlussfolgerung: Korrekte Verwendung der Hyperlinks.

22 22 Niels Pinkwart Mensch & Computer 2007 Students Usage of Multiple Linked Argument Representations in LARGO Markup der Protokolle Interaktionshypothese 1b: Hyperlinks werden konsistent verwendet Analyse: wie viele der Graphelemente wurden überhaupt mit dem Protokoll verlinkt? M=.87, SD=.24 Nicht durch Bitte verlinken Feedback verursacht, aber vermutlich dadurch unterstützt (zu 16% der verlinkten Elemente gab es vorher entsprechendes Feedback). Schlussfolgerung: Hohe Konsistenz der Verlinkung.

23 23 Niels Pinkwart Mensch & Computer 2007 Students Usage of Multiple Linked Argument Representations in LARGO Markup der Protokolle Interaktionshypothese 2: Protokolle werden im wesentlichen von Anfang bis zum Ende durchgearbeitet. Analyse: Vergleich der Scroll-Aktionen mit Kontrollgruppe Auch Gesamtzahl an Scrolls ähnlich (p>.7) % LARGO (graph)Control (text) Long scrolls forward 0,260,25 Short scrolls forward 85,4984,89 Short scrolls backward 13,5114,59 Long scrolls backward** 0,540,27

24 24 Niels Pinkwart Mensch & Computer 2007 Students Usage of Multiple Linked Argument Representations in LARGO Markup der Protokolle Signifikanter Unterschied bei langen Scrolls zurück kann durch entsprechendes Systemfeedback erklärt werden (52 aus 97 vermutlich dadurch begründet). Schlussfolgerung: lineare Arbeitsweise, nur leichte Störung durch Feedback

25 25 Niels Pinkwart Mensch & Computer 2007 Students Usage of Multiple Linked Argument Representations in LARGO Zusammenfassung / Ausblick Juristische Argumentation: problematisches Gebiet für traditionelle eLearning-Systeme (insbesondere ITS) Design von LARGO: Beispiele von Experten im Sokratischen Dialog werden verwendet, um gute Fragen zu stellen: System zur Erstellung von graphischen Argumentrepräsentationen Interaktion mit Diagrammen: Analyse der Diagramme auf verschiedene Charakteristika (Graphgrammatik, kollaboratives Filtern). Feedback als Aufforderungen zur Selbsterklärung. In einer ersten Studie konnte gezeigt werden, dass LARGO zu Lernerfolgen vor allem bei schwächeren Studenten führt. Hypothesen zur Systeminteraktion (Graphisches Markup, Umgang mit Protokoll) bestätigt. Aktuell: Neue Studie mit 85 Teilnehmern Vorhersagewert der Diagramme wird analysiert Detail-Evaluation des Kollaborativen Filterns

26 26 Niels Pinkwart Mensch & Computer 2007 Students Usage of Multiple Linked Argument Representations in LARGO Projektwebseite: Hands-On: Design-Präsentation (nach dieser Session)


Herunterladen ppt "Students Usage of Multiple Linked Argument Representations in LARGO Niels Pinkwart, Collin Lynch, Kevin Ashley, Vincent Aleven TU Clausthal Carnegie Mellon."

Ähnliche Präsentationen


Google-Anzeigen