Maurice Müller 4. E-Assessment 4.3 E-Assessment mathematischer Beweise

1 Gründe für den Einsatz von Computerunterstützung Effizienz und Zeitersparnis Integrierbarkeit in Lernmanagementsysteme Objektivere Bewertung Bekannte Verfahren

2 Gliederung 1. Einleitung 2. Verfahren für mathematische Fragestellungen Computeralgebrasysteme Freiform-Textabgleich Formalüberprüfung Theorembeweiser 3. Systeme und Vergleichsmöglichkeiten Aufbau und Gestaltungsmöglichkeiten Vergleich von zwei Systemen 4. Fazit und Ausblick

3 Computeralgebrasysteme Verbreitete Systeme Schnell und effektiv Industriell erprobt Schnittstellen häufig vorhanden

4 Computeralgebrasysteme - Probleme Keine Bedingungsüberprüfung Keine Beweisführung; reine Termersetzung X=0?

5 Freiform-Textabgleich Problemfall digitalisierte Prüfungen Geeignet für beliebige Texteingaben b. Induktionsanfang: FUr m = 1 ist L?=o i 2 i = 0 und (1 - 2) = o identisch. o ' Z A" 2 A ~ IJ,,00

6 Freiform-Textabgleich II Eigenschaften richtiger Lösungen Variablen Werte/Konstanten Aufbau/Form Bildung von Pattern Z. B. Regular Expressions

7 Pattern Beispiel Induktionsanfang Eingabe: Für m=1 sum(i=0;0;i*2^i)=0 Pattern: m=([\d]*).*=(\d*)[^\d]*$ Pattern passt auf Eingabe 1 Pattern pro Beweisschritt Eine beliebige Zahl Weiterer Text Zahl Vor Ende der Zeile keine weiteren Zahlen

8 Freiform-Textabgleich - Probleme Spezifischere Pattern passen nicht immer Heuristische Ansätze Korrektur durch Lehrer Validitätsproblem Offenlegung der Bewertung Kontrolle von Werten ggf. mit CAS

9 Formalüberprüfung Verwendung eines sog. Parsers Schrittweise Übersetzung in eine Baumdarstellung Ausgangstext Lexikalische Analyse Token Syntaktische Analyse Baum

10 Formalüberprüfung II Rückschlüsse Formalabbildung Beweisschritt Formalabbildung zur Überprüfung geeignetes System Beweisschritt zur Überprüfung geeignetes System Kombinationsmöglichkeiten CAS zur Überprüfung einfacher Berechnungen Theorembeweiser für Verfahrensweisen

11 Formalüberprüfung - Probleme Unflexibel bei syntaktischen Fehlern Verschachtelte Beweise Systemzuordnung Weitere Anpassung für Beweise erforderlich Heuristik zur Bestimmung ähnlicher Terme Baumsuche über mehrere Bäume

12 Theorembeweiser Theoreme bauen aufeinander auf Theorembeweiser führen diesen Aufbau aus Interaktiv Automatisch Notice […] that theorem provers prove theorems rather than make conjectures or do calculations[…] (zit. aus Adams, Gottliebsen, Linton, Martin) Definition Theorem: A [well-formed-formula] that is proved or provable. Axioms are special cases of theorems. (Quelle:

13 Theorembeweiser - Probleme Anpassung an Aufgabenstellung Theoreme Logik Ggf. spezielle Systeme Komplexität Algebraische Rechnungen

14 Theorembeweiser - Lösungsansatz Integration von Theorembeweisern und CAS Ausstattung von CAS mit Beweistechniken (Tactics) Problem: Ungeprüfte Operationen vs. Komplexität Berechnungen durch CAS in Theorembeweisern Problem: Komplizierte Beweisführung und Syntax vs. Prüfung Notwendigkeit Kompromiss

15 Vergleich der Verfahren Sichtweisen Anwendersicht Systementwicklersicht Kriterien Bedienung (Anwendersicht) Bewertung (Anwendersicht) Aufwand (Systementwicklersicht)

16 Vergleichsübersicht Mehr Sterne = Besser

17 Gliederung 1. Einleitung 2. Verfahren für mathematische Fragestellungen Computeralgebrasysteme Freiform-Textabgleich Formalüberprüfung Theorembeweiser 3. Systeme und Vergleichsmöglichkeiten Aufbau und Gestaltungsmöglichkeiten Vergleich von zwei Systemen 4. Fazit und Ausblick

18 Systemgestaltungsmöglichkeiten Ziel: Vergleichsrahmen mathemat. E-Assessentsysteme Vorgehen Imaginäres optimales System Betrachtung von Komponenten Untersuchung wünschenswerter Eigenschaften Vernachlässigung von Integrationsaspekten

19 Systemübersicht

20 Benutzeroberfläche Formeleditor Grafisch Linear Formblatt Fix Variabel Regelangabe

21 Beweisüberprüfung und Berichtigung von Beweisen Beweistypen Direkt Indirekt Induktion Fallunterscheidung Limes Nebenbedingungen Ergänzung fehlender Schritte Regeleinsetzung Hilfestellungen

22 Bewertung Differenzierung Rechenfehler/Tippfehler Umformungsfehler Falscher Ansatz Offenlegung Delegation kritischer Fälle

23 Regelbasis & Fragenkatalog Vollständigkeit & Erweiterbarkeit Standardisierung Daten Metadaten Aufgabenbasis und Möglichkeiten zum Erwerb Lösungshinweise

24 AiM (Assessment in Mathematics) Entwickelt zur Begleitung des Unterrichts Integration von Maple Verbotene Ausdrücke Liste von bekannten Fehlerquellen Nicht für Beweise konzipiert

25 AiM – Beispiel I Eingabe von Aufgaben:

26 AiM – Beispiel II Eingabe von Lösungen:

27 EASy Beweisüberprüfung durch Eigenentwicklung Konzipiert für Anwendungsfälle in Informatik II Fallunterscheidungen Induktion (Aufwands-)Abschätzungen Umformung von Theoremen Strategische Operationen Regeln

28 EASy – Beispiel I Übersichtsfenster:

29 EASy – Beispiel II Subtheorem- bearbeitung und - markierung:

30 Vergleichsübersicht I

31 Vergleichsübersicht II

32 Vergleichsübersicht III

33 Fazit und Ausblick Kein überragendes Verfahren Nur Theorembeweiser bieten notw. Validität für Prüfung Entwicklung: Integrierte Verfahren mit Theorembew. AiM nicht für Beweise konzipiert EASy noch in der Entwicklung Bewertung z.B. über automatischen Theorembeweiser Automatische Regelauswahl Einsetzung fehlender Regeln Hilfestellungen und Erkennung falscher Ansätze