Im Rahmen des DIANE-Projekts Diplomarbeit Evaluation normativer Strategien des verteilten Reputationssystem EVIDIRS cand. Dipl. Inform. Stefan Fähnrich Betreuer: Philipp Obreiter Gutachter: Prof. Dr.-Ing. Klemens Böhm Im Rahmen des DIANE-Projekts Universität Karlsruhe, Fakultät für Informatik, IPD

Problem: nicht alle Teilnehmer sind vertrauenswürdig Motivation ? Problem: nicht alle Teilnehmer sind vertrauenswürdig

Normatives EVIDIRS Ziel: Evaluation Vollständig verteiltes Reputationsystem mit Beweismitteln und sozialer Struktur ? Beweismittel- verwaltung Entscheidungs- findung Glaubens- bildung Aktion Quittung Vertrag Transaktions- protokoll ? Hier auch erklären was strategische User sind -> User ohne Orginalsoftware Verträge, Quittungen -> nicht abstreitbar Ziel: Evaluation

Existierende Evaluationswerkzeuge DIANEmu Simuliert Ad hoc Netz Java basiert Campusszenario Bewegungsmuster & Partionierung Simulative Cooperation Tournament (SCT) EVIDIRS Simuliert Ablauf Hypothesentester automatisierter Ablauf einer bzw. mehrerer Hypothesen Evaluations-DA, deshalb diese Folie Problem: woher kommen die Gegenstrategien?

Finden von Gegenstrategien erforderlich Problemansatz Finden von Gegenstrategien erforderlich Effektive Lösung zur Suche notwendig Idee: Turnier entwickeln Teilnehmer als Versuchspersonen Erzeugen immer neuer Gegenstrategien Durch neue Teilnehmer immer neue Einsichten Gegenstrategien werden im SCT getestet Computerstrategien im Turnier integrieren Spieltheorie nicht möglich -> zuviele Variablen / Knofigurationsmöglichkeiten

Entwicklung eines Werkzeugs: Interactive Cooperation Tournament Gliederung Motivation und Ziel Evaluationsprozess Entwicklung eines Werkzeugs: Interactive Cooperation Tournament Finden und Bewerten von Gegenstrategien Gesamtevaluation von EVIDIRS Zusammenfassung und Ausblick Rahmenwerk Einführung fertig – jetzt alles von mir

Simulative Cooperation Tournament Evaluationsprozess Interactive Cooperation Tournament Finden von Gegenstrategien formulieren Integrieren Simulative Cooperation Tournament Hypothesentester Analyse der Gegenstrategien Auswahl Gesamtevaluation

Anforderungen an das Interactive Cooperation Tournament Teilnehmer sollen sich erfolgreiche Gegenstrategien ausdenken Teilnehmer müssen gutes Grundverständis des Systems haben Leicht erlernbar Intuitive Bedienbarkeit FAQ Forum Glossar Avatare Transaktionswerte Zuordnung Ticker Bei Intuitiv Bedienbar auch sagen das es Änderungen gegenüber dem Simulator gibt.

Anforderungen an das Interactive Cooperation Tournament Teilnehmer sollen sich erfolgreiche Gegenstrategien ausdenken Teilnehmer müssen motiviert sein, um erfolgreich zu sein Während des Turniers Nach dem Turnier Kalorienanzahl ist Individualnutzen

Prozessschritt 1: Finden von Gegenstrategien Gelegenheitsspieler: 30 Langfristige Teilnehmer: 10 Turnierlänge: 30 Minuten – 2 Stunden Es konnten viele erfolgreiche Gegenstrategien extrahiert werden

Prozessschritt 1: Finden von Gegenstrategien Nur Eigeninteresse All Defector: rein ausbeutend Clever Defector: eigene Anfragen Betrugskriterien Context Defector: Wert Distrust Distributor: Bürgen Newcomer Defector: Typ Betrugskriterien Skimming Trust: Vertrauenswert End of Stay: Verweildauer Probability Defector: Zufallswert Normative Retailiator: Typ Discrimatory Defector: Typ (ID)

Prozessschritt 2: Bewerten von Gegenstrategien Ziel: bei gegebenen Rahmenbedingungen beste Gegenstrategie auszuwählen Methode: Bewertung der Gegenstrategien hinsichtlich der Rahmenbedingungen Betrachtete Dimensionen: Normativer Anteil, Kosten/Nutzen Verhältnis, Anzahl Transaktionen, Potientielle Partner, Rauschen

Prozessschritt 2: Bewerten von Gegenstrategien Betrachtete Dimension: Anzahl Transaktionen Grundeinstellungen: Teilnehmer: 100 Anteil Normative: 90% Transaktionspartner: 1 Nutzen: 50, Kosten: 17 Rauschen: 10% Resultat: die erfolgreichsten Gegenstrategien

Prozessschritt 2: Bewerten von Gegenstrategien Variation der Transaktionspartner Grundeinstellungen: Teilnehmer: 100 Anteil Normative: 90% Transaktionspartner: 1 Nutzen: 50, Kosten: 17 Rauschen: 10% Grundeinstellungen: Teilnehmer: 100 Anteil Normative: 90% Transaktionspartner: 3 Nutzen: 50, Kosten: 17 Rauschen: 10%

Prozessschritt 2: Bewerten von Gegenstrategien Integration der Bewertungen Auswahlmodul Entscheidungsbaum Übergangsfunktionen Rahmenbedingungen Strategien Verbesserung: Strategie 1 Auswahlmodul Strategie 2 Strategie n

Prozessschritt 3: Gesamtevaluation 0.1 0.5 0.9 5.0 20 35 Grundeinstellungen: Teilnehmer: 100 Transaktionspart.: 10 Nutzen: 5, Kosten: 1 Rauschen: 10% Betrachtete Dimensionen: Anteil Normativer Transaktionen Hypothese: Kosten der Normativität < 3 Transaktionen

Motivation - Repuationssystem notwendig um Betrüger zu erkennen. Zusammenfassung Motivation - Repuationssystem notwendig um Betrüger zu erkennen. Entwicklung des Interactive Cooperation Tournaments als Werkzeug zum Finden von Gegenstrategien. Evaluationsprozess Finden von Gegenstrategien Bewerten der Gegenstrategien Gesamtevaluation

Ausblick Feedback der Teilnehmer sehr hilfreich für semiautomatisierten Ablauf Untersuchung von schwachen Identitäten interessant Psychologische Aspekte Modellierung der Verteilungsfunktionen für Güter interessant (Monoplystellung, etc...)

Vielen Dank für die Aufmerksamkeit Ende und Diskussion Vielen Dank für die Aufmerksamkeit

Anhang

Gesamtevaluation - <> <> <> <> <> < Kombinierbar-keit Probabilistic Defector Context Defector Skimming Trust Defector Normative Retailiator Distrust Distributor End of Stay Discrimatory Defector Newcomer Defector - Temptation Defector <> <> <> <> <> < > > > > > > > > > <> <> <> <> > > <> <> <> <> < > > <> <> <> <> <> <> > >

Anteil Normativer - Transaktionszahl

Robustheit gegenüber destruktiven Gegenstrategien Grundeinstellungen: Teilnehmer: 50 % Strategische: 20 mögliche Transaktionspartner: 1 Gewichtung bei initialer Vertrauensbildung: 10

Robustheit gegenüber destruktiven Gegenstrategien Grundeinstellungen: Populations: 50 Rauschen: 10% % Strategische: 20 mögliche Transaktionspartner: 1 Gewichtung bei initialer Vertrauensbildung: 10

Maximaler Anteil Uncooperative Grundeinstellungen: Populations: 50 Rauschen: 10% mögliche Transaktionspartner: 1

Prozessschritt 1: Finden von Gegenstrategien Integration der Gegenstrategien in einen automatischen Auswerter Benchmark Profiler Strategien Designpoint

Unterschiede Simulator - ICT Vereinfachung Geld statt Partneraktion Keine Inkonsistenzen Keine Eigenwechsel Änderungen Beweismittelspeicherung Weitere Unterschiede Partionierung nur emuliert Skalierbarkeit

ICT Teilnehmeranzahl: 30 Langfristige Teilnehmer: 10 Turnierlänge: 30 Minuten – 2 Stunden Anforderungen: Teilnehmer über längeren Zeitraum zu motivieren. Alle Module müssen vermittelt werden Kein Siegereffekt

Intuitive Bedienbarkeit ICT3 – Näher Betrachtet Leicht erlernbar FAQ Forum Glossar Feedback/Motivation Statusfigur als Feedback Highscore Ticker Intuitive Bedienbarkeit Avatare Transaktionswerte Zuordnung

Ausblick Feedback der Teilnehmer sehr hilfreich für semiautomatisierten Ablauf Vertrauenswerte sehr unintuitiv Bürgschaften sehr wichtig Informationsaufbereitung für Menschen Untersuchung von schwachen Identitäten interesant (bereits im ICT und Simulator integriert)

ICT 3 – Näher Betrachtet (1) SCT Transaktionsentscheidung aufsparbar Jetzt oder nie Transaktionsablauf nacheinander Partitionierung emuliert (zufällig) simuliert (durch Bewegung) Nachrichtenversand nur bei neuen Transaktionsmöglichkeiten andauernd Produktion + - Beweismittelspeicherung Unlimitiert Fixed (Least Recently Used) Eigenwechsel Anzahl Actions in return Eine viele Inkonsistenz möglich Systemgröße beschränkt beliebig Partneraktion Geld (bzw. Calorien) Aktion menschliche Teilnehmer

Klassifizierung der Gegenstrategien (2) Name Transaktions-werte Vertrauens-werte Eigene Bürgen Bürgen des Gegenübers Shadow of the future Partner Probabilistic Defector - Context Defector Skimming Trust Defector Normative Retailiator Distrust Distributor End of Stay Discrimatory Defector Newcomer Defector Temptation Defector

Gefundene Gegenstrategien Clever Defector Temptation Defector Skimming Trust Defector End of Game Defector Context Defector Batch Defector -> neues Problem Probability Defector Distrust Distributor Normative Retailiator Newcomer Defector

Kalorientabelle 96 Banane 50 40 Apfel 160 80 Donut 211 Eis 55 27,5 Karotte 333 308 Pommes 259 246 Hamburger 816 272 Pizza 240 266 Kuchen Portion 100g

UbiBay

Testen der Einstellungen 100 Ab 50 Transaktionen testen Anzahl Transaktionen 55 Normative 1 20% 60% 100%

6 Wege Protokoll Aushandeln Vertrag Aktion Quittung

Trust Kernel

Literatur H. Frey, D. Gorgen, J. K. Lehnert, and P. Sturm. Erfahrungsbericht zur praktischen umsetzung eines auktionssystems für großfächige mo- bile multihop ad-hoc-netzwerke. In GI Betriebssysteme, Frühjahrstre®en 2003, Erlangen, April, 2003. C. M. Jonker, J. J. P. Schalken, J. Theeuwes, and J. Treur. Human experiments in trust dynamics. In iTrust, pages 206{220, 2004. S. Buchegger, L. Boudec, and J.-Y. L. Boudec. Core: A collaborative reputation mechanism to enforce node cooperation in mobile ad hoc net- works. In Proceedings of The 6th IFIP Communications and Multimedia Security Conference, Portorosz, Slovenia, September 2002. S. Buchegger and J.-Y. L. Boudec. Performance analysis of the confidant protocol: Cooperation of nodes - fairness in dynamic ad-hoc networks. In Proceedings of MobiHoc, 2002. P. Obreiter, S. Fähnrich, and J. Nimis. How social structure improves distributed reputation systems - three hypotheses. In Third Intl. Work- shop on Agents and Peer-to-Peer Computing (AP2PC'04), To appear in post-proceedings, New York, 2004.

Interactive Cooperation Tournament Erstellen einer Webapplikation Turnier welches Simulator nachempfunden ist Miterleben des Ablaufs Menschliche Teilnehmer als „Mitarbeiter“ Anfänglich gut Akzeptanz – Aber kein „Langzeitspaß“ ICT 1 rein textbasiert Avatare, Partitionierung, Computerspieler ICT 2 Zu komplex Neues Design, FAQ und Glossar ICT 3 Sehr gute Akzeptanz

Ändern der Einstellungen führt eventuell zu neuen Problemen Motivation Autonome mobile Geräte bilden spontan ein offenes Kommunikations-Netz mit Selbstverwaltung Problem: Ändern der Einstellungen führt eventuell zu neuen Problemen Teilnehmer möchten Dienste in Anspruch nehmen Reputationssystem soll Robustheit sichern Finden von neuen Gegenstrategien Testen von Gegenstrategien

Normatives EVIDIRS Vollständig verteiltes Reputationsystem mit Beweismitteln und sozialer Struktur Normen als Handlungsvorschriften Transaktionsprotokoll Vertrag Aktion Teilnehmer Quittung Hier auch erklären was strategische User sind -> User ohne Orginalsoftware Reputationssystem Beweismittelverwalter