Im Rahmen des DIANE-Projekts

Präsentation zum Thema: "Im Rahmen des DIANE-Projekts"—  Präsentation transkript:

1 Im Rahmen des DIANE-Projekts
Diplomarbeit Evaluation normativer Strategien des verteilten Reputationssystem EVIDIRS cand. Dipl. Inform. Stefan Fähnrich Betreuer: Philipp Obreiter Gutachter: Prof. Dr.-Ing. Klemens Böhm Im Rahmen des DIANE-Projekts Universität Karlsruhe, Fakultät für Informatik, IPD

2 Problem: nicht alle Teilnehmer sind vertrauenswürdig
Motivation ? Problem: nicht alle Teilnehmer sind vertrauenswürdig

3 Normatives EVIDIRS Ziel: Evaluation
Vollständig verteiltes Reputationsystem mit Beweismitteln und sozialer Struktur ? Beweismittel- verwaltung Entscheidungs- findung Glaubens- bildung Aktion Quittung Vertrag Transaktions- protokoll ? Hier auch erklären was strategische User sind -> User ohne Orginalsoftware Verträge, Quittungen -> nicht abstreitbar Ziel: Evaluation

4 Existierende Evaluationswerkzeuge
DIANEmu Simuliert Ad hoc Netz Java basiert Campusszenario Bewegungsmuster & Partionierung Simulative Cooperation Tournament (SCT) EVIDIRS Simuliert Ablauf Hypothesentester automatisierter Ablauf einer bzw. mehrerer Hypothesen Evaluations-DA, deshalb diese Folie Problem: woher kommen die Gegenstrategien?

5 Finden von Gegenstrategien erforderlich
Problemansatz Finden von Gegenstrategien erforderlich Effektive Lösung zur Suche notwendig Idee: Turnier entwickeln Teilnehmer als Versuchspersonen Erzeugen immer neuer Gegenstrategien Durch neue Teilnehmer immer neue Einsichten Gegenstrategien werden im SCT getestet Computerstrategien im Turnier integrieren Spieltheorie nicht möglich -> zuviele Variablen / Knofigurationsmöglichkeiten

6 Entwicklung eines Werkzeugs: Interactive Cooperation Tournament
Gliederung Motivation und Ziel Evaluationsprozess Entwicklung eines Werkzeugs: Interactive Cooperation Tournament Finden und Bewerten von Gegenstrategien Gesamtevaluation von EVIDIRS Zusammenfassung und Ausblick Rahmenwerk Einführung fertig – jetzt alles von mir

7 Simulative Cooperation Tournament
Evaluationsprozess Interactive Cooperation Tournament Finden von Gegenstrategien formulieren Integrieren Simulative Cooperation Tournament Hypothesentester Analyse der Gegenstrategien Auswahl Gesamtevaluation

8

9 Anforderungen an das Interactive Cooperation Tournament
Teilnehmer sollen sich erfolgreiche Gegenstrategien ausdenken Teilnehmer müssen gutes Grundverständis des Systems haben Leicht erlernbar Intuitive Bedienbarkeit FAQ Forum Glossar Avatare Transaktionswerte Zuordnung Ticker Bei Intuitiv Bedienbar auch sagen das es Änderungen gegenüber dem Simulator gibt.

10 Anforderungen an das Interactive Cooperation Tournament
Teilnehmer sollen sich erfolgreiche Gegenstrategien ausdenken Teilnehmer müssen motiviert sein, um erfolgreich zu sein Während des Turniers Nach dem Turnier Kalorienanzahl ist Individualnutzen

11 Prozessschritt 1: Finden von Gegenstrategien
Gelegenheitsspieler: 30 Langfristige Teilnehmer: 10 Turnierlänge: 30 Minuten – 2 Stunden Es konnten viele erfolgreiche Gegenstrategien extrahiert werden

12 Prozessschritt 1: Finden von Gegenstrategien
Nur Eigeninteresse All Defector: rein ausbeutend Clever Defector: eigene Anfragen Betrugskriterien Context Defector: Wert Distrust Distributor: Bürgen Newcomer Defector: Typ Betrugskriterien Skimming Trust: Vertrauenswert End of Stay: Verweildauer Probability Defector: Zufallswert Normative Retailiator: Typ Discrimatory Defector: Typ (ID)

13 Prozessschritt 2: Bewerten von Gegenstrategien
Ziel: bei gegebenen Rahmenbedingungen beste Gegenstrategie auszuwählen Methode: Bewertung der Gegenstrategien hinsichtlich der Rahmenbedingungen Betrachtete Dimensionen: Normativer Anteil, Kosten/Nutzen Verhältnis, Anzahl Transaktionen, Potientielle Partner, Rauschen

14 Prozessschritt 2: Bewerten von Gegenstrategien
Betrachtete Dimension: Anzahl Transaktionen Grundeinstellungen: Teilnehmer: 100 Anteil Normative: 90% Transaktionspartner: 1 Nutzen: 50, Kosten: 17 Rauschen: 10% Resultat: die erfolgreichsten Gegenstrategien

15 Prozessschritt 2: Bewerten von Gegenstrategien
Variation der Transaktionspartner Grundeinstellungen: Teilnehmer: 100 Anteil Normative: 90% Transaktionspartner: 1 Nutzen: 50, Kosten: 17 Rauschen: 10% Grundeinstellungen: Teilnehmer: 100 Anteil Normative: 90% Transaktionspartner: 3 Nutzen: 50, Kosten: 17 Rauschen: 10%

16 Prozessschritt 2: Bewerten von Gegenstrategien
Integration der Bewertungen Auswahlmodul Entscheidungsbaum Übergangsfunktionen Rahmenbedingungen Strategien Verbesserung: Strategie 1 Auswahlmodul Strategie 2 Strategie n

17 Prozessschritt 3: Gesamtevaluation
0.1 0.5 0.9 5.0 20 35 Grundeinstellungen: Teilnehmer: 100 Transaktionspart.: 10 Nutzen: 5, Kosten: 1 Rauschen: 10% Betrachtete Dimensionen: Anteil Normativer Transaktionen Hypothese: Kosten der Normativität < 3 Transaktionen

18 Motivation - Repuationssystem notwendig um Betrüger zu erkennen.
Zusammenfassung Motivation - Repuationssystem notwendig um Betrüger zu erkennen. Entwicklung des Interactive Cooperation Tournaments als Werkzeug zum Finden von Gegenstrategien. Evaluationsprozess Finden von Gegenstrategien Bewerten der Gegenstrategien Gesamtevaluation

19 Ausblick Feedback der Teilnehmer sehr hilfreich für semiautomatisierten Ablauf Untersuchung von schwachen Identitäten interessant Psychologische Aspekte Modellierung der Verteilungsfunktionen für Güter interessant (Monoplystellung, etc...)

20 Vielen Dank für die Aufmerksamkeit
Ende und Diskussion Vielen Dank für die Aufmerksamkeit

21 Anhang

22 Gesamtevaluation - <> <> <> <> <> <
Kombinierbar-keit Probabilistic Defector Context Defector Skimming Trust Defector Normative Retailiator Distrust Distributor End of Stay Discrimatory Defector Newcomer Defector - Temptation Defector <> <> <> <> <> < > > > > > > > > > <> <> <> <> > > <> <> <> <> < > > <> <> <> <> <> <> > >

23

24

25

26

27

28

29 Anteil Normativer - Transaktionszahl

30 Robustheit gegenüber destruktiven Gegenstrategien
Grundeinstellungen: Teilnehmer: 50 % Strategische: 20 mögliche Transaktionspartner: 1 Gewichtung bei initialer Vertrauensbildung: 10

31 Robustheit gegenüber destruktiven Gegenstrategien
Grundeinstellungen: Populations: 50 Rauschen: 10% % Strategische: 20 mögliche Transaktionspartner: 1 Gewichtung bei initialer Vertrauensbildung: 10

32 Maximaler Anteil Uncooperative
Grundeinstellungen: Populations: 50 Rauschen: 10% mögliche Transaktionspartner: 1

33 Prozessschritt 1: Finden von Gegenstrategien
Integration der Gegenstrategien in einen automatischen Auswerter Benchmark Profiler Strategien Designpoint

34 Unterschiede Simulator - ICT
Vereinfachung Geld statt Partneraktion Keine Inkonsistenzen Keine Eigenwechsel Änderungen Beweismittelspeicherung Weitere Unterschiede Partionierung nur emuliert Skalierbarkeit

35 ICT Teilnehmeranzahl: 30 Langfristige Teilnehmer: 10 Turnierlänge: 30 Minuten – 2 Stunden Anforderungen: Teilnehmer über längeren Zeitraum zu motivieren. Alle Module müssen vermittelt werden Kein Siegereffekt

36 Intuitive Bedienbarkeit
ICT3 – Näher Betrachtet Leicht erlernbar FAQ Forum Glossar Feedback/Motivation Statusfigur als Feedback Highscore Ticker Intuitive Bedienbarkeit Avatare Transaktionswerte Zuordnung

37 Ausblick Feedback der Teilnehmer sehr hilfreich für semiautomatisierten Ablauf Vertrauenswerte sehr unintuitiv Bürgschaften sehr wichtig Informationsaufbereitung für Menschen Untersuchung von schwachen Identitäten interesant (bereits im ICT und Simulator integriert)

38 ICT 3 – Näher Betrachtet (1)
SCT Transaktionsentscheidung aufsparbar Jetzt oder nie Transaktionsablauf nacheinander Partitionierung emuliert (zufällig) simuliert (durch Bewegung) Nachrichtenversand nur bei neuen Transaktionsmöglichkeiten andauernd Produktion + - Beweismittelspeicherung Unlimitiert Fixed (Least Recently Used) Eigenwechsel Anzahl Actions in return Eine viele Inkonsistenz möglich Systemgröße beschränkt beliebig Partneraktion Geld (bzw. Calorien) Aktion menschliche Teilnehmer

39 Klassifizierung der Gegenstrategien (2)
Name Transaktions-werte Vertrauens-werte Eigene Bürgen Bürgen des Gegenübers Shadow of the future Partner Probabilistic Defector - Context Defector Skimming Trust Defector Normative Retailiator Distrust Distributor End of Stay Discrimatory Defector Newcomer Defector Temptation Defector

40 Gefundene Gegenstrategien
Clever Defector Temptation Defector Skimming Trust Defector End of Game Defector Context Defector Batch Defector -> neues Problem Probability Defector Distrust Distributor Normative Retailiator Newcomer Defector

41 Kalorientabelle 96 Banane 50 40 Apfel 160 80 Donut 211 Eis 55 27,5
Karotte 333 308 Pommes 259 246 Hamburger 816 272 Pizza 240 266 Kuchen Portion 100g

42 UbiBay

43 Testen der Einstellungen
100 Ab 50 Transaktionen testen Anzahl Transaktionen 55 Normative 1 20% 60% 100%

44 6 Wege Protokoll Aushandeln Vertrag Aktion Quittung

45 Trust Kernel

46 Literatur H. Frey, D. Gorgen, J. K. Lehnert, and P. Sturm. Erfahrungsbericht zur praktischen umsetzung eines auktionssystems für großfächige mo- bile multihop ad-hoc-netzwerke. In GI Betriebssysteme, Frühjahrstre®en 2003, Erlangen, April, 2003. C. M. Jonker, J. J. P. Schalken, J. Theeuwes, and J. Treur. Human experiments in trust dynamics. In iTrust, pages 206{220, 2004. S. Buchegger, L. Boudec, and J.-Y. L. Boudec. Core: A collaborative reputation mechanism to enforce node cooperation in mobile ad hoc net- works. In Proceedings of The 6th IFIP Communications and Multimedia Security Conference, Portorosz, Slovenia, September 2002. S. Buchegger and J.-Y. L. Boudec. Performance analysis of the confidant protocol: Cooperation of nodes - fairness in dynamic ad-hoc networks. In Proceedings of MobiHoc, 2002. P. Obreiter, S. Fähnrich, and J. Nimis. How social structure improves distributed reputation systems - three hypotheses. In Third Intl. Work- shop on Agents and Peer-to-Peer Computing (AP2PC'04), To appear in post-proceedings, New York, 2004.

47 Interactive Cooperation Tournament
Erstellen einer Webapplikation Turnier welches Simulator nachempfunden ist Miterleben des Ablaufs Menschliche Teilnehmer als „Mitarbeiter“ Anfänglich gut Akzeptanz – Aber kein „Langzeitspaß“ ICT 1 rein textbasiert Avatare, Partitionierung, Computerspieler ICT 2 Zu komplex Neues Design, FAQ und Glossar ICT 3 Sehr gute Akzeptanz

48 Ändern der Einstellungen führt eventuell zu neuen Problemen
Motivation Autonome mobile Geräte bilden spontan ein offenes Kommunikations-Netz mit Selbstverwaltung Problem: Ändern der Einstellungen führt eventuell zu neuen Problemen Teilnehmer möchten Dienste in Anspruch nehmen Reputationssystem soll Robustheit sichern Finden von neuen Gegenstrategien Testen von Gegenstrategien

49

50

51 Normatives EVIDIRS Vollständig verteiltes Reputationsystem mit Beweismitteln und sozialer Struktur Normen als Handlungsvorschriften Transaktionsprotokoll Vertrag Aktion Teilnehmer Quittung Hier auch erklären was strategische User sind -> User ohne Orginalsoftware Reputationssystem Beweismittelverwalter