Hyades – Eclipse Framework für Testen, Monitoring und Profiling von Java Anwendungen Java Forum Stuttgart 01. Juli 2004 Axel Stollfuß axel.stollfuss@syngenio.de.

Präsentation zum Thema: "Hyades – Eclipse Framework für Testen, Monitoring und Profiling von Java Anwendungen Java Forum Stuttgart 01. Juli 2004 Axel Stollfuß axel.stollfuss@syngenio.de."—  Präsentation transkript:

1 Hyades – Eclipse Framework für Testen, Monitoring und Profiling von Java Anwendungen Java Forum Stuttgart 01. Juli 2004 Axel Stollfuß

2 Agenda Ausgangslage / Motivation Hyades Komponenten im Überblick
Hyades - Agenda Agenda Ausgangslage / Motivation Hyades Komponenten im Überblick Vergleich und Bewertung Roadmap / Weitere Entwicklungen

3 Ausgangslage Software Qualität
Ausgangslage / Motivation Ausgangslage Software Qualität Unterschiedliche Nutzer Entwickler Fachliche Tester Performance-, Lasttester Betrieb haben ihre eigenen Werkzeuge mit getrennten Testmodellen  Mangelnde Traceability und Redundanz

4 Was ist Hyades? Projektvision
Ausgangslage / Motivation Was ist Hyades? Projektvision Integrierte Test, Trace und Monitoring Plattform Werkzeuge für Automated Software Quality (ASQ) Functional Testing Load Testing Unit Testing Runtime Analyse Einheitliche Infrastruktur Plattform für Entwicklung Test Produktion Eclipse basiert (Plugins und externe Laufzeitkomponenten)

5 Ausgangslage / Motivation
Wer steckt dahinter ? Begonnen Ende 2002 von IBM, Scapa Technologies, Rational Software, Parasoft und Telelogic Beteiligt an aktuellen Releases IBM, Scapa Technologies, SAP, Compuware und Intel Hyades als Basis für Produktentwicklungen

6 Wo kommt der Begriff „Hyades“ her ?
Ausgangslage / Motivation Wo kommt der Begriff „Hyades“ her ? Hyaden einer der größten sichtbaren Sternhaufen Während Sonnenfinsternis 1919 empirischer Beweis der Relativitätstheorie Ablenkung des Lichts der Hyaden durch Gravitationsfeld der Sonne gemessen : ALLGEMEINE RELATIVITÄTSTHEORIE   Licht von Sternen, die nahe an der Sonne stehen, sollte ca arcsec abgelenkt werden EDDINGTON: zwei Expeditionen: Brasilien und Afrika, Beobachtung von Sternen bis zu 9ter Größe! Hyaden nahe der Sonne: Ablenkung von 1.65 und 1.98 arcsec.

7 Agenda Ausgangslage / Motivation Hyades Komponenten im Überblick
Hyades - Agenda Agenda Ausgangslage / Motivation Hyades Komponenten im Überblick Vergleich und Bewertung Roadmap / Weitere Entwicklungen

8 Hyades Komponenten im Überblick
Hyades im Überblick Hyades Komponenten im Überblick Interoperable Informationsmodelle Data Collection Framework und Laufzeitumgebung Test Tool Framework Profiling Framework Log und Trace Frameworks

9 Zusammenspiel der Komponenten an einem praktischen Beispiel
Hyades im Überblick Zusammenspiel der Komponenten an einem praktischen Beispiel Aufzeichnen eines GUI-Tests Generierung der JUnit Klassen Anpassung der JUnit Klassen durch Datapool Einbindung Monitoring der Anwendung beim Ablaufen der Tests Aufzeichnen der Profiling Informationen Erweiterte Tracing Informationen durch Probekit Adapter für Logfiles, die CBE Events generieren Korrelation von Logfiles (Realtime) Analyse der Logfiles, Verknüpfung mit der Symptom Datenbank Testgewinnung- und Ablauf Datengewinnung Analyse

10 Zusammenspiel der Hyades Komponenten
Hyades im Überblick Zusammenspiel der Hyades Komponenten Laufzeitumgebung Zu testendes System Testtreiber ProbeKit Logfile Trace Teststeuerung & Deployment GLA Informations-modelle Runtime Visualisierung Data Collection FW Symptom DB Sourcecode Transformation UML2TP Testfall Test Testverwaltung Testdaten

11 Informationsmodelle Zentraler Bestandteil von Hyades
Jede Komponente besitzt eigene Modelle Eclipse Modelling Framework (EMF) basiert Offene Schnittstelle für Erweiterungen MVC-Konzept

12 Informationsmodelle Packages org.eclipse.hyades.models.*
common – UML2 Testing Profile u.a. cbe – Common Base Events hierarchy – Objekthierarchie probekit – Instrumentierung sdb – Symptom Datenbank statistical – Auszuwertende Ereignisse trace – Tracing

13 Theoretisches Fundament OMG UML2 Testing Profile
UML2TP Theoretisches Fundament OMG UML2 Testing Profile Formales Erfassen aller zum Black-Box-Testen notwendiger Informationen um Korrektheit des implementierten Systems zu prüfen Keine Definition von Testprozess Testmethode Testalgorithmus

14 OMG UML2 Testing Profile
UML2TP OMG UML2 Testing Profile Spezifiziert miteinander agierende Objekte für Testarchitektur Testverhalten Testdaten Spezifikation als Meta-Modell (MOF) Mittels EMF in Hyades implementiert (Ziel !)

15 UML2 TP Meta-Model (Ausschnitt)

16 Common Base Events (CBE)
Definiert Struktur von Ereignissen Ziel: Konsistenz und Vollständigkeit Ausgerichtet auf Logging Management Problemerkennung eBusiness Ziel: Neuer Standard (initiiert von IBM)

17 Vereinheitlichung durch CBE
Common Base Events Vereinheitlichung durch CBE Zeitformat Rechnername Komponentenname Gruppierung von Events Reihenfolge der Events Zuordnung in verteilten Applikationen

18 Aufbau von Common Base Events
Basis ist 3-Tupel Berichtende Komponente Betroffene Komponente Situation Beispiel: [„JBoss“, „Webapp A“, „DB Anbindung unterbrochen“] Modellierung komplexer Eventstrukturen möglich

19 Eigenschaften von CBE In XML spezifiziert
Common Base Events Eigenschaften von CBE In XML spezifiziert Eventtransport über SOAP möglich Abbildung von JMX, SNMP, CIM, Webserver logs zu CBE möglich Erweiterbar durch produktspezifische Attribute Schemata z.B. für Web Application Server, Betriebssysteme, …. CIM = Common Information Model CIM provides a common definition of management information for systems, networks, applications and services, and allows for vendor extensions. CIM’s common definitions enable vendors to exchange semantically rich management information between systems throughout the network. Treiber: Cisco, Sun, Dell. IBM, Intel, EMC Eigene Schemata für Web Application Server, Betriebssysteme, etc.

20 Darstellung von CBE in Eclipse
Common Base Events Darstellung von CBE in Eclipse Common Base Event // entspricht dem CBE Modell Severity 0 – 70 Priority 0 – 100 (10 = low, 50 = medium, 70 = high) 0-100 0-70

21 Hyades Komponenten im Überblick
Hyades im Überblick Hyades Komponenten im Überblick Interoperable Informationsmodelle Data Collection Framework und Laufzeitumgebung Test Tool Framework Profiling Log und Trace Frameworks

22 Agent Controller Architektur
Agent Controller: externer Daemon zur Entkopplung der Kommunikation zwischen System Under Test (SUT) und Testclient Agent: läuft innerhalb der Hostprozesse und kommuniziert mit dem Agent Controller, macht die internen Daten extern verfügbar Test Client: Kommuniziert mit dem Agent Controller, um Daten der Agenten einzusammeln

23 Agent Controller Agent Lifecycle  Registered: Agent wird vom Host Prozess gestartet und registriert sich beim Controller  Attached Testclient attached an den Agenten, um Daten zu sammeln  Monitored Testclient startet Monitoring des Agenten

24 Interaktion Agenten mit dem Agent Controller
Agent Controller Logfile Starten des Tomcat mit -XrunpiAgent:server=enabled Der Agent wird in der JVM gestartet und connected sich an den Agent Controller  Zustand registriert Test Client Eclipse attached an den registrierten Agenten  Zustand attached Etablierung des Data Channels für den Kommunikationsfluss zwischen Agent Controller und Eclipse Plugin <SERVER_MSG time="2004:6:25:12:33:10" severity="INFORMATION" text="Incoming connection request from agent Java Profiling Agent in process 3704 with uuid b3541fff-84fb-4d19-9b93-10b3e016c6c6"/> <SERVER_MSG time="2004:6:25:12:33:10" severity="INFORMATION" text="Registering process 3704"/> <SERVER_MSG time="2004:6:25:12:33:10" severity="WARNING" text="Registered Agent b3541fff-84fb-4d19-9b93-10b3e016c6c6."/> <SERVER_MSG time="2004:6:25:12:33:41" severity="INFORMATION" text="Incoming connection request on socket 812 from "/> <SERVER_MSG time="2004:6:25:12:33:41" severity="INFORMATION" text="Connection accepted on socket 812"/> <SERVER_MSG time="2004:6:25:12:34:6" severity="INFORMATION" text="Preparing Agent active"/> <SERVER_MSG time="2004:6:25:12:34:21" severity="INFORMATION" text="Created data channel with name rabuffer0 and CB addr buffer addr size in= size out= "/> <SERVER_MSG time="2004:6:25:12:34:21" severity="INFORMATION" text="Connected to client data channel socket on port 1055 with descriptor 744"/> <SERVER_MSG time="2004:6:25:12:34:21" severity="INFORMATION" text="Created flusher thread and about to send message to agent"/> <SERVER_MSG time="2004:6:25:12:56:45" severity="INFORMATION" text="Process 3704 exited"/>

25 Hyades Komponenten im Überblick
Hyades im Überblick Hyades Komponenten im Überblick Interoperable Informationsmodelle Data Collection Framework und Laufzeitumgebung Test Tool Framework Profiling Log und Trace Frameworks

26 Von der Testaufzeichnung zu ausführbaren Tests
Automatisierte GUI Tests Von der Testaufzeichnung zu ausführbaren Tests Aufzeichnen des Tests mit HTTP Recorder Generierung der JUnit Testklassen Ausführbaren Test generieren Test ausführen Testergebnisse analysieren Reportgenerierung

27 Testrecording als Basis für Tests
Automatisierte GUI Tests Aufzeichnen des Tests Testrecording als Basis für Tests Eclipse Wizard für HTTP(s) Recording Nutzt interne Internet Explorer Schnittstelle

28 URL Testsuite Automatisierte GUI Tests Aufzeichnen des Tests
Die aufgezeichneten Requests Request Infos Think Times änderbar SSL Support Rahmen !!! Header

29 Generierung Junit Klassen
Automatisierte GUI Tests Testklassengenerierung Generierung Junit Klassen Aus aufgezeichneten Tests werden JUnit Klassen generiert anschließende Anpassung möglich Integration von Datapools für variable Testdaten Analog zu den aufgezeichneten Tests Einstiegspunkt für individuelle Erweiterungen

30 Ausführbaren Test generieren
Automatisierte GUI Tests Ausführbaren Test erzeugen Ausführbaren Test generieren Test Deployment = Test Artifacts x Test Location

31 Testergebnisse analysieren
Automatisierte GUI Tests Testergebnisse analysieren Testergebnisse analysieren Erfolgreicher Test

32 Automatisierte GUI Tests Reportgenerierung
Zwei Standardreports (page response time, page hit rate) werden mitgeliefert Eigene Erweiterungen möglich Page Response Time Page Hit Rate

33 Hyades Komponenten im Überblick
Hyades im Überblick Hyades Komponenten im Überblick Interoperable Informationsmodelle Data Collection Framework und Laufzeitumgebung Test Tool Framework Profiling Framework Log und Trace Frameworks

34 Profiling Ausgangslage:
Analyse von Performance und Ressourcenproblemen Integriert in die Entwicklern bekannte Umgebung Features: Verknüpfung verschiedener (graphischer) Analysesichten Verknüpfung mit Source Code Es können lokale und entfernte Systeme geprofiled werden (Nutzung der Agent Controller Architektur) Realtime Profiling möglich

35 UML Sequenz Diagramm Profiling Performance- kritikalität
Verknüpfung mit Sourcecode

36 Profiling Coverage Statistik % abgedeckt missed hit

37 Profiling Execution Workflow Zeitliche Abfolge Kumulierte Dauer

38 Hyades Komponenten im Überblick
Hyades im Überblick Hyades Komponenten im Überblick Interoperable Informationsmodelle Data Collection Framework und Laufzeitumgebung Test Tool Framework Profiling Log und Trace Frameworks

39 Log und Trace Analyse Zielsetzung Hilfsmittel
Einheitliches Modell für Log- und Trace Events Laufzeitmodell zur Konsolidierung und Korrelation von Log Events verteilter Systeme Hilfsmittel CBE bietet einheitliches Format für Log und Trace Events Agent Controller als Laufzeitumgebung für die Event-Konsolidierung in verteilten Systemen

40 Einheitliche Logging Infrastruktur (Generic Log Adapter)
Log und Trace Analyse Einheitliche Logging Infrastruktur (Generic Log Adapter) Problem Kein applikationsübergreifendes Format für Logfiles Ansätze wie apache.commons.logging, JSR 147 Logging Ansatz CBE ist zentrales Informationsmodell Basis für weitere Verarbeitung Parser zur Transformation individuell zu erstellen Vereinfachte Erstellung der CBE Daten  Generic Log Adapter (GLA) Regelbasiert, reguläre Ausdrücke

41 Logfile Korrelation Problem Lösung: Logfile Korrelation
Log und Trace Analyse Logfile Korrelation Problem In verteilten Systemen sind die Logeinträge zusammenhängender Aktionen über viele Logfiles verteilt Webserver -, Web Container -, Appserver-Log, … Lösung: Logfile Korrelation Traceability von Events über verteilte Logfiles hinweg Korrelation kann Timestamp, Session ID, etc. sein Möglichkeit, eigene Logfile Korrelationen zu erstellen Kann sehr zeitaufwendig werden

42 Symptom Database (1) Problem Lösung: Symptom Database
Log und Trace Analyse Symptom Database (1) Problem Aufbereitung der Information der Log Events für operative Todos Lösung: Symptom Database Knowledge Base für typische Event Konstellationen, XML-basiert Erlaubt Formulierung einfacher Regeln auf der Basis der CBE Informationen Hinweis auf Einsatzszenario für den Betrieb !

43 Symptom Database (2) Log und Trace Analyse Ausgewählter Eintrag
Analyse Ergebnis Symptom Beschreibung

44 Probekit Instrumentierung von Java Programmen
Tracing Probekit Instrumentierung von Java Programmen Generierung von Trace Informationen AOP Ansatz Proprietärer Ansatz java ProbeInstrumenter .probescript *.class Probe Java class file .class + .probescript Probe- Beschreibung In XML .probe Probe Java Source .java Probe compiler compile Byte Code Instrumentation Probekit Java Classes instrumentiert Java Classes In Eclipse integriert

45 Probekit Beispiel (1) Tracing Probekit enthält die einzelnen Probes
<?xml version="1.0" encoding="ASCII"?> <probekit> <probe> <fragmentAtClassScope> static public int entry_counter = 0; </fragmentAtClassScope> <fragment type="entry"> <data type="className" name="_class" /> <data type="methodName" name="_method" /> <data type="args" name="_args" /> <code> if ((entry_counter % 10) == 0) System.out.println("Counter value " + entry_counter + " at a call to " + _class + "." + _method); entry_counter++; </code> </fragment> </probe> </probekit> fragmentAtClassScope: Klassen Member Folgendes Codefragment wird bei Methodeneinstieg durchlaufen <data> enthält die Typdeklarationen <code> enthält den auszuführenden Code

46 Probekit Beispiel (2) Tracing
<?xml version="1.0" encoding="ASCII"?> <probekit> <probe> <fragmentAtClassScope> static public int entry_counter = 0; </fragmentAtClassScope> <fragment type="entry"> <data type="className" name="_class"/> <data type="methodName" name="_method"/> <data type="args" name="_args" /> <code> if ((entry_counter % 10) == 0) System.out.println("Counter value " + entry_counter + " at a call to " + _class + "." + _method); entry_counter++; </code> </fragment> </probe> </probekit> // generated source from ProbeKit compiler class tt_probe { // Class for probe unnamed_probe public static class Probe_0 { // Fragment at class scope static public int entry_counter = 0; public static void _entry ( String /*className*/ _class, String /*methodName*/ _method, Object[] /*args*/ _args ) { // Internal signature for this method: (Ljava/lang/String;Ljava/lang/String;[Ljava/lang/Object;)V //-- begin user-written fragment code -- if ((entry_counter % 10) == 0) System.out.println("Counter value " + entry_counter " at a call to " + _class + "." + _method); entry_counter++; //-- end user-written fragment code -- } Probe compiler

47 Hyades Komponenten im Überblick
Hyades im Überblick Hyades Komponenten im Überblick Interoperable Informationsmodelle Data Collection Framework und Laufzeitumgebung Test Tool Framework Profiling Log und Trace Frameworks

48 Eclipse Platform Eclipse GUI Remote System Test Engine
Hyades im Überblick Architektur Eclipse Platform Eclipse GUI Runtime Monitoring Trace Analysis and Profiling Test Management Standard Widgets and Core Plugins Reference Perspective and Workflow EMF Information Models Test Trace Statistical Profile XMI etc. Generator Data Loader Test Master Control Interface Real Time Export Remote System Test Engine Testability Interface Data Collection Correlation Deployment Agent Data Collection Interface Test Agent Control Interface Injection System Under Test Execution Environment Trace Collection Log Collection System Resource Monitor JVMPI Monitor Distributed Test Control Framework Eclipse Deployment Framework Distributed Data Collection Framework „weiß“ machen

49 Agenda Ausgangslage / Motivation Hyades Komponenten im Überblick
Hyades - Agenda Agenda Ausgangslage / Motivation Hyades Komponenten im Überblick Vergleich und Bewertung Roadmap / Weitere Entwicklungen

50 Vergleich zu anderen Werkzeugen (1)
Vergleich und Bewertung Vergleich zu anderen Werkzeugen (1) „Konkurrenz“ von Hyades Tools von Compuware, Mercury, Segue, … Open Source Projekte: JUnit*, JMeter, … Vergleich Plattform mit Produkt unfair Produkte müssen entwickelt werden! Hyades liefert Beispiele mit aus Gute formale Grundlage und Integrationsfähigkeit in Projektsituationen Bugzilla rausnehmen

51 Vergleich zu anderen Werkzeugen (2)
Vergleich und Bewertung Vergleich zu anderen Werkzeugen (2) Eclipse Hyades Einheitliches Framework Offen und erweiterbar („extension points“) Weitgehend Plattformunabhängig Andere Produkte Historisch gewachsene oder zugekaufte Produktkomponenten Proprietäre APIs

52 Fazit: Einsatzfähigkeit im Projekt schon heute
Vergleich und Bewertung Fazit: Einsatzfähigkeit im Projekt schon heute Profiling: Funktioniert gut, teilweise Probleme mit den Laufzeitkomponenten Testing: Ernsthafte fachliche Tests benötigen noch umfängliche Erweiterungen (im Vergleich zu JMeter) Log und Trace Analyse Basis für eine einheitliche Loginfrastruktur Symptom/Resolution Management

53 Agenda Ausgangslage / Motivation Architektur
Hyades - Agenda Agenda Ausgangslage / Motivation Architektur Hyades Komponenten im Überblick Einsatzszenarien im Projekt Vergleich und Bewertung Roadmap / Weitere Informationen

54 Weiterentwicklung Hyades
Roadmap Weiterentwicklung Hyades Q3/04 V 3.0.1 Bugfixes für 3.0, Kollektoren, Dokumentation Testmanagement Funktionen Ant basierte Testausführungen 64bit Architekturen und Embedded Systems UML2TP Support vervollständigen Transformation von Trace zu Testfall … Q4/04 V 3.1 2005 V 4.0

55 Weitere Informationen
Eclipse Hyades Homepage (s. auch dortige news groups und Mailinglisten) OMG UML2 Testing Profile Common Base Event Specification 2.1 ( )

56 syngenio AG Badstrasse 9 70372 Stuttgart Tel
syngenio AG Badstrasse Stuttgart Tel.: 0711 / Axel Stollfuß