BTW 2007, Aachen, Ein Nachrichtentransformationsmodell für komplexe Transformationsprozesse in datenzentrischen Anwendungsszenarien Matthias Böhm, Jürgen Bittner SQL GmbH Dresden Franklinstraße 25a Dresden Dirk Habich, Wolfgang Lehner TU Dresden Nöthnitzer Str Dresden Uwe Wloka HTW Dresden (FH) Friedrich-List-Platz Dresden Die Definition des Message Transformation Model (MTM) und dessen Realisierung in TransConnect ®

2 / 34 Gliederung Einleitung und Motivation Message Transformation Model Integrationsplattform TransConnect ® Zusammenfassung und Ausblick

3 / 34 Gliederung Einleitung und Motivation Message Transformation Model Integrationsplattform TransConnect ® Zusammenfassung und Ausblick

4 / 34 Einleitung und Motivation Ausgangssituation Prozessintegration: WSBPEL hat sich mittlerweile weitestgehend durchgesetzt Anwendungsintegration: Kein anerkanntes Modell / Standard für die Beschreibung datenintensiver Prozesse Adaption von Prozessbeschreibungssprachen der Prozessintegration in der Anwendungs- und Informations- integration –Message Broker –EAI-Server –ETL-Tools

5 / 34 Einleitung und Motivation Motivation Sowohl in Workflow- als auch in ETL-Beschreibungen sind Aspekte des Kontrollflusses und des Datenflusses abzubilden Workflow-Systeme: Konzentration auf Kontrollfluss ETL-Tools: Konzentration auf Datenfluss EAI: Notwendigkeit der Kombination der Vorteile beider Verarbeitungsmodelle

6 / 34 Einleitung und Motivation Motivation zur Weiterentwicklung der Integrationsplattform TransConnect ® Konzeptuelles Modell zur Abbildung von Integrationsprozessen –Flexibilität bei der Modellierung von Integrationsszenarien –Datenunabhängigkeit –Unabhängigkeit von konkreten Prozessbeschreibungssprachen Integration einer Prozesssteuerung zur Realisierung des konzeptuellen Modells

7 / 34 Einleitung und Motivation Beispielszenario ETL-Prozess – Teil 1

8 / 34 Gliederung Einleitung und Motivation Message Transformation Model (MTM) Integrationsplattform TransConnect ® Zusammenfassung und Ausblick

9 / 34 Message Transformation Model (MTM) Anforderungen Funktionale Anforderungen (Auswahl) –beliebig viele Quell- und Zielsysteme –synchrones und asynchrones Verarbeitungsmodell –Content Based Routing durch eine geeignete Anfragesprache –Abstraktion von konkreten Systemtypen Nicht-Funktionale Anforderungen (Auswahl) –Effiziente Verarbeitung –Skalierbare Verarbeitung –Transaktionales Verhalten

10 / 34 Message Transformation Model (MTM) Einordnung des Modells in eine adaptierte 3-Schichten-Architektur

11 / 34 Message Transformation Model (MTM) MTM Nachrichtenmodell

12 / 34 Message Transformation Model (MTM) MTM Nachrichtenmodell Externe Ebene

13 / 34 Message Transformation Model (MTM) MTM Nachrichtenmodell Konzeptuelle Ebene Angelehnt an Molekül-Atom-Datenmodell (MAD) [HMMS87]

14 / 34 Message Transformation Model (MTM) MTM Nachrichtenmodell Interne Ebene: Attributorientierter, feingranularer Ansatz

15 / 34 Message Transformation Model (MTM) MTM Nachrichtenmodell Interne Ebene: Attributorientierter, grobgranularer Ansatz

16 / 34 Message Transformation Model (MTM) MTM Prozessmodell

17 / 34 Message Transformation Model (MTM) MTM Prozessmodell Konzeptuelle Ebene Entwurfsdimensionen –Strukturelle Art –Funktionale Orientierung –Interne Repräsentation

18 / 34 Message Transformation Model (MTM) MTM Prozessmodell Konzeptuelle Ebene – Strukturelle Art

19 / 34 Message Transformation Model (MTM) MTM Prozessmodell Konzeptuelle Ebene – Funktionale Orientierung

20 / 34 Message Transformation Model (MTM) MTM Prozessmodell Konzeptuelle Ebene – Interne Repräsentation

21 / 34 Message Transformation Model (MTM) MTM Prozessmodell Konzeptuelle Ebene Angelehnt an JBoss Graph Oriented Programming [JGOP06]

22 / 34 Message Transformation Model (MTM) MTM Prozessmodell Konzeptuelle Ebene – Anforderungsorientierte Operatoren

23 / 34 Message Transformation Model (MTM) Beispielszenario ETL-Prozess – Teil 2 Differenzierung in Teilprozesse

24 / 34 Message Transformation Model (MTM) Beispielszenario ETL-Prozess – Teil 2 Beispielprozess es_process1 (WSBPEL Process) Externe Ebene

25 / 34 Message Transformation Model (MTM) Beispielszenario ETL-Prozess – Teil 2 Beispielprozess es_process1 (MTM ProzessType) Konzeptuelle Ebene

26 / 34 Message Transformation Model (MTM) Beispielszenario ETL-Prozess – Teil 2 Beispielprozess es_process1 (Java ProcessPlan) public class es_process1 extends ProcessPlan { private InternalMessage msg1 = null; private InternalMessage msg2 = protected InternalMessage executeNode(InternalMessage input) throws MTMException { try { Invoke node1 = new Invoke("sap_mq","DEQUEUE",AService.OTYPE_RECEIVE); node1.setIDs(getPTID(), getPID(), getNID()); msg1 = node1.execute( msg3 ); } catch( MTMSignalException mse ) { /*signal handling*/ } /*...*/ } Interne Ebene

27 / 34 Gliederung Einleitung und Motivation Message Transformation Model (MTM) Integrationsplattform TransConnect ® Zusammenfassung und Ausblick

28 / 34 Integrationsplattform TransConnect ® Architekturentwurf TransConnect

29 / 34 Integrationsplattform TransConnect ® Entwurf TransConnect Server

30 / 34 Integrationsplattform TransConnect ® WFPE - ProcessParser

31 / 34 Gliederung Einleitung und Motivation Message Transformation Model (MTM) Integrationsplattform TransConnect ® Zusammenfassung und Ausblick

32 / 34 Zusammenfassung und Ausblick Ausgangssituation Kein Modell / Standard für Anwendungsintegration Notwendigkeit der Kombination der Vorteilen von Workflow-Systemen und ETL-Tools Notwendigkeit der Beschreibung von Prozessen der Anwendungsintegration –Kontrollfluss –Datenfluss –Interaktion mit externen Systemen Erzeugung effizient ausführbarer Prozesspläne Lösungsansatz Externe Ebene: Standardisierte Prozessbeschreibungssprachen Konzeptuelle Ebene: Definition Message Transformation Model Interne Ebene: Kompilierte Prozesspläne

33 / 34 Zusammenfassung und Ausblick Ergebnisse Definition des Message Transformation Model (MTM) –Nachrichtenmodell –Prozessmodell Beschreibung des MTM mit WSBPEL –Einfaches Mapping der interaktionsorientierten Operatoren –Einfaches Mapping der kontrollflussorientierten Operatoren –Umfassende Erweiterung der datenflussorientierten Operatoren (Einbettung in ) Erweiterung von TransConnect –Nachweis der Praktikabilität Ausblick Optimierung von Integrationsprozessen –Perspektive 1: Systeminterne Prozessoptimierung –Perspektive 2: Systemübergreifende Prozessoptimierung

BTW 2007, Aachen, Ein Nachrichtentransformationsmodell für komplexe Transformationsprozesse in datenzentrischen Anwendungsszenarien Matthias Böhm, Jürgen Bittner SQL GmbH Dresden Franklinstraße 25a Dresden Dirk Habich, Wolfgang Lehner TU Dresden Nöthnitzer Str Dresden Uwe Wloka HTW Dresden (FH) Friedrich-List-Platz Dresden Die Definition des Message Transformation Model (MTM) und dessen Realisierung in TransConnect ®