Daten-Grid mit Oracle Coherence Möglichkeiten und Erfahrungen Marcel Boermann-Pfeifer, Oracle Deutschland GmbH | Michael Schöck, AEW6SE | JBFOne 2009

Ziel dieses Vortrags Informiert über Caching, Daten-Grids und deren Nutzen zum Beispiel Performance-Verbesserung am Frontend und Entlastung der Backend-Systeme Aufzeigen weiterer Möglichkeiten Daten-Grids im Einsatz bei der FIDUCIA was kann sinnvoll gecached werden welche Caching-Strategien sind sinnvoll welche Zwischenergebnisse wurden erzielt

Agenda Kurzvorstellung Coherence Möglichkeiten für den Einsatz eines Datengrids Aktueller Status und Einsatz bei der FIDUCIA

Agenda Kurzvorstellung Coherence Möglichkeiten für den Einsatz eines Datengrids Aktueller Status und Einsatz bei der FIDUCIA

Oracle Coherence als “Data Broker” Endbenutzer- “Universum“ Tomcat Portale Java Objekte Daten- bereitstellung Each of the three Oracle XTP products (Times Ten, Coherence, and Web Cache) can be used independently within a 3 tier architecture. Oracle’s XTP products are able to handle extreme processing needs because of their ability to cache data in its several shapes. Datenquellen (Host, Oracle, ...)

Coherence Daten Grid und Virtualisierung Enterprise Applications Real Time Clients Web Services Daten-Grid ermöglicht logische Sicht auf alle Daten Sofortiger Zugriff für neu gestartete Applikationsserver Ladevorgang für Daten entfällt Session-Daten transparent über mehrere Knoten verteilen Kein „Connection-Ansturm“ mehr für Backend-Datenbank SLAs leichter einzuhalten Application Tier Data Services Coherence™ Data Grid Data Sources Databases Mainframes Web Services

Wie funktioniert Coherence? Jeder Knoten des Clusters hält einen Teil der Primärdaten Kopien der Primärdaten werden auf die anderen Knoten verteilt Logische Sicht auf alle Daten von jedem Knoten aus Alle Knoten überwachen sich gegenseitig Probleme werden von anderen Knoten diagnostiziert X Verdächtige Knoten werden vom Cluster isoliert Primärdaten werden umverteilt auf verbleibende Knoten

Datenzugriff im Grid Daten werden auf Cluster Member verteilt und gespiegelt Transparent für Entwickler Logische Sicht auf alle Daten, nicht nur lokale Keine zentrale Registry oder Daten-Katalog: kein “SPOF“

Daten-Recovery und Umverteilung Cluster Member verlassen das Grid oder treten ihm bei Daten werden automatisch vom Backup wiederhergestellt und neu umverteilt Kein Ausfall, kein Datenverlust Nur geringfügige Latenz wegen hoher Priorität des Recovery-Vorgangs

Coherence für Entwickler Keine Abhängigkeiten zu anderer Software (Oracle, Tomcat, Websphere, ...)‏ Import einer .jar Datei (ca. 4.5 MB)‏ java.util.Map Implementierung für Cluster (key/value)‏ Indizierung von Objekten, parallele Queries, continuous Queries Optimierte Objekt-Serialisierung bei Transfer über das Netzwerk JAAS-Security, Verschlüsselung, Kompression Object Eviction Policies Event-Verarbeitung (add,modify,remove)‏ Zahlreiche Patterns zum Download, zum Beispiel für Jobverarbeitung

Integration in bestehende Infrastrukturen Integration mit Datenbanken Read through Query an Datenbank durchreichen Write through Daten in Datenbank persistieren Refresh ahead Cache aus Datenbank auffrischen Write behind asynchron in Datenbank persistieren Integration mit Persistenz-APIs out of box mit TopLink out of box mit Hibernate out of box mit JPA Datenbanken JVM Cache Cachestore Hibernate Store Load In Memory Coherence Cluster

Agenda Kurzvorstellung Coherence Möglichkeiten für den Einsatz eines Datengrids Aktueller Status und Einsatz bei der FIDUCIA

HTTP Session Failover mit Coherence Web Anwendung Application State HTTP Server Coherence Web Servlet Container Load Balancer Coherence Web Servlet Container Web Anwendung Application State Web Application Application State Coherence Web Java EE or Servlet Container Clustered WebLogic, WebSphere, JBoss, Tomcat Coherence Data Grid für HTTP Sessions

Packaged Applications SOA Integration Data Grid Service Workflow Custom Applications fx Rules Packaged Applications Web Services Interface: XML, SOAP, WSDL, WSIF

Integration von Java, .Net und C++ Client API für .Net verfügbar (Windows)‏ Client API für C++ verfügbar (Solaris, Linux, Windows, Mac)‏ Objekte austauschbar durch Serialisierung in das „Portable Object Format“ Nutzung ausgefeilter Java Persistenz möglich für C++ und .Net Programme Direkter, schneller Datenaustausch (nicht nur via Backend)

Weitere mögliche Einsatzgebiete Caching z.B. Stammdaten, aber auch parallele Verarbeitung von Daten- Objekten, Unabhängigkeit vom Datenlieferanten Auswertungen, Business Intelligence Von einfachen Queries zu komplexen Szenarios, Query API, Indizes, „Unternehmens-Google“ Transaktionen Daten und manipulierender Code: parallele Verarbeitung, JTA-Unterstützung, Transaktions-Log Ereignisse Automatische Verarbeitung von Events, z. B. Datenänderung, Job-Verarbeitung, Messaging-Pattern und weitere

Agenda Kurzvorstellung Coherence Möglichkeiten für den Einsatz eines Datengrids Aktueller Status und Einsatz bei der FIDUCIA

JVM JVM JVM JVM Tomcat Tomcat Tomcat Tomcat Coherence Coherence Coherence Coherence

Architektur – Besonderheiten bei der FIDUCIA Mehrere Coherence-Cluster: ein Cluster je Portal-Gruppe Trennung durch Multicast-Adressen und Ports bessere Software-Pflege durch Trennung der Portale und Portal-Daten Jedes Cluster erstreckt sich über zwei Rechenzentren Wird von Coherence als ein “normales” Cluster gesehen: Coherence WAN-Kommunikation wird nicht genutzt. Ortsabhängigkeit in der Konfiguration gegeben durch Node-Namen Hochverfügbarkeit plus bessere Performance als WAN-Protokoll

Einsatz von Coherence Wenn man Coherence ohne detailliertes Wissen einsetzt, kann so etwas passieren

Architektur – Besonderheiten bei der FIDUCIA Festlegung von Obergrenzen für Cache-Größen je nach Cache: Verfügbarkeit Auslagerung von Cache-Daten in Dateien: Verfügbarkeit Verwendung von eigenen Serialisierungsklassen: Performance Festlegung unterschiedlicher Caching-Arten je Cache: Performance - “Replicated Cache“ bei kleinem Datenbestand: Datenzugriff immer lokal, Änderungen werden im Cluster bekanntgegeben / repliziert - “Near Cache” bei großem Datenbestand: häufig genutzte Daten immer lokal, seltener genutzte Daten kommen aus einem „remote cache“

Architektur – Besonderheiten bei der FIDUCIA Reduzierung des CPU-Verbrauchs von 30 auf 8 Prozent nach Anpassungen

Architektur – Besonderheiten bei der FIDUCIA UserData-Cache – Erhöhung der Zugriffe um Faktor 20 nach Anpassungen

Architektur – Besonderheiten bei der FIDUCIA UserData-Cache – Reduzierung der Antwortzeit um Faktor 100 nach Anpassungen

Ausblick Datencache IKESA-Daten, PSF, BLZ und BIC, Organistaionseinheiten ist bereits implementiert „Kompetenzdaten“ wird derzeit umgesetzt Kommunikationsaustausch Betriebsdaten Informationsaustausch zwischen Rechnern (ACE-Messaging und Anmeldeinformationen), Daten für Sessionfailover. Implementiert und ausgebracht mit BAP 3.5 (zur Zeit deaktiviert) Auftragsverteilung Ablösung AQ-Messaging für HORIZON-Grid. Erste Vorüberlegungen haben stattgefunden Verteilung Servicerequests Dynamische Verteilung von Servicerequests; für Serverpools (Wolken) notwendig für flexible Systemhandhabung. Vision ist erarbeitet Coherence DB-Schnittstelle („Write Through“) Coherence simuliert DB, Applikationen schreiben Daten in den Cache. Future Use, Grundsatzdiskussion notwendig

Have You Had Your Coherence Test Today? Ausblick Have You Had Your Coherence Test Today?

Zusammenfassung Coherence ist ein verteilter Cache Shared object memory über Rechnergrenzen hinweg Einbindung in Bereiche des JBF ist erfolgt Nutzung geschieht transparent weil zentral im Kern des Frameworks Bessere Performance und Backend-Entlastung Bietet neue Möglichkeiten zum Beispiel Messaging auf Objekt-Ebene Coherence Competence-Center bei der FIDUCIA: Michael Schöck

Fragen? – Diskussion? Marcel Boermann-Pfeifer Oracle Deutschland GmbH Geschäftsstelle Stuttgart Liebknechtstraße 35 70565 Stuttgart marcel.pfeifer@oracle.com 0711 72840 120 Michael Schöck Anwendungsentwicklung michael.schoeck@fiducia.de 089 9943 3128

Ihr IT-Partner Vielen Dank