Daten-Grid mit Oracle Coherence

Präsentation zum Thema: "Daten-Grid mit Oracle Coherence"—  Präsentation transkript:

1 Daten-Grid mit Oracle Coherence
Möglichkeiten und Erfahrungen Marcel Boermann-Pfeifer, Oracle Deutschland GmbH | Michael Schöck, AEW6SE | JBFOne 2009

2 Ziel dieses Vortrags Informiert über Caching, Daten-Grids und deren Nutzen zum Beispiel Performance-Verbesserung am Frontend und Entlastung der Backend-Systeme Aufzeigen weiterer Möglichkeiten Daten-Grids im Einsatz bei der FIDUCIA was kann sinnvoll gecached werden welche Caching-Strategien sind sinnvoll welche Zwischenergebnisse wurden erzielt

3 Agenda Kurzvorstellung Coherence
Möglichkeiten für den Einsatz eines Datengrids Aktueller Status und Einsatz bei der FIDUCIA

4 Agenda Kurzvorstellung Coherence
Möglichkeiten für den Einsatz eines Datengrids Aktueller Status und Einsatz bei der FIDUCIA

5 Oracle Coherence als “Data Broker”
Endbenutzer- “Universum“ Tomcat Portale Java Objekte Daten- bereitstellung Each of the three Oracle XTP products (Times Ten, Coherence, and Web Cache) can be used independently within a 3 tier architecture. Oracle’s XTP products are able to handle extreme processing needs because of their ability to cache data in its several shapes. Datenquellen (Host, Oracle, ...)

6 Coherence Daten Grid und Virtualisierung
Enterprise Applications Real Time Clients Web Services Daten-Grid ermöglicht logische Sicht auf alle Daten Sofortiger Zugriff für neu gestartete Applikationsserver Ladevorgang für Daten entfällt Session-Daten transparent über mehrere Knoten verteilen Kein „Connection-Ansturm“ mehr für Backend-Datenbank SLAs leichter einzuhalten Application Tier Data Services Coherence™ Data Grid Data Sources Databases Mainframes Web Services

7 Wie funktioniert Coherence?
Jeder Knoten des Clusters hält einen Teil der Primärdaten Kopien der Primärdaten werden auf die anderen Knoten verteilt Logische Sicht auf alle Daten von jedem Knoten aus Alle Knoten überwachen sich gegenseitig Probleme werden von anderen Knoten diagnostiziert X Verdächtige Knoten werden vom Cluster isoliert Primärdaten werden umverteilt auf verbleibende Knoten

8 Datenzugriff im Grid Daten werden auf Cluster Member verteilt und gespiegelt Transparent für Entwickler Logische Sicht auf alle Daten, nicht nur lokale Keine zentrale Registry oder Daten-Katalog: kein “SPOF“

9 Daten-Recovery und Umverteilung
Cluster Member verlassen das Grid oder treten ihm bei Daten werden automatisch vom Backup wiederhergestellt und neu umverteilt Kein Ausfall, kein Datenverlust Nur geringfügige Latenz wegen hoher Priorität des Recovery-Vorgangs

10 Coherence für Entwickler
Keine Abhängigkeiten zu anderer Software (Oracle, Tomcat, Websphere, ...)‏ Import einer .jar Datei (ca. 4.5 MB)‏ java.util.Map Implementierung für Cluster (key/value)‏ Indizierung von Objekten, parallele Queries, continuous Queries Optimierte Objekt-Serialisierung bei Transfer über das Netzwerk JAAS-Security, Verschlüsselung, Kompression Object Eviction Policies Event-Verarbeitung (add,modify,remove)‏ Zahlreiche Patterns zum Download, zum Beispiel für Jobverarbeitung

11 Integration in bestehende Infrastrukturen
Integration mit Datenbanken Read through Query an Datenbank durchreichen Write through Daten in Datenbank persistieren Refresh ahead Cache aus Datenbank auffrischen Write behind asynchron in Datenbank persistieren Integration mit Persistenz-APIs out of box mit TopLink out of box mit Hibernate out of box mit JPA Datenbanken JVM Cache Cachestore Hibernate Store Load In Memory Coherence Cluster

12 Agenda Kurzvorstellung Coherence
Möglichkeiten für den Einsatz eines Datengrids Aktueller Status und Einsatz bei der FIDUCIA

13 HTTP Session Failover mit Coherence
Web Anwendung Application State HTTP Server Coherence Web Servlet Container Load Balancer Coherence Web Servlet Container Web Anwendung Application State Web Application Application State Coherence Web Java EE or Servlet Container Clustered WebLogic, WebSphere, JBoss, Tomcat Coherence Data Grid für HTTP Sessions

14 Packaged Applications
SOA Integration Data Grid Service Workflow Custom Applications fx Rules Packaged Applications Web Services Interface: XML, SOAP, WSDL, WSIF

15 Integration von Java, .Net und C++
Client API für .Net verfügbar (Windows)‏ Client API für C++ verfügbar (Solaris, Linux, Windows, Mac)‏ Objekte austauschbar durch Serialisierung in das „Portable Object Format“ Nutzung ausgefeilter Java Persistenz möglich für C++ und .Net Programme Direkter, schneller Datenaustausch (nicht nur via Backend)

16 Weitere mögliche Einsatzgebiete
Caching z.B. Stammdaten, aber auch parallele Verarbeitung von Daten- Objekten, Unabhängigkeit vom Datenlieferanten Auswertungen, Business Intelligence Von einfachen Queries zu komplexen Szenarios, Query API, Indizes, „Unternehmens-Google“ Transaktionen Daten und manipulierender Code: parallele Verarbeitung, JTA-Unterstützung, Transaktions-Log Ereignisse Automatische Verarbeitung von Events, z. B. Datenänderung, Job-Verarbeitung, Messaging-Pattern und weitere

17 Agenda Kurzvorstellung Coherence
Möglichkeiten für den Einsatz eines Datengrids Aktueller Status und Einsatz bei der FIDUCIA

18 JVM JVM JVM JVM Tomcat Tomcat Tomcat Tomcat Coherence Coherence Coherence Coherence

19 Architektur – Besonderheiten bei der FIDUCIA
Mehrere Coherence-Cluster: ein Cluster je Portal-Gruppe Trennung durch Multicast-Adressen und Ports bessere Software-Pflege durch Trennung der Portale und Portal-Daten Jedes Cluster erstreckt sich über zwei Rechenzentren Wird von Coherence als ein “normales” Cluster gesehen: Coherence WAN-Kommunikation wird nicht genutzt. Ortsabhängigkeit in der Konfiguration gegeben durch Node-Namen Hochverfügbarkeit plus bessere Performance als WAN-Protokoll

20 Einsatz von Coherence Wenn man Coherence ohne detailliertes Wissen einsetzt, kann so etwas passieren

21 Architektur – Besonderheiten bei der FIDUCIA
Festlegung von Obergrenzen für Cache-Größen je nach Cache: Verfügbarkeit Auslagerung von Cache-Daten in Dateien: Verfügbarkeit Verwendung von eigenen Serialisierungsklassen: Performance Festlegung unterschiedlicher Caching-Arten je Cache: Performance - “Replicated Cache“ bei kleinem Datenbestand: Datenzugriff immer lokal, Änderungen werden im Cluster bekanntgegeben / repliziert - “Near Cache” bei großem Datenbestand: häufig genutzte Daten immer lokal, seltener genutzte Daten kommen aus einem „remote cache“

22 Architektur – Besonderheiten bei der FIDUCIA
Reduzierung des CPU-Verbrauchs von 30 auf 8 Prozent nach Anpassungen

23 Architektur – Besonderheiten bei der FIDUCIA
UserData-Cache – Erhöhung der Zugriffe um Faktor 20 nach Anpassungen

24 Architektur – Besonderheiten bei der FIDUCIA
UserData-Cache – Reduzierung der Antwortzeit um Faktor 100 nach Anpassungen

25 Ausblick Datencache IKESA-Daten, PSF, BLZ und BIC, Organistaionseinheiten ist bereits implementiert „Kompetenzdaten“ wird derzeit umgesetzt Kommunikationsaustausch Betriebsdaten Informationsaustausch zwischen Rechnern (ACE-Messaging und Anmeldeinformationen), Daten für Sessionfailover. Implementiert und ausgebracht mit BAP 3.5 (zur Zeit deaktiviert) Auftragsverteilung Ablösung AQ-Messaging für HORIZON-Grid. Erste Vorüberlegungen haben stattgefunden Verteilung Servicerequests Dynamische Verteilung von Servicerequests; für Serverpools (Wolken) notwendig für flexible Systemhandhabung. Vision ist erarbeitet Coherence DB-Schnittstelle („Write Through“) Coherence simuliert DB, Applikationen schreiben Daten in den Cache. Future Use, Grundsatzdiskussion notwendig

26 Have You Had Your Coherence Test Today?
Ausblick Have You Had Your Coherence Test Today?

27 Zusammenfassung Coherence ist ein verteilter Cache Shared object memory über Rechnergrenzen hinweg Einbindung in Bereiche des JBF ist erfolgt Nutzung geschieht transparent weil zentral im Kern des Frameworks Bessere Performance und Backend-Entlastung Bietet neue Möglichkeiten zum Beispiel Messaging auf Objekt-Ebene Coherence Competence-Center bei der FIDUCIA: Michael Schöck

28 Fragen? – Diskussion? Marcel Boermann-Pfeifer Oracle Deutschland GmbH Geschäftsstelle Stuttgart Liebknechtstraße Stuttgart Michael Schöck Anwendungsentwicklung

29 Ihr IT-Partner Vielen Dank