Erstellen einer Webseitenstatistik mithilfe eines OLAP-Servers

Präsentation zum Thema: "Erstellen einer Webseitenstatistik mithilfe eines OLAP-Servers"—  Präsentation transkript:

1 Erstellen einer Webseitenstatistik mithilfe eines OLAP-Servers
Projektarbeit Erstellen einer Webseitenstatistik mithilfe eines OLAP-Servers Jan Lübeck Envers AG

2 Agenda Einleitung Ist - Aufnahme Soll - Konzept Realisierung Fazit

3 Einleitung

4 Seit 2000 in DU-Rheinhausen Zur Zeit 11 Mitarbeiter
Die Envers AG Seit 2000 in DU-Rheinhausen Zur Zeit 11 Mitarbeiter IT Dienstleistungen Entwicklung/Vermarktung von Softwarelösungen

5 Eigenes CMS “Flexcove 3” Modularer Aufbau Serverseitiges Sessionsystem
Das CMS Eigenes CMS “Flexcove 3” Modularer Aufbau Serverseitiges Sessionsystem Administration über Controlcenter

6 Ist - Aufnahme

7 Speicherung pro Seitenzugriff
Datensammlung Speicherung pro Seitenzugriff Relationale Datenbank ( MySQL ) 2 Tabellen 1. Tabelle: Zugriffsdaten 2. Tabelle: Parameter pro Zugriff( 1:n ) Große Datenmengen Flexible Datensammlung

8 Anzeige pro Zeiteinheit/Zeitraum:
Auswertung Anzeige pro Zeiteinheit/Zeitraum: Benutzerzahlen Seitenaufrufe Referer Javascript Bildschirmauflösung

9 Daten per SQL-Statements Neuberechnung bei jeder Abfrage
Performance Daten per SQL-Statements Neuberechnung bei jeder Abfrage „Joins“ mit anderen Datenbanken Langsam: 4 bis 11 Minuten

10 Google Analytics: Log-Auswertung: Generell: Externe Tools
Javascript nötig Keine Benutzer-Auswertung Log-Auswertung: Langsam oder Statisch Wenig Information Generell: Abhängigkeit vom Datenformat

11 Soll - Konzept

12 Online Analytics Processing Daten in “Cubes”
OLAP Online Analytics Processing Daten in “Cubes” “Cube” ist Sinnbild Enthält Werte Dimensionen Definieren die Bedingungen Enthalten Elemente Summenelemente Elemente erlaeutern!

13 Wert( Gesamt, Jahr, Zugriffe )
OLAP Schlüssel Zugriffe - Admin - Benutzer - Bot Monat - Jahr - Januar - Februar - … Jahr - Gesamt - … - 2007 - 2008 Abfrage von Werten Wert( 2008, Januar, Bot) Wert( 2008, Jahr, Benutzer ) Wert( Gesamt, Jahr, Zugriffe )

14 Methoden zur Speicherung
OLAP Operationen Slicing/Dicing ( Scheiben/Würfel ) Drill-Down / Drill-Up ( Detailgrad ) Pivoting ( Drehen ) Methoden zur Speicherung MOLAP ( Multidimensionales „Array“ ) ROLAP HOLAP

15 Beschleunigung der Auswertung Einsatz eines OLAP-Servers
Sollkonzept Beschleunigung der Auswertung Einsatz eines OLAP-Servers Abfrage per Webbrowser Linux/Apache/PHP Gleiches UI Gleicher Datenumfang

16 PALO Linux, Apache, PHP ( Anforderung ) OLAP-Server Bedingungen:
Software Linux, Apache, PHP ( Anforderung ) OLAP-Server Bedingungen: Linux Möglichst kostengünstig PHP-Schnittstelle PALO

17 Realisierung

18 Softwareinstallation
Palo

19 Definition der Dimensionen
Zeitliche Einteilung Datum( “Year”, “Month”, “Day” ) “Hour”, “Minute”, “Second” Art der Zusammenfassung “Request” “Session” ( Bot, User, Admin )

20 Definition der Dimensionen
Schlüssel-Wert-Paare HTTP-Variablen: Übergabeparameter Javascript-Parameter, wenn verfügbar Summierung als Hierarchie Typ Schlüssel Wert

21 Beispiel HTTP HTTP| Referer HTTP| Referer| www.google.de
HTTP| Referer| HTTP| User_Agent HTTP| User_Agent| Firefox HTTP| User_Agent| IE_7

22 Auslesen der Daten von MySQL Füllen der Dimensionen Benutzer Zugriffe
Importscript Auslesen der Daten von MySQL Füllen der Dimensionen Benutzer Zugriffe Schlüssel Füllen des Cubes

23 Trennung von Daten und Darstellung
Auswertung Trennung von Daten und Darstellung Klasse „Analysis“ Wertet Überparameter aus Ermittelt Daten Erstellt XML-Daten XSLT-Prozessor Erhält XML-Daten Benutzt XSLT-Template Erstellt HTML-Daten

24 Fazit

25 Weitere Seitenaufrufe
Vergleich Bisherige Auswertung Neue Auswertung Zeitvorteil Erster Seitenaufruf 11 Minuten 4 Minuten 275% Weitere Seitenaufrufe 1-6 Minuten 15-45 Sekunden % Import Ad-Hoc Ca. 10 Minuten -

26 Zu bewältigende Hürden
Ausblick Erfahrungen mit PALO Relativ unflexibel Skaliert nicht Langsam im Import Alternative: HOLAP Zu bewältigende Hürden Zugriff über PHP Einsatz Linux oder Windows

27 Vielen Dank für Ihre Aufmerksamkeit