DI Christian Donner cd (at) donners.com Architektur Moderner Internet Applikationen 22.-24.4.2004 TU Wien/Ausseninstitut Benutzeranalyse & Reporting DI Christian Donner cd (at) donners.com 03.03.2004 Internet Applikationen – Reporting Copyright ©2003, 2004 Christian Donner. Alle Rechte vorbehalten.

Agenda Warum ist Reporting wichtig? Begriffsklärung Welche technischen Mittel stehen zur Verfügung? Welche Funktionen bieten kommerzielle Produkte? 03.03.2004 Internet Applikationen – Reporting Copyright ©2003, 2004 Christian Donner. Alle Rechte vorbehalten.

Warum ist Reporting wichtig? Aufschlüsse über die Interessen der Benutzer Daten über das Benutzerverhalten können mit dem Profil eines Anwenders verknüpft werden (siehe amazon.com) Verwendung der Daten für Gezieltes Marketing Personalisiertes Angebot Aufschlüsse über mögliche Verbesserungen der Anwendung Angebote, die oft besucht werden, können ausgebaut werden Angebote, die nicht frequentiert werden, können entfernt werden Unterstützung für Browser kann nach Bedarf angepaßt werden Web Reporting ist immer eine Approximierung, niemals exakt Warum? Viele Faktoren können die Ergebnisse von Web Reports verfälschen. 2 Beispiele: Reporting Tools verwenden die Client IP Addresse aus dem Web Server Log zur Identifikation von Besuchern. Clients mit einer dynamischen IP Addresse des Providers können nicht als die selbe Person erkannt werden. 2 Besuche der selben Person mit unterschiedlichen IP Addressen werden daher als 2 Unique Visitors betrachtet. Jede neue Instanz des Browsers erhält eine neue Session ID. Wird die Session ID als Mittel zur Unterscheidung verwendet, kann ein Benutzer mehrere Session gleichzeitig offen haben. Reporting Tools erstellen ein Zeitprofil aus Einzelereignissen in der Log Datei. Dabei kann nicht rekonstruiert werden, ob z.B. ein Benutzer tatsächlich eine halbe Stunde eine Seite betrachtet hat oder Zwischendurch einen anderen Website besucht hat. Die resultierenden Verweildauern sind daher ungenau. 03.03.2004 Internet Applikationen – Reporting Copyright ©2003, 2004 Christian Donner. Alle Rechte vorbehalten.

Begriffsklärung im Reporting Umfeld Hit Hit bezeichnet einen Zugriff auf den Webserver. Ein Browser erzeugt zur Darstellung einer Seite 1-n Hits, z.B. um Bilder nachzuladen. Page View, Page Impression Zugriff auf den Webserver zur Darstellung einer einzelnen Seite. Visitor Besucher eines Website. Gezählt werden IP Addressen und Sessions. Unique Visitors zählt nur die Zahl der IP Addressen. URL Universal Resource Locator, identifiziert eine Website Querystring Alles was in einer URL nach dem ? kommt. Referrer Url, von der der Benutzer mittels eines Links zur aktuellen Seite gelangt ist. User Agent HTTP Header Feld, das Rückschlüsse auf den Browser und das Betriebssystem des Clients zuläßt. 03.03.2004 Internet Applikationen – Reporting Copyright ©2003, 2004 Christian Donner. Alle Rechte vorbehalten.

Technische Mittel Die Anwendung selbst kann einen direkten Datenbestand aufbauen Reportingtools analysieren die Logdateien der Webserver IP Addresse (mit DNS Lookup auch Domain) Referrer URL (z.B. zur Analyse von Suchmaschinen und Abfragen) Cookies (Session oder Benutzer-ID, etc) URL Server Ergebniscode (200 = OK) 03.03.2004 Internet Applikationen – Reporting Copyright ©2003, 2004 Christian Donner. Alle Rechte vorbehalten.

Benutzerverhalten programmtechnisch analysieren Sowohl ASP.net als auch Java bieten Mittel dazu ASP: In global.asa kann die Methode Session_OnStart definiert werden. Dort kann man beim Erzeugen einer Session die nötigen Strukturen in der Datenbank bereitstellen Beim Aufruf jeder Seite muß eine Funktion gerufen werden, die Daten aus dem HTTP Header in die Datenbank schreibt Java: Das Interface HTTPSessionListener ermöglicht es ebenfalls, beim Erzeugen einer neuen Session eigenen Code auszuführen. Jeder Seitenaufruf muss ebenfalls protokolliert werden. Die Anwendung kann weitere Aktivitäten in beliebig großer Detailtiefe protokollieren. Vorteil: Information ist sofort verfügbar und kann von der Anwendung verwendet werden. Information ist detaillierter als bei Logauswertung. Nachteil: Erheblicher Programmieraufwand und mögliche Performanceeinbußen. z.B. ASP: Set Conn = Server.CreateObject("ADODB.Connection") Conn.open aspdb_ConnectionString sql = "INSERT INTO Users (session_id, ip, browser, dt_start) " & _ " VALUES (" & Session.SessionID & ",'" & _ Request.ServerVariables("REMOTE_HOST") & "','" & _ Request.ServerVariables("HTTP_USER_AGENT") & "','" & _now & "')" Conn.Execute sql Conn.Close Set Conn = Nothing 03.03.2004 Internet Applikationen – Reporting Copyright ©2003, 2004 Christian Donner. Alle Rechte vorbehalten.

Hinweise zur Verwendung von Sessions Eingeschränkte Verwendung von Cookies Die UserID kann in einem Cookie gespeichert werden. Andere Informationen, besonders sensitive Daten, haben dort nichts verloren. An die Verwendung von Session Objekten (ASP, Java Servlets) ist mit Vorsicht heranzugehen. Sessiondaten fressen wertvolle Resourcen. Das gilt umso mehr für Session EJBs in Java. Die Datenbank ist der beste Ort, um größere Mengen von Daten zu speichern, auch wenn Sie nur für die Session relevant sind. URL Rewriting und versteckte (hidden) Formfelder sollten nicht verwendet werden, um eine “Session” zu unterhalten. URL Rewriting bezeichnet eine Technik, bei der entweder der Client oder der Server Parameter an die URL anhängt (getrennt durch die Zeichen ‘?’ und ‘&’). Diese Parameter können dann vom Server bei einem nachfolgenden Zugriff ausgewertet werden. Dadurch ist es möglich, ‘state’ oder Zustandsvariablen zu simulieren. Eine andere Technik ist das Senden versteckter Formvariablen. Beide Techniken sind oft die einzige Möglichkeit zur Lösung eines Problems, sollten aber eben nicht verwendet werden, um eine Sessionvariable zu simulieren. 03.03.2004 Internet Applikationen – Reporting Copyright ©2003, 2004 Christian Donner. Alle Rechte vorbehalten.

Konfiguration der Webserver Nicht alle verfügbaren Daten werden standardmäßig geloggt Je nach Bedarf müssen spezifische Felder eingeschaltet werden Siehe z.B. Microsoft IIS Webserver schreibt eine Logdatei wie z.B. das in den Bemerkungen angeführte Beispiel 2004-01-01 22:09:40 24.60.94.41 - WWW13 66.36.97.224 80 GET /images/cal.gif 200 411 321 203 Mozilla/4.0+(compatible;+MSIE+6.0;+Windows+98) http://www.austria-boston.org/movies.asp 2004-01-01 22:10:13 24.60.94.41 - WWW13 66.36.97.224 80 GET /links.asp 200 0 451 63 Mozilla/4.0+(compatible;+MSIE+6.0;+Windows+98) http://www.austria-boston.org/movies.asp 2004-01-01 22:10:25 24.60.94.41 - WWW13 66.36.97.224 80 GET /business.asp 200 0 453 125 Mozilla/4.0+(compatible;+MSIE+6.0;+Windows+98) http://www.austria-boston.org/links.asp 2004-01-01 22:10:30 24.60.94.41 - WWW13 66.36.97.224 80 GET /index.asp 200 0 453 62 Mozilla/4.0+(compatible;+MSIE+6.0;+Windows+98) http://www.austria-boston.org/business.asp 2004-01-01 22:11:22 24.60.94.41 - WWW13 66.36.97.224 80 GET /events.asp 200 0 451 62 Mozilla/4.0+(compatible;+MSIE+6.0;+Windows+98) http://www.austria-boston.org/index.asp 2004-01-01 23:27:46 209.237.238.175 - WWW13 66.36.97.224 80 GET /robots.txt 404 4184 127 32 ia_archiver - 2004-01-01 23:27:50 209.237.238.175 - WWW13 66.36.97.224 80 GET /calendar2.js 200 6515 129 172 ia_archiver - 2004-01-01 23:28:06 209.237.238.173 - WWW13 66.36.97.224 80 GET /robots.txt 404 4184 127 0 ia_archiver - 2004-01-01 23:28:06 209.237.238.173 - WWW13 66.36.97.224 80 GET /movies.asp 200 0 139 453 ia_archiver - 03.03.2004 Internet Applikationen – Reporting Copyright ©2003, 2004 Christian Donner. Alle Rechte vorbehalten.

Beispiel: Webtrends NetIQ’s Produktpalette deckt ein breites Spektrum ab Einfache ad-hoc Auswertung von Logfiles und Generieren eines Reports HTML Word Text etc. Import der Daten in eine relationale Datenbank für vielfältige Auswertungsmöglichkeiten Diverse Tools zur Auswertung dynamischer URLs Siehe Anmerkungen Eine dynamische URL: http://www2.standardandpoors.com/NASApp/cs/ContentServer?pagename=sp/Page/IndicesMainPg&r=1&l=EN&b=4 Parameter r=1 steht für Region Nordamerika Parameter l=EN steht für Sprache Englisch Parameter b=4 steht für Bereich Indizes Das auswertende Programm muß die relevanten Parameter und ihre Wertebereiche kennen, um diese Daten auf den Reports lesbar zu machen. Webtrends kann, unter Zuhilfenahme von Datenbank Lookups oder Dateien mit Hashtabellen den Querystring in eine Url im Format http://www2.standardandpoors.com/Englisch/Nordamerika/Indizes übersetzen. Der Reportgenerator kann daraus besser lesbare Reports generieren. 03.03.2004 Internet Applikationen – Reporting Copyright ©2003, 2004 Christian Donner. Alle Rechte vorbehalten.

Webtrends Intelligence Suite 03.03.2004 Internet Applikationen – Reporting Copyright ©2003, 2004 Christian Donner. Alle Rechte vorbehalten.

Webtrends Warehouse Datenmodell http://download.netiq.com/products/wis/documentation/NetIQ_TD_WIS_Warehouse_AdminGuide.pdf 03.03.2004 Internet Applikationen – Reporting Copyright ©2003, 2004 Christian Donner. Alle Rechte vorbehalten.

Beispiel einer Warehouse Abfrage Wie oft hat der User ‘012345’ Seiten im Bereich ‘Indizes’ abgerufen? Select count(*) from hit h, cookie c, parameter p, parmtype t, parmvalue v Where c.logentry = ‘012345’ and h.hit_id = p.hit_id and h.parmtype_id = p.parmtype_id and h.parmvalue_id = v.parmvalue_id and v.parmtype = ‘b’ -- parameter ‘Bereich’ and v.parmvalue = ‘1’ -- Nordamerika Solcherart gewonnene Kennwerte können leicht mit dem Profil des Benutzers zusammengeführt werden und dann in Marketingaktionen einfließen. Es sollen alle Kunden mit Interessensschwerpunkt Indizes eine eMail über ein neues kostenpflichtiges Angebot erhalten? Kein Problem, denn die Daten sind verfügbar. 03.03.2004 Internet Applikationen – Reporting Copyright ©2003, 2004 Christian Donner. Alle Rechte vorbehalten.

Beispielreport -------->> General Statistics <<-------- Date & Time This Report was Generated, Wednesday March 03 2004 - 19:02:48 Timeframe, 11/30/03 20:39:27 - 02/29/04 17:19:19 Number of Hits for Home Page, N/A Number of Successful Hits for Entire Site, 17708 Number of Page Views (Impressions), 5217 Number of User Sessions, 1274 User Sessions from United States, 76.05% International User Sessions, 10.51% User Sessions of Unknown Origin, 13.42% Average Number of Hits Per Day, 194 Average Number of Page Views Per Day, 57 Average Number of User Sessions Per Day, 14 Average User Session Length, 00:17:49 Number of Unique Users, 542 Number of Users Who Visited Once, 381 Number of Users Who Visited More Than Once, 161 -------->> Most Requested Pages <<-------- , Pages, Views, % of Total Views, User Sessions, Avg. Time Viewed ------------------------------------------------------------ 1, Media Library of the Austro-American Association of Boston - http://www.austria-boston.org/movies.asp, 1482, 28.4%, 483, 00:04:28 2, Who's On The A-AA Site - http://www.austria-boston.org/whoson.asp, 1184, 22.69%, 43, 00:00:21 3, The Austro-American Association: A little bit of Austria in Boston - http://www.austria-boston.org/index.asp, 984, 18.86%, 427, 00:01:20 4, Link Page of the Austro-American Association of Boston - http://www.austria-boston.org/links.asp, 168, 3.22%, 112, 00:01:29 etc. 03.03.2004 Internet Applikationen – Reporting Copyright ©2003, 2004 Christian Donner. Alle Rechte vorbehalten.

Vielen Dank für Ihre Aufmerksamkeit! 03.03.2004 Internet Applikationen – Reporting Copyright ©2003, 2004 Christian Donner. Alle Rechte vorbehalten.