Internet Applikationen – Search Engines Copyright ©2003, 2004 Christian Donner. Alle Rechte vorbehalten. Architektur Moderner Internet Applikationen TU Wien/Ausseninstitut Search Engines und Directories DI Christian Donner cd (at) donners.com

Internet Applikationen – Search Engines Copyright ©2003, 2004 Christian Donner. Alle Rechte vorbehalten.Definition Suchmaschinen oder, auf Neudeutsch, Search Engines, erfüllen zwei unterschiedliche Aufgaben: Ermöglichen Surfern das Auffinden Ihrer Seiten im Web Ermöglichen Besuchern Ihrer Webseiten das Auffinden bestimmter Informationen Verwendete Technologie ist ähnlich siehe AltaVista, sowohl ein Produkt als auch ein Webdienst Es gibt Überschneidungen in der Anwendung z.B. Google kann verwendet werden, um die Suchfunktionen einer Website zu implementieren (siehe

Internet Applikationen – Search Engines Copyright ©2003, 2004 Christian Donner. Alle Rechte vorbehalten.Agenda Glossar Grundlegende Funktionsweise Search Engine Spamming Maßnahmen zur Verbesserung des Rankings Suchfunktion innerhalb einer Website Directories

Internet Applikationen – Search Engines Copyright ©2003, 2004 Christian Donner. Alle Rechte vorbehalten.Glossar Spider, (Ro)bot, Crawler Suchmaschinen verwenden diese Agenten, um Websites automatisch zu durchforsten und zu indizieren Search Index, Suchindex Stichwortverzeichnis, das die Suchmaschine verwaltet META Tag HTML Syntax zur Angabe spezieller Zusatzinformationen für eine Webseite, z.B. Keywords oder Description SEO Search Engine Optimizer, neuer Berufszweig

Internet Applikationen – Search Engines Copyright ©2003, 2004 Christian Donner. Alle Rechte vorbehalten. Grundlegende Funktionsweise Eine Website wird von einem sog. Spider oder Bot indiziert ein Prozess, den der Search Engine-Betreiber in regelmäßigen Abständen startet (z.B. monatlich bei Google) Spiders besuchen alle URLs, die bereits indiziert wurden Ausgelaufene URLs werden gelöscht Links werden verfolgt (bis zu einer gewissen Tiefe) Neue Sites werden gefunden, weil Ein bestehender Site darauf verweist (... Anchor link) Der Webmaster die URL bei der Search Engine zur Indizierung angemeldet hat Textinhalte werden mit unterschiedlicher Gewichtung behandelt Url, Page Title und Description haben hohes Gewicht Text von Anchor Links werden ebenfalls speziell behandelt Normaler Text geht ohne Gewichtung ein Keywords werden kaum noch indiziert Bestimmt nicht-HTML Dateiformate werden auch indiziert (PDF, DOC, PPT,...)

Internet Applikationen – Search Engines Copyright ©2003, 2004 Christian Donner. Alle Rechte vorbehalten. Grundlegende Funktionsweise (2) Vereinfacht gesprochen, zerlegt die Suchmaschine die Textinhalte in Suchbegriffe und legt diese mit der URL in ihrem Datenbestand ab Intelligente Suchmaschinen beherrschen unterschiedliche Zeichensätze, Sprachen und Locales Können Wortstämme erkennen und Abwandlungen finden Oft werden mit dem Trefferwort auch Zeiger in das ursprüngliche Dokument gespeichert, z.B. um es in der Ergebnisanzeige hervorzuheben Die Algorithmen zur Bewertung der Treffer zur Erzeugung einer Rangordnung werden selten publiziert Google verrät z.B. nur, daß die Anzahl der externen Links auf eine Seite einfließt Der Google Page Rank wird von Google Toolbar, einem Browser Plugin, angezeigt Robots.txt – optionale Textdatei enthält Directories, die nicht indiziert werden sollen

Internet Applikationen – Search Engines Copyright ©2003, 2004 Christian Donner. Alle Rechte vorbehalten. Search Engine Spamming Ein relativ junges Problem, das sich rasch zu einer Plage für redliche Webmaster entwickelt hat Soll für die Betreiber viele Hits und damit Anzeigeneinnahmen generieren Dabei werden unlautere Methoden eingesetzt, die die Suchmaschinenbetreiber nicht tolerieren Affiliate Programme Cloaking Doorway Seiten Redirects Frameset-Kaskaden Versteckter Text Die Methoden und auch die Tarnungen werden immer raffinierter Oft hilft nur, sich selbst dieser Methoden zu bedienen, um die Oberhand zu behalten

Internet Applikationen – Search Engines Copyright ©2003, 2004 Christian Donner. Alle Rechte vorbehalten. Beispiel Spam – Suche Wien Messe auf Google

Internet Applikationen – Search Engines Copyright ©2003, 2004 Christian Donner. Alle Rechte vorbehalten. Verbesserung des eigenen Rankings Dynamische URLs sind problematisch Oft hilft nur eine statische Parallel-Site Titel und Description-META Tag sinnvoll wählen Directorynamen sinnvoll wählen (siehe Spamming) Vermeiden von Flash und anderen HTML-fremden Inhalten Plazierung von Texten mit Suchbegriffen Sinnvolle Benennung von Anchor Links ( ) Links von anderen Seiten mit gutem Ranking Listing in einem Directory (Looksmart, DMOZ, etc.)

Internet Applikationen – Search Engines Copyright ©2003, 2004 Christian Donner. Alle Rechte vorbehalten. Suche innerhalb einer Website Produkt oder Service Verwendung eines Produktes wie z.B. Verity, AltaVista, MS Search Flexibel, aktuell, kosten- und/oder wartungsintensiv Verwendung eines Services wie z.B. Google Starr, bis zu 1 Monat veraltet, kostengünstig, wartungsfrei Spider oder dynamische Generierung der Indizes Spider durchsucht die Site autonom über HTTP Protokoll Findet keine Metadaten, langsam Indizes direkt aus Datenbank oder Dateisystem generiert Aufwendig, schnell, Metadaten können mitgelesen werden Korrekte URL muß jeweils mitgeneriert werden, was mitunter nicht trivial ist (z.B. wenn ein Artikel über mehrere Navigationspfade erreichbar ist) Aktuelle Produkte sind sehr komplex und haben eine Vielzahl von Features mit Namen wie Federated Search, Parametric Search etc. Dieses Thema alleine könnte 3 Vortragstage füllen.

Internet Applikationen – Search Engines Copyright ©2003, 2004 Christian Donner. Alle Rechte vorbehalten. Beispiel Parametrische Suche

Internet Applikationen – Search Engines Copyright ©2003, 2004 Christian Donner. Alle Rechte vorbehalten.Directories Alternative zu Search Engines Anbieter sind z.B. Yahoo, Looksmart, DMOZ Viele haben ein Pay-per-Click Modell Webmaster kategorisiert die Site, basierend auf ein bestehendes Directory Prinzip ist anders, Wirkung ist ähnlich Looksmart z.B. arbeitet mit MSN, AltaVista,... Directory-Treffer werden vor den Suchmaschinen-Treffern gelistet (MSN)

Internet Applikationen – Search Engines Copyright ©2003, 2004 Christian Donner. Alle Rechte vorbehalten. Vielen Dank für Ihre Aufmerksamkeit!