Screen Scraping Für Frühaufsteher

Agenda Was ist Screen Scraping Methoden Beispiele Frage / Diskussionsrunde Screen Scraping – Christian Schmidt www.christian.to - SEO Campixx 2010

Ziele Verständnis für Screen Scraping entwickeln Niemand wird hier und heute zum Profi! Nachdenken über eigene Webseitenverbesserungen und Abwehrmethoden ;) Screen Scraping – Christian Schmidt www.christian.to - SEO Campixx 2010

Scripte (wie bsp. PHP) und / oder Software Methoden Scripte (wie bsp. PHP) und / oder Software

Script Methode Download einer Website Cookie(s) verwalten Mit Redirects umgehen SSL Anfrage Proxies / verschiedene IP Adressen benutzen Informationen mittels REGEX, Xpath … auslesen Evtl. Formulareingaben emulieren Screen Scraping – Christian Schmidt www.christian.to - SEO Campixx 2010

„scrapen“ nicht mal eben so?

Stadtbranchenbuch

GoYellow

Factory-Outlets.org

Schwierigkeiten Änderungen am Webseiten Design Ladeseiten zwischen „Formular abschicken“ und Ausgabe JavaScript Dynamisch modifizierte Formulare durch JS Ajax Plugin: Flash, Java Screen Scraping – Christian Schmidt www.christian.to - SEO Campixx 2010

Sicherheitsmechanismen Sperrung unser Server IP Adresse Captchas Zufällig erzeugte Formularfelder <input type="submit" name="hash" value="098f6bcd4621d373cade4e832627b4f6"> <input type="submit" name="098f6bcd4621d373cade4e832627b4f6"> Screen Scraping – Christian Schmidt www.christian.to - SEO Campixx 2010

Die Lösung Einen Browser nutzen

Scrapen mit Browsern Die Seiten werden im Browser gerendert Screen Scraping – Christian Schmidt www.christian.to - SEO Campixx 2010

iMacro Kostenloses Firefox Addon Kostenpflichtige Scripting Version (mit ein paar Extras)

iMacro Browserplugin (Firefox & IE) oder als Standalone Software Löst alle schwierigen Fälle Ajax Javascript Flash! In Verbindung mit so gut wie jeder Scriptsprache nutzbar Screen Scraping – Christian Schmidt www.christian.to - SEO Campixx 2010

iMacro Beispiele StudiVZ Scraper Bookmark Submitter Captchas lösen Screen Scraping – Christian Schmidt www.christian.to - SEO Campixx 2010

StudiVZ Scraper Screen Scraping – Christian Schmidt www.christian.to - SEO Campixx 2010

Bookmark Submitter in PHP Screen Scraping – Christian Schmidt www.christian.to - SEO Campixx 2010

Bookmark Submitter Nur für SEO Campixx 2010 Teilnehmer Screen Scraping – Christian Schmidt www.christian.to - SEO Campixx 2010

Möglichkeiten: Captcha lösen mit iMacro Händische Eingabe während das Macro läuft Human > kostet Arbeitszeit OCR Erkennung Computer > Evtl. Fehlerhaft API Services Human / Computer Screen Scraping – Christian Schmidt www.christian.to - SEO Campixx 2010

Captcha lösen mit iMacro Screen Scraping – Christian Schmidt www.christian.to - SEO Campixx 2010

Fragen?