Screen Scraping Für Frühaufsteher.

Präsentation zum Thema: "Screen Scraping Für Frühaufsteher."—  Präsentation transkript:

1 Screen Scraping Für Frühaufsteher

2 Agenda Was ist Screen Scraping Methoden Beispiele
Frage / Diskussionsrunde Screen Scraping – Christian Schmidt - SEO Campixx 2010

3 Ziele Verständnis für Screen Scraping entwickeln
Niemand wird hier und heute zum Profi! Nachdenken über eigene Webseitenverbesserungen und Abwehrmethoden ;) Screen Scraping – Christian Schmidt - SEO Campixx 2010

4 Scripte (wie bsp. PHP) und / oder Software
Methoden Scripte (wie bsp. PHP) und / oder Software

5 Script Methode Download einer Website
Cookie(s) verwalten Mit Redirects umgehen SSL Anfrage Proxies / verschiedene IP Adressen benutzen Informationen mittels REGEX, Xpath … auslesen Evtl. Formulareingaben emulieren Screen Scraping – Christian Schmidt - SEO Campixx 2010

6 „scrapen“ nicht mal eben so?

7 Stadtbranchenbuch

8 GoYellow

9 Factory-Outlets.org

10 Schwierigkeiten Änderungen am Webseiten Design
Ladeseiten zwischen „Formular abschicken“ und Ausgabe JavaScript Dynamisch modifizierte Formulare durch JS Ajax Plugin: Flash, Java Screen Scraping – Christian Schmidt - SEO Campixx 2010

11 Sicherheitsmechanismen
Sperrung unser Server IP Adresse Captchas Zufällig erzeugte Formularfelder <input type="submit" name="hash" value="098f6bcd4621d373cade4e832627b4f6"> <input type="submit" name="098f6bcd4621d373cade4e832627b4f6"> Screen Scraping – Christian Schmidt - SEO Campixx 2010

12 Die Lösung Einen Browser nutzen

13 Scrapen mit Browsern Die Seiten werden im Browser gerendert
Screen Scraping – Christian Schmidt - SEO Campixx 2010

14 iMacro Kostenloses Firefox Addon Kostenpflichtige Scripting Version
(mit ein paar Extras)

15 iMacro Browserplugin (Firefox & IE) oder als Standalone Software
Löst alle schwierigen Fälle Ajax Javascript Flash! In Verbindung mit so gut wie jeder Scriptsprache nutzbar Screen Scraping – Christian Schmidt - SEO Campixx 2010

16 iMacro Beispiele StudiVZ Scraper Bookmark Submitter Captchas lösen
Screen Scraping – Christian Schmidt - SEO Campixx 2010

17 StudiVZ Scraper Screen Scraping – Christian Schmidt - SEO Campixx 2010

18 Bookmark Submitter in PHP
Screen Scraping – Christian Schmidt - SEO Campixx 2010

19 Bookmark Submitter Nur für SEO Campixx 2010 Teilnehmer
Screen Scraping – Christian Schmidt - SEO Campixx 2010

20 Möglichkeiten: Captcha lösen mit iMacro
Händische Eingabe während das Macro läuft Human > kostet Arbeitszeit OCR Erkennung Computer > Evtl. Fehlerhaft API Services Human / Computer Screen Scraping – Christian Schmidt - SEO Campixx 2010

21 Captcha lösen mit iMacro
Screen Scraping – Christian Schmidt - SEO Campixx 2010

22 Fragen?