Die Präsentation wird geladen. Bitte warten

Die Präsentation wird geladen. Bitte warten

Screen Scraping Für Frühaufsteher. Agenda Was ist Screen Scraping Methoden Beispiele Frage / Diskussionsrunde 2 Screen Scraping – Christian Schmidt www.christian.to.

Ähnliche Präsentationen


Präsentation zum Thema: "Screen Scraping Für Frühaufsteher. Agenda Was ist Screen Scraping Methoden Beispiele Frage / Diskussionsrunde 2 Screen Scraping – Christian Schmidt www.christian.to."—  Präsentation transkript:

1 Screen Scraping Für Frühaufsteher

2 Agenda Was ist Screen Scraping Methoden Beispiele Frage / Diskussionsrunde 2 Screen Scraping – Christian Schmidt - SEO Campixx 2010

3 Ziele Verständnis für Screen Scraping entwickeln – Niemand wird hier und heute zum Profi! Nachdenken über eigene Webseitenverbesserungen und Abwehrmethoden ;) 3 Screen Scraping – Christian Schmidt - SEO Campixx 2010

4 Methoden Scripte (wie bsp. PHP) und / oder Software

5 Script Methode Download einer Website – Cookie(s) verwalten – Mit Redirects umgehen – SSL Anfrage – Proxies / verschiedene IP Adressen benutzen Informationen mittels REGEX, Xpath … auslesen Evtl. Formulareingaben emulieren 5 Screen Scraping – Christian Schmidt - SEO Campixx 2010

6 scrapen nicht mal eben so?

7 Stadtbranchenbuch 7

8 GoYellow 8

9 Factory-Outlets.org 9

10 Schwierigkeiten Änderungen am Webseiten Design Ladeseiten zwischen Formular abschicken und Ausgabe JavaScript – Dynamisch modifizierte Formulare durch JS – Ajax Plugin: Flash, Java 10 Screen Scraping – Christian Schmidt - SEO Campixx 2010

11 Sicherheitsmechanismen Sperrung unser Server IP Adresse Captchas Zufällig erzeugte Formularfelder – 11 Screen Scraping – Christian Schmidt - SEO Campixx 2010

12 Die Lösung Einen Browser nutzen

13 Scrapen mit Browsern Die Seiten werden im Browser gerendert 13 Screen Scraping – Christian Schmidt - SEO Campixx 2010

14 iMacro Kostenloses Firefox Addon Kostenpflichtige Scripting Version (mit ein paar Extras) 14

15 iMacro Browserplugin (Firefox & IE) oder als Standalone Software Löst alle schwierigen Fälle – Ajax – Javascript – Flash! In Verbindung mit so gut wie jeder Scriptsprache nutzbar 15 Screen Scraping – Christian Schmidt - SEO Campixx 2010

16 iMacro Beispiele StudiVZ Scraper Bookmark Submitter Captchas lösen 16 Screen Scraping – Christian Schmidt - SEO Campixx 2010

17 StudiVZ Scraper 17 Screen Scraping – Christian Schmidt - SEO Campixx 2010

18 Bookmark Submitter in PHP Screen Scraping – Christian Schmidt - SEO Campixx

19 Bookmark Submitter 19 Screen Scraping – Christian Schmidt - SEO Campixx 2010 Nur für SEO Campixx 2010 Teilnehmer

20 Möglichkeiten: Captcha lösen mit iMacro Händische Eingabe während das Macro läuft – Human > kostet Arbeitszeit OCR Erkennung – Computer > Evtl. Fehlerhaft API Services – Human / Computer 20 Screen Scraping – Christian Schmidt - SEO Campixx 2010

21 Captcha lösen mit iMacro 21 Screen Scraping – Christian Schmidt - SEO Campixx 2010

22 Fragen?


Herunterladen ppt "Screen Scraping Für Frühaufsteher. Agenda Was ist Screen Scraping Methoden Beispiele Frage / Diskussionsrunde 2 Screen Scraping – Christian Schmidt www.christian.to."

Ähnliche Präsentationen


Google-Anzeigen