Fehlersuche im WWW - die Spinne zum Netz IFC-Vortrag 21.10.1998.

Präsentation zum Thema: "Fehlersuche im WWW - die Spinne zum Netz IFC-Vortrag 21.10.1998."—  Präsentation transkript:

1 Fehlersuche im WWW - die Spinne zum Netz IFC-Vortrag 21.10.1998

2 Aufgabenstellung Automatisches rekursives Absuchen von Web-SeitenAutomatisches rekursives Absuchen von Web-Seiten Fehlererkennung und -protokollierungFehlererkennung und -protokollierung Darstellung im Web-BrowserDarstellung im Web-Browser Ergebnis per e-mailErgebnis per e-mail Überwachung über TCP/IP und im BrowserÜberwachung über TCP/IP und im Browser

3 Die Grundlage web robotsweb robots konfigurierbarkonfigurierbar Source-CodeSource-Code ACME-Paket in JavaACME-Paket in Java

4 Die Hauptschleife von Spider Spider as = new Spider(System.err); as.addUrl(args[0]); while ( as.hasMoreElements() ) { URLConnection uc = (URLConnection) as.nextElement(); InputStream s = uc.getInputStream(); while ( s.read() != -1 ); s.close(); }

5 Aus Acme.Spider wird die Spinne Fehlersuche statt Link-ErnteFehlersuche statt Link-Ernte FehlererkennungFehlererkennung FehlerausgabeFehlerausgabe Effizienzsteigerung und Entfernen von bugsEffizienzsteigerung und Entfernen von bugs

6 Die Link-Auslese if (excludePath) { pathOk=true; for (int i=0; i<path.length && pathOk; i++) pathOk=!file.startsWith(path[i])); } else { pathOk=false; for (int i=0; i<path.length && !pathOk; i++) pathOk=file.startsWith(path[i])); } if (pathOk && ip.equals( InetAddress.getByName(url.getHost()).getHostAddress() )) return true;

7 Die Fehlererkennung Exception tioe = new FileNotFoundException("TimeOut"); Thread t=new Thread() { public void run() { uc.connect(); /* HeaderField ok ? 20* oder 30* ?*/ /* InputStream ok ?Content-Type ok ?*/ tioe=null; } t.start(); t.join(TIMEOUT); t.stop();

8 Aus der Spinne wird die Netzspinne Konfiguration über html-FormKonfiguration über html-Form Start als cgi-SkriptStart als cgi-Skript Ausgabe in htmlAusgabe in html Ergebnis als e-mailErgebnis als e-mail Statusinformation per JavaScriptStatusinformation per JavaScript Kontrolle via TCP/IPKontrolle via TCP/IP

9 Beispiel

10 Unvermeidbare Probleme ftp:, telnet:, mailto: usw.ftp:, telnet:, mailto: usw. 302 Redirect302 Redirect302 Redirect302 Redirect 403 Forbidden403 Forbidden cgi-Skriptecgi-Skriptecgi-Skripte

11 Einschränkungen DatenmengeDatenmenge bugsbugs

12 Resultat Technisch: leidlich stabilleidlich stabil Netzspinne ist einsetzbarNetzspinne ist einsetzbarPersönlich: ständiger Praxistestständiger Praxistest viel gelerntviel gelernt

13 That‘s all, folks!