Internet-Charakteristiken Burghard Güther, Christiane Wilke: Internet Charakteristiken Sommersemester 2000 Seminar „Suchmaschinen – Prinzipien und Algorithmen“, Peter K. Ibach Internet-Charakteristiken Qualitativ

Inhalt: Internet – Geschichte Protokolle im Internet (IP, TCP, serielle Protokolle) IP-Adressierung DNS Internet-Organisationen HTTP FTP Topologie Backbones Knoten

Internet: Geschichte Urprung im ARPANET (1969) dezentrale Kommunikationslösung, die auch unter ungünstigsten Umständen ein Maximum an Funktion gewährleistet statt Leistungsorientierte nun Paketorientierte Datenübertragung Daten werden in Pakete aufgeteilt, jedes Packet enthält Sendeadresse, Empfangsadresse und Sequenznummer, Vermitteln der Pakete von speziellen Computern (Routern) in Abhängigkeit von Verfügbarkeit, Verkehrsbelastung, Übertragungszeit (jedes Paket kann unterschiedlichen Weg nehmen) Verfahren wesentlich fehlertoleranter 1973 Internetprojekt – Versuch der Vereinigung von verschiedenen Implementationen paketorientierter Übertragungsmechanismen: Arpanet, Satelliten-Netzwerk, Funk-Netzwerk und Ethernet über TCP/IP verbunden (Ur-Internet) 1983 Umstellung der Arpanet-Knoten auf TCP/IP

OSI-7-Schichtenmodell (Kommunikationsprotokolle zwischen Computern) OSI-Schicht 1 –Bitübertragungsschicht (Physical Layer), z.B. RS 232 elektrische und mechanische Parameter der Übertragung OSI-Schicht 2 – Sicherungsschicht (Data Link Layer) Aufteilung der Daten in Datenpakete und Fehlerkontrolle OSI-Schicht 3 – Vermittlungsschicht (Network-Layer), z.B. IP, X.25, IPX Auswahl der Übertragungswege für Datenpakete OSI-Schicht 4 – Transportschicht (Transport-Layer), z.B. TCP, UDP, ATP Vermittlung der Datenformate zwischen Schicht 5 und Schicht 3 OSI-Schicht 5 – Sitzungsschicht (Session-Layer), z.B. DNS, NetBIOS, NetBEUI Verwaltung verschiedener Sessions OSI-Schicht 6 – Darstellungsschicht (Presentation-Layer) Konvertierung interner Darstellungsformate (z.B. ASCII) in Netzwerkdarstellung OSI-Schicht 7 –Anwendungsschicht (Application-Layer), z.B. Telnet, FTP ... Dienstprogramme, die über Netzwerk realisiert werden

IP: OSI-Schicht 3 Protokoll - verschickt Datenpakete zwischen zwei Computern, Transportmechanismen wie lokale Netze, Weitverkehrsnetze und serielle Übertragungsmethoden werden benutzt - paketorientiert, verbindungslos, nicht garantiert Besondere Merkmale: IP sieht Zerlegung in Unterpakete vor, wenn Paket der ursprünglichen Größe nicht übertragen werden kann – Pakete können von IP wieder zusammengesetzt werden Jedes Datenpaket hat ein TTL-Feld (time to life). Dieses gibt an, wie lange ein Paket im Internet unterwegs sein darf, bis es verworfen wird Bemerkung: Flag und Fragment-Offset für Zerlegung in Unterpakete Aufbau eines IP-Paketes, Quelle: Kyas94

TCP: OSI-Schicht 4 Protokoll - stellt virtuelle Verbindung zwischen zwei Computern im Internet her garantierte Übertragung Funktionsweise: TCP unterteilt Daten in Pakete (Standardgröße TCP 536 Bytes + 40 Byte IP-Header = Standardgröße IP 576 Bytes) jedes Paket trägt Segment-Nummer, Empfangsstation kann Vollständigkeit der Pakete prüfen und Reihenfolge wiederherstellen Vollständigkeit wird nur für Gruppen von Paketen (=Fenster) verschickt, bei erneuter Übertragung muß gesamtes Fenster wiederholt werden TCP-Port: Software-Adresse, die bestimmte Dienstprogramme auf Computer ansprechen z.B. 21 ftp, 23 telnet, 79 finger Aufbau eines TCP-Paketes, Quelle: Kyas94

Internet-Protokolle für die serielle Leitung SLIP (Serial Line Internet Protocol) einfaches Protokoll für Wählleitungen Nachteile: keine Adreßinformationen austauschbar (IP-Adressen müssen bekannt sein) nur ein Protokoll gleichzeitig übertragbar keine Fehlerkorrekturmechanismus (zwar über TCP/IP, aber ineffizient) PPP (Point to Point Protocol), RFC 1331, Dez. 1993 wesentlich komplexer als SLIP Möglichkeit der Zuweisung von Netzwerkadressen Unterstützung unterschiedlicher Netzwerkprotokolle (IP, IPX, DECnet...) Fehlerkorrektur

IP-Adressierung im Internet (IPv4): jeder Teilnehmer im Internet besitzt IP-Adresse, bestehend aus 4 Bytes, z.B. 141.20.20.1 IP-Adresse ist weltweit einmalig theoretisch 4,3 Milliarden Adressen, durch Reservierungen prinzipiell 3,7 Milliarden wird unterteilt in Netzidentifikation (net-id) und Benutzeridentifikation (host-id) Je nach Klasse (A, B, C) unterscheiden sich jeweils Länge der Teile: Quelle: Kyas94

Problem bei IPv4: Knappheit vor allem bei Klasse B-Adressen, da zugehörige Netzwerke kaum 65024 Hosts ausschöpfte, aber zu viele Netzwerke mit Bedarf größer 254 Hosts Zwischenlösung: 1993 Classless Interdomain Routing (CIDR) Zusatzprotokoll auf IP-Routern, die bestimmte Class-B- oder Class-C-Adressen zu einem Subnetz zu kombinieren. Besetzung des IPv4 Adreßraumes Der A-Klasse Adreßraum ist am dünnsten besiedelt, obwohl dort am meisten Adressen vorhanden (16 Millionen Hosts pro Adresse) Adressen sind vergeben z.B. an: IANA, Defensive Information System Agency, Intel, Apple ... Quelle: c‘t 9/99

Lösung des Problems: IPv6 Erweiterung von 32 auf 128 Bit 8 durch Punkte getrennte 16 Bit-Zahlen Aufspaltung in zwei Teile: erster Teil austauschbar, dient dem Routing zweiter Teil global eindeutige Identifizierung Großer Vorteil z.B. für Mobilfunkanwendung: jedes Endgerät kann sich in beliebigem Netz anmelden IPv6 soll IPv4 zwischen 2003 und 2005 ablösen

Domain Name System (DNS): In den Anfängen des Internet wurde jedem Computer neben seiner Adresse ein Namen zugeordnet. Eine Liste mit Namen und zugehörigen Adressen wurde dann regelmäßig an alle Rechner im Netz verteilt. 1986 enthielt die Namensliste 3600 Namen. Es wurde klar, dass durch die ständig wachsende Anzahl von Netzteilnehmern die lokale Adressenverwaltung dem nicht lange gerecht bleiben konnte. Die Domainnamen mussten hierarchisch strukturiert werden: [host.subdomain.]...subdomain.top-level-domain Bsp.: www.informatik.hu-berlin.de/ (Jede subdomain muß innerhalb ihrer domain eindeutig sein.) Um diese „aufwändigeren“ Internetadressen verwalten zu können, wurde ein dezentral verteiltes Directory-System benötigt. Es wird von bestimmten Servern (DNS-Servern) verwaltet. Das TCP/IP wurde 1986 um das DNS erweitert.

Domain Name System (DNS): Adressanfragen lokaler Systemen koennen nun vom dezentralen DNS-Server beantwortet werden. Wie findet der lokale DNS-Server eine Adresse? 1. der lokale DNS-Server kennt die Adresse, da es sich um eine Adresse auf dem lokalen Server handelt 2. der lokale DNS-Server kennt die Adresse, da bereits schon zuvor nach der Adresse gefragt wurde. Der DNS-Server behält die die gesuchte Adresse eine gewisse Zeit für spätere Suchanfragen (name caching) 3. der lokale DNS-Server kennt die Adresse noch nicht und muss sie erst herausfinden Zuerst kontaktiert er den root-Server. Dieser kennt alle Adressen der jeweiligen Top-Level-Domain-DNS-Server. Der root-Server kontaktiert dann die jeweilige Top-Level-Domain und erfragt dort die Adresse des entsprechenden Sub-Domain-DNS-Servers usw. Der lokale DNS-Server kontaktiert dann den so ermittelten DNS-Server und erfährt die Adresse des gesuchten hosts. Diese wird dann auch gecacht.

Domain Name System (DNS)

Domain Name System (DNS) Top-Level-Domains: com kommerzielle Einrichtungen edu Universitäten, Schulen... gov US-Regierung mil US-Militär org nicht-kommerzielle Einrichtungen net Netzwerk Ressourcen ISO-Ländercodes (z.B. de für Deutschland) Stammt noch aus der Zeit, da Internet hauptsächlich von Nordamerika geprägt war

Internet-Organisationen: Internet Society ISOC Internationale Gesellschaft zur Weiterentwicklung des Internets Nordamerikanischer Raum: Internet Architecture Board (IAB) Unterteilt in (Internet Engeneering Task Force) IETF und IRTF Internet Assigned Numbers Authority (IANA) Organisation für Vergabe von IP-Adressen und Top-Level-D. Internet Corporation for Assigned Numbers and Names (ICANN). neue Organisation für Verwaltung und IP-Adressen RIPE-NCC (Europa), APNIC (Asien) und ARIN (Nordamerika) Vergabe von Domains National Science Foundation (NSF) Amerikanisches Gegenstück zum DFN, Backbonebetreiber Internet-Standards: RFC – Request for comment (verwaltet von IAB)

Das HTTP-Protokoll einfaches und schnelles Protokoll zum Abrufen von Dateien HTTP 0.9 HTTP 1.0 (1992 - Mai 1996), RFC 1945 kein eigentlicher Standard,da von Servern und Browsern bestimmt, daher nur beschrieben einem Internet Draft von Tim Berners-Lee, Roy Fielding und Hendrik Nielsen HTTP 1.1 (1997 - Jul 1999), RFC 2616 IETF - Hypertext Transfer Protocol (HTTP) Working Group des W3C

Das HTTP-Protokoll Ablauf des Protokolls HTTP 0.9: TCP/IP-Verbindung (Port 80) Client schickt request der Form: get document.html?suchbegriff1+suchbegriff2 CRLF Server antwortet Response: File als ASCII-Stream Client sollte Antwort so schnell wie möglich lesen, also z.B. nicht auf User-Kommandos warten Fehler werden als normale HTML-Seite versandt; es gibt keinen Weg, einen gescheiterte Abfrage von einer geglückten zu unterscheiden Nach der Übertragung wird TCP/IP-Verbindung gekappt

HTTP 1.0: Nun nicht nur Übertragung der Datei, sondern Header mit zusätzlichen Informationen verschickt Möglichkeiten für weitere Optionen (request-fields im header) und Status-Codes Inhalts-Codierung (Content-Encoding), z.B. x-gzip, Länge (Content- Lenth), Content-Type, z.B. text/plain, text/html, image/gif Datum (Date), Datum der letzen Modifikation (Last-Modified), Verfallsdatum der Datei (Expires), Umleitung (Location) Caching-Direktiven (Pragma) von wem kommt die Anfrage (From) Abfrage des Datums der letzten Aktualisierung (If-Modified-Since) Angabe der Software (User-Agent), des Verweislinks (Referer) Client kann Request mit Authentifikation senden (Authorization) meist als Reaktion auf Server mit unauthorized respond (401) und Signalisierung des Parameters (WWW-Authenticate)

HTTP 1.0: Befehle über get hinausgehend: head (wie get, aber nur Header des HTTP-Protokolls) Senden von Daten (post), z.B. für Webformulare, Message für Diskussions-Foren, Datenbanken genau Interpretation von post vom Server zusätzliche Daten im MIME-Format möglich (für post)

HTTP 1.1: Neue request-Methoden: Speichern und Löschen von Files (put,delete,link,unlink) Frage nach Methoden (options) und debugging (trace) Verbindung wird nun nicht nach jeder gesendeten Datei unterbrochen sondern kann offengehalten werden; mehrer Requests gleichzeitig bearbeitbar Immer größeren Dateien Rechnung getragen durch byte-range-operations (Content-Range) - auch für seitenweises Abrufen von PDF Content negotiation - akzeptieren oder präferieren von bestimmten Filetypen (Accept), Formaten (Accept-encoding), Sprachen (Accept- Language) und Zeichensätzen (Charset) Bezahlung (Charge-To) besserer Cachingsupport (If-None-Match,If-Range, If-Unmodified-Since, Cache-Controle mit Werten wie: no-cache, no-store, max-age, max-stale, min-fresh, no-transform, only-if-cached) - nötig wegen zunehmend dynamischen Seiten verbesserte Authentifizierung (keine Klartext-Übertragung)

Beispiel für HTTP-Protokoll (1): tango bguether 27 ( ~ ) > telnet www.rz 80 Trying 141.20.1.45... Connected to webmania.rz.hu-berlin.de. Escape character is '^]'. HEAD /index.html HTTP/1.0 HTTP/1.1 200 OK Date: Mon, 29 May 2000 11:51:03 GMT Server: Apache/1.3.12 (Unix) PHP/3.0.15 Last-Modified: Tue, 16 May 2000 14:31:44 GMT ETag: "3aff5-18b8-39215bd0" Accept-Ranges: bytes Content-Length: 6328 Connection: close Content-Type: text/html Connection closed by foreign host.

Beispiel für HTTP-Protokoll (2): tango bguether 31 ( ~ ) > telnet www.rz 80 Trying 141.20.1.45... Connected to webmania.rz.hu-berlin.de. Escape character is '^]'. HEAD /index.html HTTP/1.1 HOST: bla.com CONNECTION: CLOSE HTTP/1.1 200 OK Date: Mon, 29 May 2000 12:28:26 GMT Server: Apache/1.3.12 (Unix) PHP/3.0.15 Last-Modified: Tue, 16 May 2000 14:31:44 GMT ETag: "3aff5-18b8-39215bd0" Accept-Ranges: bytes Content-Length: 6328 Connection: close Content-Type: text/html Connection closed by foreign host.

Beispiel für HTTP-Protokoll (1): tango bguether 63 ( ~ ) > telnet www.rz 80 Trying 141.20.1.45... Connected to webmania.rz.hu-berlin.de. Escape character is '^]'. HEAD /Newsletter/ HTTP/1.0 HTTP/1.1 301 Moved Permanently Date: Mon, 29 May 2000 13:20:59 GMT Server: Apache/1.3.12 (Unix) PHP/3.0.15 Location: http://www.hu-berlin.de/htdig/suche-rzmit.html Connection: close Content-Type: text/html; charset=iso-8859-1 Connection closed by foreign host.

FTP - File Transfer Protokoll: erster Filetransfer-Mechanismus 1971, um an Servern im M.I.T. implementiert zu werden (RFC114) definiert, um Dateien effizient und zuverlässig zwischen Rechnern zu übertragen und Daten ferngesteuert speichern zu können (RFC 430, 1973) Spezifikation für TCP (RFC 765) Standard: RFC 959 Oktober 1985

Merkmale: Transparenz für den Anwender Der User muß keine Kenntnis über das Betriebssytem haben, auf das er per FTP zugreifen will, es reicht aus, die FTP-Kommandos zu kennen. Der FTP-Server übernimmt dieUmsetzung der FTP-Befehle in die entsprechenden Kommandos des Betriebssystems. Zuverlässige und effizente Datenübertragung Mit FTP können verschiedene Dateitypen übertragen werden User FTP und Anonymous-FTP - bei User-FTP mit Loginnamen und Passwort anmelden: gleiche Zugriffsrechte, wie direktes einloggen auf Server bei Anonymous-FTP meist mit „Anonymous“ und EMailadresse als Passwort anmelden, Zugriff auf öffentlichen Teil des FTP-Servers – Dateien für alle Internet-Nutzer FTP benötig zwei separate TCP-Verbindungen: - für Kommandos und Antworten (command channel), Port 21, nach dem Telnet Protokoll für die Daten (data channel), Port und andere Parameter von Daten-Verbindung festgelegt Senden und Empfangen gleichzeitig auf data channel möglich (duplex)

ascii. Switch to ascii mode ascii Switch to ascii mode. Ascii mode is the default mode and used for transferring text files binary Switch to binary mode. For transferring binary files like .ZIP files, .Z files and the like cd Change the directory on the remote computer dir List the files in the current directory on the remote computer. ls Same as 'dir', but shows less information sometimes. get Copy a file from the remote computer to yours hash Puts a '#' on the screen for every <number> of bytes transferred. <number> is 1024 in some cases, 2048 in others but is between 1024 and 4096 in most cases. Check the ftp 'help' function for more info on the number for your clientprogram. help Gives help on the use of commands within the ftp program lcd Change the directory on your computer (the 'l' is for local) lpwd Shows the present working directory (pwd) on your computer (the 'l' is for local). Note: this may not work on all machines. On a Unix machine, try !pwd if lwpd doesn't work. mget Copy multiple files from the remote computer to yours pwd Shows the present working directory (pwd) on the remote computer

Topologie: Internet besteht aus vielen Netzwerken unterschiedlicher Größenordnung: Computerpool Fachbereich Informatik Humboldt-Universität zu Berlin Netzwerk zwischen Berliner Unis DFN-Netzwerk Knoten zu anderen Netzwerken (kommerziell) Daher gibt es keine Abbildung mehr der aktuellen Topologie des Internets, sondern nur der Teilnetze Bei den Hauptverbindungen von größeren Netzen spricht man von Backbones:

Backbone: DFN-Netz B-Win Quelle: http://www.dfn.de Hamburg Berlin Uni ER Uni WÜ KU EI Uni N Uni BT Nürnberg MPI München Stuttgart Köln Hamburg LRZ M Uni FF Uni K Uni W Uni E Uni DU GMD St.Aug Frankfurt Uni D Uni HA Karlsruhe FU B Uni Kiel DESY, DKRZ, TU HH GKSS, Uni BW, Uni HH Uni S Uni HRO TU BS Uni H Uni HAL Uni MD TU CLZ Uni OS TUB, HUB, ZIB, WISTA BBB, MPG, GMD Berlin Uni A Uni PA Uni P DWD TH DA Uni KS Uni F Uni BA Uni MR BA WE Uni J FH EF GwD GÖ Uni HI TU IL Uni OL DLR K Hannover FZ JÜL Uni Bo Uni DO Uni MS RWTH AC Uni R Uni HGW HS HWI FH NB FH HST IAP Uni L TU DD Uni KL TU C Uni LG Uni HB Uni BI Uni GI Uni BN Uni Si Uni PB Leipzig Uni HD Uni BW-M Backbone: DFN-Netz B-Win Quelle: http://www.dfn.de

Kommerzieller Backbone: Nacamar Quelle: http://www.nacamar.de

Kommerzieller Backbone: TCP/IP Quelle: http://www.tcpip-gmbh.de/

Europäischer Backbone: GTS Trans European Network (u.a. Ebone) Quelle: http://www.gtsgroup.com/

Internationaler Backbone: PSINet Quelle: http://www.psinet.com/

Notwendig: Datenaustauschknoten für verschiedene Netze bis 1995 gesamter innerdeutscher Verkehr über USA geroutet, da innerdeutsche Provider keine direkten Verbindungen hatten Deutscher Commercial Internet Exchange (De-CIX) Mehr als 60 Internet Service Provider (ISP) bilden Netzwerk innerhalb von Räumen des De-CIX und wickeln innerdeutschen Verkehr ab 85% des deutschen, 35% des europäischen Datenverkehrs über Knoten in Frankfurt Internationale Austauschpunkte: z.B. mae-east, mae-west, Linx London

Zugangstechniken und Preise: Nacamar Quelle: http://www.nacamar.de/

Literatur: Kyas94: Othmar Kyas, Internet: Zugang, Utilities, Nutzung, Datacom-Verlag, 1994 Ed Krol, The whole internet: User‘s Guide &Catalog, O‘Reilly &Associates, Inc., 1994 c‘t 9/99: Richard Sietmann, Nummernspiele: Ressourcenkonflikte um Namen und Adressen bleiben ein Politikum, c't 9/99, Heise Verlag, S.180 Netplanet: http://www.netplanet.org/ De-CIX: http://www.eco.de/ Nacamar: http://www.nacamar.de/ GTS: http://www.gtsgroup.com/ DFN: http://www.dfn.de/ W3C: http://www.w3c.org/ Und andere Internet-Sourcen...