Suchmaschinen Bots, Spiders, Engines Am Beispiel.

Präsentation zum Thema: "Suchmaschinen Bots, Spiders, Engines Am Beispiel."—  Präsentation transkript:

1 Suchmaschinen Bots, Spiders, Engines Am Beispiel

2 14.05.2003jochen.koubek@hu-berlin.de2 Suchmaschinen- Klassifikation Themenkataloge –Yahoo, Web.de Indizes –Lycos, AltaVista, Excite, Google Besprechungsdienste –Webcrawler, Webtip Meta-Suchsysteme –MetaCrawler, Apollo7 Spezialisierte Maschinen –IMDB, OPAC

3 14.05.2003jochen.koubek@hu-berlin.de3 Suchtechnologien Datenbestand aufbauen Sammeln (Harvesting) Indizieren Anfrage bearbeiten Ergebnisliste Gewichten (Ranking) Sortieren Ausgabe

4 14.05.2003jochen.koubek@hu-berlin.de4 Rankingmethoden http://www.suchfibel.de/5technik/ranking.htm http://www.suchfibel.de/5technik/ranking.htm Qualität der Dokumente –Schlüsselworte, –Vorkommen –MetaTags Listing gegen Geld (Sponsored Links) –Werbebanner –ADWords – Verdeckte Positionierung Nutzerverhalten –Sammlungen (Clever) –Klickhäufigkeit (Direct Hit) –Verwandte Dokumente (Alexa) –Verlinkungshäufigkeit

5 14.05.2003jochen.koubek@hu-berlin.de5 Graphenstruktur des Netzes http://www.almaden.ibm.com/cs/k53/www9.final/ http://www.almaden.ibm.com/cs/k53/www9.final/ RegionSCCINOUTTENDRILSDISC.Total Size56,463,99343,343,16843,166,18543,797,94416,777,756203,549,046

6 14.05.2003jochen.koubek@hu-berlin.de6 Google – Timeline http://www.google.com/corporate/timeline.html http://www.google.com/corporate/timeline.html 1995 S. Brin und L. Page beginnen ihr Forschungsprojekt. 1997 BackRub. 1998 täglich 10.000 Anfragen. 1999 8 Angestellte, täglich 3 Mio. Anfragen. 2000 Nicht-Englische Oberfläche, Täglich 18 Mio. Anfragen. Jan. 2001 tgl. 100 Mio Anfragen. Phonebook. Juli 2001 Bildsucher. Okt. 2001 Dateitypen. Dez. 2001 3 Mrd. Webseiten indiziert. Google News, Catalog, Zeitgeist. 2002 Hardware, Compute, Toolbar, Labs, Program Contest.

7 14.05.2003jochen.koubek@hu-berlin.de7 Google – PageRank United States Patent- 6,285,999

8 14.05.2003jochen.koubek@hu-berlin.de8 Google - Technik http://www.google.com/appliance http://www.google.com/appliance RAIS – Redundant Arrays of Inexpensive Servers 10.000 Server auf Linux-Basis jeder –60 Anfragen/Minute –Einschränkung auf 150.000/300.000 Dokumente

9 14.05.2003jochen.koubek@hu-berlin.de9 Google – Dance http://www.google-dance.com/

10 14.05.2003jochen.koubek@hu-berlin.de10 Google – Kunden http://www.google.com/press/customers.html http://www.google.com/press/customers.html Yahoo EarthLink Palm Nextel Netscape Cisco Virgin RedHat

11 14.05.2003jochen.koubek@hu-berlin.de11 Google im Markt http://www.searchenginewatch.com/reports/article.php/2156451 http://news.com.com/2009-1023-963618.html http://www.searchenginewatch.com/reports/article.php/2156451 http://news.com.com/2009-1023-963618.html Suchstunden

12 14.05.2003jochen.koubek@hu-berlin.de12 Google - Funktionen http://www.google.com/appliance/features.html http://www.google.com/appliance/features.html Zusammenfassung Ergebnisgruppierung HTML-Sicht Autokorrektur Cache Trefferhervorhebung Sortieren nach Datum

13 14.05.2003jochen.koubek@hu-berlin.de13 Google – Suche + Inklusion - Exklusion ganzer Satz OR Sprache Datum

14 14.05.2003jochen.koubek@hu-berlin.de14 Spezialsuche http://www.google.com/help/features.html http://www.google.com/help/operators.html http://www.google.com/help/features.htmlhttp://www.google.com/help/operators.html Cached Links* View a snapshot of each page as it looked when we indexed it. Dictionary Definitions View a dictionary definition for any or all parts of your query. File Types* Search for non-HTML file formats including PDF documents and others. I'm Feeling Lucky* Bypass our results and go to the first web page returned for your query. News Headlines* Enhances your search results with the latest related news stories. PhoneBook Look up U.S. street address and phone number information. Similar Pages* Display pages that are related to a particular result. Site Search* Restrict your search to a specific site. Spell Checker* Offers alternative spelling for queries. Stock Quotes Use Google to get stock and mutual fund information. Street Maps Use Google to find U.S. street maps. Web Page Translation* Provides English speakers access to a variety of non-English web pages. Who links to you?* Find all the pages that point to a specific URL.

15 14.05.2003jochen.koubek@hu-berlin.de15 Google – Zeitgeist http://www.google.com/press/zeitgeist.html

16 14.05.2003jochen.koubek@hu-berlin.de16 Google – Optionen http://www.google.com/options/index.html http://www.google.com/options/index.html Web Search Web Directory Groups Images News Answers Labs Special Searches (.edu, Mac, Linux, BSD) Wireless Froogle Catalogs Safe Search

17 14.05.2003jochen.koubek@hu-berlin.de17 Google – Dateiformate http://www.google.com/help/faq_filetypes.html http://www.google.com/help/faq_filetypes.html Adobe Portable Document Format (pdf) Adobe PostScript (ps) Lotus 1-2-3 (wk1, wk2, wk3, wk4, wk5, wki, wks, wku) Lotus WordPro (lwp) MacWrite (mw) Microsoft Excel (xls) Microsoft PowerPoint (ppt) Microsoft Word (doc) Microsoft Works (wks, wps, wdb) Microsoft Write (wri) Rich Text Format (rtf) Text (ans, txt)

18 14.05.2003jochen.koubek@hu-berlin.de18 Google – Werkzeuge http://www.google.com/options/index.html http://www.google.com/options/index.html Google in Your Language Browser Buttons Toolbar Übersetzung von Webseiten Web APIs, Google Hacks Google Compute

19 14.05.2003jochen.koubek@hu-berlin.de19 Google Sekundärseiten Google - Whack Google - Dance Google - Alert Google - Watch Google - Hacks Google - Forum Google - Weblog ChillingEffects

20 14.05.2003jochen.koubek@hu-berlin.de20 Google – Kritik http://www.google-watch.org http://google.blogspace.com/ http://www.google-watch.org http://google.blogspace.com/ 2003-02-21 (BBC) "The much-praised reputation mechanism that is supposed to ensure that bloggers remain true, honest and factually-correct is, in fact, just the rule of the mob, where those who shout loudest and get the most links are taken more seriously. It is the online equivalent of saying that The Sun newspaper always tells the truth because four million people read it, and The Guardian is intrinsically less trustworthy as it only sells half a million." Unsterbliche Cookies Datenspeicherung Cache-Kopie Kooperation mit NSA Linkfarms Search King Zensur, z.B. Scientology, Nazi-Propaganda China

21 14.05.2003jochen.koubek@hu-berlin.de21 googlende