Deep Web Die dunkle Seite des Internets

Die Masse der Daten im Internet ist für einen einzelnen Menschen nicht fassbar. Dabei sehen normale Web-Nutzer über Google und andere Suchmaschinen gerade einmal die Oberfläche. Eine US-Firma will die dunkle Seite des Webs aber auch für Unternehmen und Forscher erschließen.
  • Stephan Dörner
Kommentieren
Vor Google verborgen: Große Teile des Webs sind für Suchmaschinen nicht indexierbar. Quelle: dpa

Vor Google verborgen: Große Teile des Webs sind für Suchmaschinen nicht indexierbar.

(Foto: dpa)

DÜSSELDORF. Bereits vor Jahren haben die Suchmaschinen aufgehört, die Zahl der indexierten Seiten auszuweisen. "Die Größe des Indexes scheint für die großen Suchmaschinenanbieter kein sehr wichtiges Qualitätskriterium mehr zu sein", sagt Philipp Mayr, Professor an der Hochschule Darmstadt im Fachbereich Media. Dennoch bleibt den Suchmaschinen der größte Teil des Webs nach wie vor verborgen. Schätzungen gehen davon aus, dass Google und andere Suchmaschinen nur ein Hundertstel der vorhandenen Datenmengen erfassen. Wie groß die Menge tatsächlich ist, weiß allerdings niemand.

"Es gibt meines Wissens keine seriösen aktuellen Schätzungen oder Studien über die Größe des Deep Webs", sagt Mayr. Die letzte umfangreiche empirische Studie stammt aus dem Jahre 2001 von Michael Bergman. Er vermutete, dass die Größe des Deep Webs um 400- bis 550-mal größer ist als das zugängliche von Suchmaschinen erfasste Web. Dabei handle es sich allerdings um eine sehr ungenaue und einfache Schätzung, so Mayr. Andere Fachleute wie Rüdiger Schneemann von der TU Berlin sprichen von Schätzungen, nach denen das Deep Web um den Faktor zehn bis 50 größer ist als die erfassten Inhalte. "Die Zahlen sind bestimmt angreifbar; sicher aber ist, dass trotz allem die überwiegende Menge an Informationen nicht im Web zu finden ist", so Schneemann.

Bei den Deep-Web-Inhalten handelt es sich um Daten, die entweder nicht kostenlos öffentlich sind oder aus technischen Gründen von Suchmaschinen nicht erfasst werden können. Nicht alle diese Daten sind für den normalen Nutzer überhaupt interessant. "Der größte Teil der Daten, der nicht von Suchmaschinen indexiert wird, sind sicher nach wie vor der Bereich Real-Time Daten, z.B. bei Aufzeichnungen des Wetters, oder in datenintensiven Experimenten z.B. in der Physik", so Mayr. "Es ist aber sehr fraglich ob diese Daten für den allgemeinen Webnutzer sinnvoll zu nutzen sind und in Suchmaschinen verfügbar sein müssen."

Ohne Links sind Suchmaschinen blind

Inhalte des Webs landen auf zwei Arten in den Datenbanken der Suchmaschinen. Entweder der Autor der Website meldet den Inhalt manuell bei der Suchmaschine an oder die Suchmaschine findet ihn mittels sogenannter Robots über Links, die auf andere Seiten verweisen. Dabei hangeln sich die Robots von Website zu Website und folgen den jeweiligen Links. Webseiten, die weder verlinkt noch manuell gemeldet werden, bleiben so unentdeckt.

Einen weitaus größeren Teil des Deep Webs stellen allerdings Inhalte dar, die nur angemeldeten Usern zugänglich sind. Ohne weiteres nicht erfasst werden können außerdem Inhalte aus öffentlich zugänglichen Datenbanken, bei denen aber erst ein Suchwort eingegeben werden muss. Googles Index selbst gehört damit im Grunde genommen selbst zum Deep Web - laut Bushee wahrscheinlich sogar die größte einzelne Quelle des Deep Webs.

Die wichtigsten Neuigkeiten jeden Morgen in Ihrem Posteingang.
Seite 123Alles auf einer Seite anzeigen

Mehr zu: Deep Web - Die dunkle Seite des Internets

0 Kommentare zu "Deep Web: Die dunkle Seite des Internets"

Das Kommentieren dieses Artikels wurde deaktiviert.

Serviceangebote
Zur Startseite
-0%1%2%3%4%5%6%7%8%9%10%11%12%13%14%15%16%17%18%19%20%21%22%23%24%25%26%27%28%29%30%31%32%33%34%35%36%37%38%39%40%41%42%43%44%45%46%47%48%49%50%51%52%53%54%55%56%57%58%59%60%61%62%63%64%65%66%67%68%69%70%71%72%73%74%75%76%77%78%79%80%81%82%83%84%85%86%87%88%89%90%91%92%93%94%95%96%97%98%99%100%