Im Rahmen des OpenWebSearch.eu Projektes crawled der Lehrstuhl für Data Science Teile des WWW.

Dazu finden einige Crawler Experimente unter dem Agent String: OSAlphaXCrawl bzw. hgfAlphaXCrawl/1.0 statt.

Neben den Inhalten sollen auch noch einige statistische Daten gesammelt werden, wie z.B. durchschnittliche Größe der Webseiten, Größe des Netto-Textinhalts der Seiten und Verbindungenstruktur zwischen Webseiten (z.B. Anzahl der ausgehenden Links pro Seite).

Weitere Details zum OpenWebSearch.eu Projekt und den Crawling Aktivitäten finden sie auf http://www.openwebsearch.eu