wissen.science-and-fun.de
Robots, Spider und Crawler - Steffen's Wissensblog
Robots, Spider und Crawler – Suchmaschinen im Internet Die Suchmaschinen im Internet basieren auf automatischen Programmen, die den Inhalt von Internetseiten analysieren, die darin enthaltene Textinformation in einer Datenbank indizieren und die in ihr enthaltenen Verweise auf weitere Dokumente benutzen, um sich durch das Internet fortzubewegen. Solche Programme werden daher auch als Robots, Spider oder …