lluiscodina.com
Google para Periodistas (1): Cómo encuentra la información o una historia de arañas y rastreadores
Un spider (araña) o un crawler (rastreador) es un programa que explora la Web de forma sistemática con dos objetivos: (1) interactuar con servidores de sitios web para encontrar información y (2) obtener nuevas direcciones (URL) para añadir a su lista de enlaces pendientes de revisar. Las expresiones crawler, spider yrobot (en este contexto) son equivalentes