El buscador Google se vale de su robot de búsqueda GoogleBot para recorrer internet buscando y coleccionando sitios que luego serán indexados por Google. GoogleBot analiza página por página recolectando información para la base de datos y recorriendo también todos los enlaces que encuentra, logrando abarcar una buena cantidad de sitios a partir de una página inicial. Por esta forma de recorrer la red es que estos robots son generalmente denominados spiders (arañas). Si un administrador no quiere que su sitio o alguna página en particular sean analizadas por los robots de búsqueda, tiene la opción de agregar un archivo robots.txt que marca a los spiders cuáles partes del sitio no deben ser analizadas o indexadas.
