El archivo robots.txt es un archivo que se coloca en el directorio raíz de un sitio web donde se indica de manera explícita a los robots de los buscadores, cuáles páginas o archivos no deben ser indexados.