R

Robots.txt

El fichero robots.txt es un archivo de texto que indica unas recomendaciones para que los robots de los buscadores (crawlers) cumplan, es decir, permiten indicar a los motores de búsqueda que información tienen que indexar y que no.
Un crawler, también llamados spiders, arañas, bots o indexadores, son unos robots que acceden a las páginas web para buscar, recopilar y almacenar la información del sitio. Cuando uno de estos crawlers explora un sitio web lo primero que hace es buscar el archivo robots.txt en la raíz del sitio, para seguir las indicaciones. Leer más

Deja un comentario

Tu dirección de correo electrónico no será publicada. Los campos necesarios están marcados *