El fichero robots.txt es un herramienta fundamental para la página web que pretende ser bien posicionada por los buscadores como Google . Sirve como una mapa para los bots, indicándoles qué páginas de tu plataforma pueden están crawleadas y cuáles evitar. Una correcta configuración de este archivo puede a evitar problemas de indexación , op