Robots.txt es un archivo de texto que los webmasters crean para indicar a los robots (también conocidos como rastreadores o arañas web) qué partes de su sitio web deben ser rastreadas e indexadas por el motor de búsqueda. El Protocolo de Exclusión de Robots, que es el estándar utilizado por robots.txt, ayuda a garantizar que ciertas áreas sensibles de un sitio web no sean rastreadas e indexadas, como las páginas protegidas por contraseña o las versiones de desarrollo de un sitio en vivo. Robots.txt también puede utilizarse para indicar a los robots la frecuencia con la que deben rastrear una página determinada, y si deben rastrearla en absoluto. Aunque Robots.txt no es un método infalible para evitar que su sitio sea indexado, generalmente es respetado por la mayoría de los robots y puede ser una herramienta útil para controlar cómo aparece su sitio en los resultados de los motores de búsqueda.