Robots.txt, también conocido como «Robots Exclusion Standard» o «robots.txt protocol«, es un archivo de texto estándar que indica a los robots de los motores de búsqueda qué rastrear e indexar de una pagina web. Por ejemplo, a través de robot.txt puedes indicar a un motor de búsqueda que no indexe ciertos archivos o carpetas dentro de su sitio. Puede ser útil, por ejemplo, utilizar este archivo para evitar indexar material inútil al posicionamiento o fuera de tema presente en el sitio, ahorrando así tiempo al robot.