Un crawler es un programa propiedad de un motor de búsqueda, también conocido como «araña» o «robot», que explora sistemáticamente los sitios web y lee las páginas y su contenido para su indexación. En el contexto del SEO, los rastreadores son importantes para determinar la relevancia de un sitio y posicionarlo en los resultados de búsqueda web para una palabra clave específica. Los rastreadores son muy activos y pueden visitar un sitio web varias veces al día, buscando actualizaciones. El crawler más famoso es el de Google, conocido como Googlebot.