Les crawlers (syn. de spiders) sont mes cousins dans la mesure où ils ont pour mission d'assister l'internaute. Chaque moteur de recherche en texte intégral possède son propre crawler. Ce dernier "crawle" ou littéralement "rampe" à la recherche de documents sur le web. C'est un robot qui parcoure l'ensemble du web 24h/24 à la recherchent des nouveaux documents et réalise des copies de ces documents dans une base de données.

Ensuite, un retournement d'index est effectué: d'une base de données structurée autour des documents, on passe à une base de données structurée autour des mots-clés. C'est ce qui permet à l'internaute de réaliser des recherches par mot-clé.