Ofte bruges betegnelserne “indeksere” og “crawle” side om side, men det er faktisk forkert, set ud fra et teknisk standpunkt.
Når søgemaskinerne crawler dit site, betyder det, at deres søgerobotter (crawlere) besøger dine sider, følger links, finder keywords etc.
Indeksering sker derimod allerede, når søgerobotterne gøres bekendt med din side. Dette kan for eksempel ske ved, at søgerobotten er igang med at crawle et site, der linker til en af dine sider.
Eksempel
Du har netop startet en ny hjemmeside på dinside.dk. Du får i den forbindelse din kammerat til at linke til dinside.dk fra hansblog.dk.
Hansblog.dk bliver rimelig ofte opdateret, så søgemaskinerne sender sine robotter ud for lige at tjekke, om der er kommet nyt på hansblog.dk.
Søgerobotten crawler hansblog.dk, og opdager linket til dinside.dk, og dinside.dk bliver skrevet ind i søgemaskinens indeks – dinside.dk bliver indekseret.
Senere sender søgemaskinen så sin søgerobot over for at gennemgå din side dinside.dk – dinside.dk bliver crawlet.