Bekerülés az indexbe

A legfontosabb keresőmotorok (a Google, Yahoo és az MSN) úgynevezett crawlereket használnak a feltérképezendő weboldalak beindexelésére. Ezek a robotok a hivatkozások mentén, egyfajta robotizált böngészőként járják a webet és regisztrálják a talált oldalak tartalmát, hivatkozásait, illetve gyűjtik össze az új weboldalakat. Ez azt jelenti, hogy azok az oldalak, melyekre a már a keresőkben megtalálható bármely oldalról mutat legalább egy hivatkozás, automatikusan belekerülnek a keresők adatbázisába, velük kapcsolatban semmilyen további teendő sincs. Vannak azonban olyan weboldalak, különösen a dinamikusan, régebbi szerkesztőségi rendszerek által generáltak között, melyeket a keresők nem indexelik be. Ennek oka lehet, ha a crawler nem tudja felmérni, hogy a generált dinamikus lapok száma mekkora lehet. Miután nem akar végtelen ciklusba kerülni, adott mélység után megáll.