Robots.txt ima zelo pomebno vlogo pri visokih uvrstitvah spletnih strani v iskalnikih vendar pa šezmeraj se najde ogromno spletni strani, ki ga ne uporabljajo ozirma ga zelo slabo. Robots.txt je dokument, ki iskalniškim pajkom narekuje kako naj pregledajo vašo spletno strani. (več…)