Robots sind Computer, die systematisch Internetseiten durchsuchen. Dies geschieht meist zum Aufbau eines Internetverzeichnisses. So benutzen Suchmaschinen wie Google Robots, um Internetseiten für ihre Datenbank zu erfassen und die Inhalte auf Veränderungen zu überprüfen.