Daugelis interneto svetainių savininkų turbūt nė neįtaria, jog didžioji dalis duomenų srauto į jų svetaines sugeneruoja įvairaus pobūdžio robotai. Savo ruožto, įvertinti nereikalingo ir netgi kenksmingo duomenų srauto mastus įvertinti gana keblu, kadangi nei „Google Analytics“, nei kitos priemonės tokio pobūdžio duomenų srauto nevertina.

Vis tik šia problema pabandė užsiimti kompanija Incapsula, kuri atliko maždaug 1000 interneto svetainių monitoringą. Kiekvieną iš jų kasdien aplankydavo nuo 50 000 iki 100 000 žmonių. Jei tikėti gautais duomenimis, apie 51 % tinklalapių duomenų srauto sugeneruoja įvairūs robotai, tuo tarpu net iki 31 % sugeneruoja potencialiai pavojingos programos.

Tinklalapius, priklausančius didelėms ir mažoms kompanijoms, gana dažnai atakuoja įvairūs automatizuoti įsilaužimo instrumentai. Taip siekiama surasti pažeidžiamumų, per kurį pavyktų įsilaužti ir perimti tinklalapio valdymą, pavogti konfidencialius duomenis ir išplatinti kenkėjišką kodą. Incapsula duomenimis, įsilaužimo instrumentų generuojamas duomenų srautas vidutiniškai sudaro apie 5 % viso srauto.

Dar 5 % srauto sugeneruoja „scraper“ tipo programos, renkančios el. pašto adresus ir turinį. Dauguma tokių instrumentų reguliariai peržiūri forumus, naujienų puslapius ir svetaines, skirtas kelionėms. Surinkti el. pašto adresai vėliau naudojami el. šiukšlėms (spam) siuntinėti, o tinklalapių turinys – automatiniam kitų puslapių užpildymui.

Tinklalapiai, leidžiantis komentuoti, ypatingai populiarūs tarp automatizuotų robotų. Jei svetainėje nėra jokios apsaugos nuo el. šiukšlių, kur talpinami komentarai, arba ji labai silpna, interneto puslapis po truputį užsipildo el. šiukšlėmis, kol galiausiai jis gali būti visiškai išbrauktas iš paieškos rezultatų, pavyzdžiui, Google Search, Bing, Yahoo ir t. t.. El. šiukšles siuntinėjančių robotų generuojamas duomenų srautas vidutiniškai sudaro apie 2 % viso srauto.

Gana žymią dalį duomenų srauto generuoja robotai, užsiimantys vadybos žvalgyba ir įvairios teminės informacijos rinkimu – tokie robotai atsakingi už maždaug 19 % viso duomenų srauto.

Taigi kompanijos Incapsula tyrimas byloja, jog tinklalapių savininkams ir administratoriams derėtų atidžiau analizuoti „negyvą“ duomenų srautą ir blokuoti nepageidaujamus robotus.