Crawl bots in Google AnalyticsDoor Jacco van Lith - 15 May 2015

Veel mensen gebruiken Google Analytics voor bijna alle data die ze nodig hebben over de bezoekers van een website. Dan is het natuurlijk van groot belang dat deze data klopt. Helaas kampt Google Analytics al een tijdje met bots die zich voordoen als bezoekers van referral websites. Dit zijn voor sommige websites soms wel tientallen bezoekers per dag extra waardoor ook direct tot wel 20% van de bezoekers bots zijn in plaats van mensen die echt geïnteresseerd zijn in de website zelf.

Wat is een spam bot?
Spam bots kunnen voor veel doeleinden worden ingezet. Over het algemeen is een spambot een geautomatiseerd computer programma dat is ontworpen te helpen bij het verzenden van spam of verkrijgen van data. In het geval van websites crawlen zijn er twee mogelijkheden waarvoor de bots worden ingezet. Eén type bot is op zoek naar informatie of naar gaten in de beveiliging van websites. Wanneer ze deze informatie hebben gecrawld (zoals bijvoorbeeld e-mail adressen), kan de maker van de bot deze data gebruiken om malafide mails aan te versturen. 

Waarom maakt iemand deze spam bots?
De andere soorten bots crawlen voornamelijk om zichtzelf bekend te maken bij de gebruikers van Google Analytics. Dit zijn de Referrer Spam Bots. Eén van de ‘bekendste’ Russische spam bot programmeur is de Russische Vitaly Popov. Hij is de persoon achter bijvoorbeeld de darodar en ilovevitaly spam bots. Doordat deze bots over het internet crawlen is er een grote kans dat webmasters deze websites tegenkomen bij hun referral kanaal in Google Analytics. Wanneer je als webmaster kijkt wat voor een soort website het is, word je met een redirect doorverwezen naar een webshop. In dit geval vaak Alibaba. De webshop plaats een cookie op je computer die zegt dat jij via één van Vitaly’s websites binnen bent gekomen. De volgende keer dat iemand met die computer iets bestelt op die webshop, krijgt de spam bot bouwer op affiliate basis een percentage van het uitgegeven bedrag.

De in Nederland meest bekende Spam Bots
Naast de bots van Vitaly Popov zijn er nog meer mensen die deze crawlers maken. Hier een lijstje van de meest bekende:

  • buttons-for-website.com

  • cenoval.ru 

  • darodar.com 

  • hulfingtonpost.com 

  • ilovevitaly.co 

  • ilovevitaly.com 

  • ilovevitaly.ru 

  • o-o-6-o-o.ru 

  • o-o-8-o-o.ru 

  • semalt.com 

  • semalt.semalt.com 

Wat doe je aan Referral Spam Bots in Google Analytics?
Deze bots kunnen op twee manieren worden tegengegaan. De ene is het uitsluiten van de bots in de data van Google Analytics. Dit doe je in het menu bij het Admin panel. Onder property ga je naar Tracking Info en kiest voor Referral Exclusion List. Hier vul je de ongewenste websites in.
De tweede optie is een htaccess file maken waarbij je de spam bots al tegenhoudt voordat ze de website op komen. Beide manieren zijn niet 100% waterdicht maar helpen een hoop om je data zo accuraat mogelijk te houden.