Uitgevers en adverteerders worstelen met de uitdaging om de toename van botverkeer (ook wel niet-menselijk verkeer genoemd) tegen te gaan.
Bots waren in de eerste helft van 2021 goed voor bijna twee derde van het wereldwijde internetverkeer, blijkt uit onderzoek van gegevensbeveiligingsdienstverlener Barracuda Networks. Kwaadaardige bots waren daarentegen goed voor bijna 40% van al het verkeer.
Botverkeer is een belangrijk onderdeel van digitale advertentiefraude . De kosten hiervan zullen naar verwachting stijgen van $ 35 miljard in 2018 tot $ 100 miljard in 2023.
Met dit in gedachten hebben we in dit artikel geprobeerd om een aantal belangrijke vragen over botverkeer te beantwoorden, waaronder wat het is, wat het doet en hoe u het kunt blokkeren/verwijderen.
Wat is botverkeer?
Botverkeer beschrijft al het niet-menselijke verkeer dat een website bezoekt. Of het nu gaat om een enorm populaire nieuwssite of een kleine, net opgerichte startup, de site zal in de loop der tijd ongetwijfeld door een bepaald aantal bots worden bezocht.
Hoewel de term botverkeer vaak ten onrechte als inherent schadelijk wordt geïnterpreteerd, is dit niet altijd het geval. Het lijdt geen twijfel dat botverkeer deels zo is ontworpen dat het kwaadaardig is en Google Analytics-gegevens negatief kan beïnvloeden. Deze webcrawlers kunnen worden gebruikt voor credential stuffing, data scraping en in sommige gevallen zelfs voor het uitvoeren van DDoS-aanvallen (Distributed Denial of Service).
Er bestaan echter legitieme bots die essentieel zijn voor de werking van specifieke webdiensten, zoals zoekmachines en digitale assistenten. Daarom moeten digitale uitgevers hun analysegegevens gebruiken om onderscheid te maken tussen menselijk gedrag en de goede, de slechte en de lelijke kanten van botverkeer.
Soorten bots waar je op moet letten
Zoals gezegd zijn specifieke bots nodig voor de werking en optimale prestaties van zoekmachines en digitale assistenten. Specifieke zoekmachinebots zijn echter expliciet ontworpen om geen schade toe te brengen aan websites en de gebruikerservaring.
De soorten botverkeer waar u op moet letten, zijn onder andere:
Klikbots
Klikbots, die worden gebruikt bij klikspam , genereren frauduleuze advertentiekliks. Voor de meeste webuitgevers, met name degenen die pay-per-click (PPC)-advertenties gebruiken, wordt dit beschouwd als het meest schadelijke type bot. Dit komt doordat klikbots de data-analyse vertekenen en webverkeer repliceren, wat advertentiebudgetten zonder enig voordeel uitholt.
Bots downloaden
Net als klikbots verstoren downloadbots ook de echte gegevens over gebruikersbetrokkenheid. In plaats van het aantal klikken op advertenties te beïnvloeden, creëren ze echter een vals downloadaantal. Dit is met name relevant wanneer een uitgever een marketingfunnel gebruikt, zoals het downloaden van een gratis e-book. Downloadbots creëren een nepdownload, wat leidt tot valse prestatiegegevens.
Spambots
Spambots, ook wel formulierinvulbots genoemd, zijn de meest voorkomende bots. Het doel van een spambot is vaak om contactgegevens, zoals e-mailadressen en telefoonnummers, te verzamelen, nepaccounts aan te maken of gestolen socialemedia-accounts te beheren. Ze verstoren ook de interactie met gebruikers door het verspreiden van ongewenste content, zoals:
- Spamreacties, inclusief verwijzingsspam
- Phishing-e-mails
- Website-omleidingen
- Negatieve SEO ten opzichte van concurrenten
Spionagebots
Spybots worden zo genoemd omdat ze precies op die manier handelen: als spionnen. Ze stelen gegevens en informatie, zoals e-mailadressen van websites, chatrooms, socialemediasites en forums.
Schraperbots
Scraperbots bezoeken websites met als enig doel de content van uitgevers te stelen. Scraperbots kunnen een reële bedreiging vormen voor een bedrijf en zijn webpagina's. Ze worden gemaakt door externe scrapers en worden door concurrenten ingezet om waardevolle content te stelen, zoals product- en prijslijsten, die vervolgens worden hergebruikt en gepubliceerd door concurrerende websites.
Imposter-bots
Imitatiebots bootsen menselijk gedrag na door zich voor te doen als echte websitebezoekers. Ze proberen online beveiligingsmaatregelen te omzeilen en zijn meestal verantwoordelijk voor DDoS-activiteiten.
Wat is goed botverkeer?
De bovenstaande voorbeelden zijn ongetwijfeld gevallen van schadelijk botverkeer. Wat zijn enkele voorbeelden van goed botverkeer?
De volgende bots zijn legitiem en zijn er om nuttige oplossingen te bieden voor websites en applicaties.
Zoekmachinebots
Zoekmachinebots zijn de meest voor de hand liggende en bekendste van de 'goede' bots. Zoekmachinebots crawlen het web en helpen website-eigenaren om hun websites te laten verschijnen in de zoekresultaten van Google, Yahoo en Bing. Deze bots zijn handige SEO-tools .
Bots monitoren
Monitoringbots helpen uitgevers ervoor te zorgen dat hun website gezond en toegankelijk is en optimaal presteert. Monitoringbots pingen de website automatisch om te controleren of deze nog steeds online is. Als er iets kapotgaat of de website offline gaat, wordt de uitgever automatisch op de hoogte gesteld, wat deze bots zeer nuttig maakt voor website-eigenaren.
SEO-crawlers
SEO-crawlers zijn software die een website en die van concurrenten ophaalt en indexeert om gegevens en analyses te leveren over paginaweergaven, gebruikers en content. Webbeheerders kunnen deze rapporten vervolgens gebruiken om hun content te plannen en zo hun verwijzingsverkeer, zichtbaarheid in zoekmachines en organische verkeer te verbeteren.
Auteursrechtbots
Copyrightbots crawlen het internet af op zoek naar afbeeldingen waarop auteursrecht rust. Zo willen ze voorkomen dat iemand onrechtmatig auteursrechtelijk beschermde inhoud zonder toestemming gebruikt.
Wat is slecht botverkeer?
In tegenstelling tot de goede bots die we zojuist hebben besproken, kan slecht botverkeer veel schade aanrichten op je website en zelfs schade aanrichten als je het niet controleert. Dit kan zich uiten in het sturen van vals of spamverkeer naar iets veel verstorender, zoals advertentiefraude.
DDoS (Denial of Service)-netwerken
De DDoS-bot is waarschijnlijk een van de oudste en meest kwaadaardige bots die er zijn.
Deze software staat bekend als Distributed Denial of Service-bots. Deze worden op de computers van nietsvermoedende slachtoffers geplaatst en hebben als doel een specifieke website of server plat te leggen.
DDoS-aanvallen zijn in het verleden vaak verantwoordelijk geacht voor aanzienlijke financiële schade. Netwerkbeveiligingsdienstverlener Corero schat dat een dergelijke aanval in de VS gemiddeld zo'n $ 218.000 kost .
Webscrapers
Webscrapers scrapen webpagina's op zoek naar waardevolle gegevens, zoals e-mailadressen en contactgegevens.
In sommige gevallen kunnen ze tekst en afbeeldingen van websites stelen en deze zonder toestemming hergebruiken op andere websites of sociale-mediaprofielen.
Klikfraudebots
Er zijn talloze geavanceerde bots die uitsluitend schadelijk botverkeer genereren voor betaalde advertenties. In tegenstelling tot bots die ongewenst websiteverkeer genereren, houden deze bots zich bezig met advertentiefraude.
Zoals de naam al doet vermoeden, genereert dit niet-menselijke verkeer kliks naar betaalde advertenties en kost het adverteerders jaarlijks miljarden dollars. Vaak vermomd als legitiem verkeer, hebben uitgevers talloze redenen om botdetectietools te gebruiken om illegaal verkeer uit te schakelen.
Kwetsbaarheidsscanners
Er bestaan verschillende kwaadaardige bots die miljoenen websites doorzoeken op kwetsbaarheden en deze rapporteren aan hun makers.
In tegenstelling tot echte bots die de eigenaar van de website op de hoogte stellen, zijn deze kwaadaardige bots ontworpen om informatie naar een derde partij te sturen. Deze derde partij kan de informatie verkopen of gebruiken om de websites te hacken.
Spambots
Spambots zijn ontworpen om berichten achter te laten die door de maker van de bot zijn ontworpen in de reactiesectie van een website. Deze bots moeten accounts aanmaken. Hoewel CAPTCHA-tests zijn ontworpen om softwarematige accountaanmaak te filteren, zijn deze tests niet altijd succesvol.
Welke invloed heeft botverkeer op websites?
Belangrijk om te weten over bots is dat de meeste scripts en programma's ontworpen zijn om dezelfde taak meerdere keren uit te voeren. De maker van de bot wil de taak ongetwijfeld zo snel mogelijk uitvoeren, maar dit kan veel problemen voor je website veroorzaken.
Botverkeer kan bedrijven effectief ruïneren als ze niet leren hoe ze botverkeer kunnen identificeren, beheren en filteren. Sites die afhankelijk zijn van advertenties naast sites die producten en merchandise met een beperkte voorraad verkopen, zijn bijzonder kwetsbaar.
Voor websites die advertenties weergeven, kunnen bots die op de site terechtkomen en op verschillende pagina-elementen klikken, nep-advertentieklikken activeren. Dit staat bekend als klikfraude. Hoewel het in eerste instantie de advertentie-inkomsten kan verhogen , leidt het er, zodra online advertentienetwerken de fraude detecteren, meestal toe dat de site en de eigenaar van hun netwerk worden verbannen.
Bij e-commercesites met een beperkte voorraad kunnen voorraadhamsterbots de winkel vrijwel lamleggen door winkelwagentjes te vullen met tonnen producten. Hierdoor worden ze voor echte kopers onbetaalbaar.
Als een bot regelmatig informatie van je site opvraagt, kan dit ervoor zorgen dat de site trager wordt. Dit betekent dat de site traag wordt voor iedereen die hem bezoekt, wat aanzienlijke problemen kan opleveren voor een online bedrijf. Te veel botverkeer kan in ernstige gevallen je hele website offline halen.
Gelukkig gebeurt dit alleen in de meest ernstige gevallen; meestal zijn de gevolgen van botverkeer op uw website gering. Wanneer uw website veel ongeautoriseerd botverkeer ontvangt, kunt u de volgende problemen verwachten:
- Meer paginaweergaven
- Hoog bandbreedtegebruik
- Onjuiste Google Analytics-rapporten
- Conversie neemt af
- Ongewenste e-mails
- Langere laadtijden
- Verhoogd bouncepercentage
Botverkeer identificeren (in Google Analytics en andere tools)
Nu we een steeds meer technologiegedreven toekomst tegemoetgaan, worden de crawlerbots van zoekmachines met de dag slimmer. Uit een rapport van Imperva van vorig jaar bleek dat bots bijna 41% van het internetverkeer uitmaakten, terwijl kwaadwillende bots meer dan een kwart van het verkeer voor hun rekening namen.
Webuitgevers en -ontwerpers kunnen botverkeer identificeren door de netwerkverzoeken naar hun sites te onderzoeken. Het gebruik van een geïntegreerde analysetool zoals Google Analytics helpt website-eigenaren om botverkeer in hun websiteverkeer te identificeren.
De kenmerken van botverkeer omvatten de volgende eigenschappen:
Abnormaal hoge paginaweergaven
Wanneer een website plotseling een onverwachte en ongekende piek in paginaweergaven ervaart, zijn bots meestal de boosdoener.
Abnormaal hoge bounce rate
Het bouncepercentage is een maatstaf die het percentage mensen meet dat op uw website terechtkomt en daarna niets meer doet. Een onverwachte stijging van het bouncepercentage kan erop wijzen dat bots naar één pagina worden doorverwezen.
Verrassend hoge of lage sessieduur
Sessieduur is de tijd die gebruikers op een website doorbrengen nadat ze er zijn geweest. Menselijk gedrag vereist dat deze tijd constant blijft. Als de sessieduur echter plotseling en onverwacht toeneemt, wijst dit er waarschijnlijk op dat een bot de site ongewoon langzaam bezoekt.
Als de sessieduur daarentegen ongewoon laag is, kan dit erop wijzen dat een bot pagina's veel sneller crawlt dan een mens.
Ongewenste conversies
Ongewenste conversies zijn te herkennen aan een toename van het aantal frauduleuze conversies. Ongewenste conversies worden zichtbaar als een toename van accounts die worden aangemaakt met onzinnige e-mailadressen of contactformulieren die worden ingevuld met een valse naam, telefoonnummer of adres.
Verkeerspiek vanaf een onverwachte locatie
Een plotselinge piek in websiteverkeer vanuit een specifieke geografische regio, met name een gebied waar de taal waarin de site is geschreven waarschijnlijk niet door moedertaalsprekers wordt gesproken, is een andere standaardindicator voor botverkeer.
Hoe botverkeer te stoppen
Zodra een bedrijf of instantie heeft geleerd hoe ze botverkeer kunnen identificeren, is het van groot belang dat ze de kennis en hulpmiddelen verwerven die nodig zijn om te voorkomen dat botverkeer een negatieve invloed heeft op hun site.
De volgende hulpmiddelen kunnen helpen bedreigingen te minimaliseren:
Legitieme arbitrage
Verkeersarbitrage is de praktijk van betalen om verkeer naar een website te brengen en zo hoogrenderende PPC/ CPM -campagnes te garanderen. Door alleen verkeer van bekende bronnen te kopen, kunnen website-eigenaren het risico op slecht botverkeer verminderen.
Gebruik Robots.txt
Door een robots.txt-bestand te plaatsen, kunt u kwaadaardige bots van een site weghouden.
JavaScript voor waarschuwingen
Website-eigenaren kunnen een contextuele JavaScript (JS) plaatsen om hen te waarschuwen wanneer er een bot op de website verschijnt.
DDoS-lijsten
Uitgevers kunnen een lijst met aanstootgevende IP-adressen samenstellen en de desbetreffende bezoekverzoeken op hun website weigeren. Zo verminderen ze het aantal DDoS-aanvallen.
Gebruik Type-Challenge Response Tests
Een van de eenvoudigste en meest voorkomende manieren om botverkeer te detecteren, is door CAPTCHA te gebruiken bij het aanmeld- of downloadformulier. Dit is vooral handig om downloads en spambots te stoppen.
Logbestanden onderzoeken
Voor webbeheerders met geavanceerde kennis van gegevens en analyses kan het onderzoeken van logbestanden met serverfouten helpen bij het vinden en oplossen van websitefouten die worden veroorzaakt door bots.
Botverkeer detecteren in Google Analytics
Voor uitgevers die Google Analytics gebruiken, zijn er een aantal eenvoudige manieren om uw site zo in te stellen dat botverkeer wordt gefilterd.
- Meld u eerst aan bij uw Google Analytics-account.
- Bezoek het Google Analytics- beheerpaneel
- Navigeer vervolgens naar Weergave-instellingen op het tabblad Weergave.
- Scroll naar beneden naar het selectievakje Botfiltering .
- Klik op Controleren als het selectievakje niet is aangevinkt.
- Klik ten slotte op Opslaan .
Waarom is het belangrijk om uw advertenties te beschermen?
Elke website met Pay Per Click-advertenties zal op een gegeven moment in de een of andere vorm te maken krijgen met botverkeer. Het is absoluut noodzakelijk dat uitgevers maatregelen nemen om hun advertenties te beschermen, anders zal botverkeer uiteindelijk de volgende problemen veroorzaken:
- Websitegegevens en analyses kunnen scheef worden
- De laadtijd en prestaties van de website kunnen verslechteren
- Websites worden kwetsbaar voor botnets, DDoS-aanvallen en uiteindelijk negatieve SEO-resultaten
- De CPC wordt negatief beïnvloed en uiteindelijk kan er omzetverlies optreden
Conclusie
Het is belangrijk dat u botverkeer niet negeert, aangezien het voor elk bedrijf met een digitale aanwezigheid enorm kostbaar kan worden. Hoewel er verschillende technieken zijn om misbruik van botverkeer te verminderen, is de meest succesvolle manier om te investeren in een gespecialiseerde oplossing voor botbeheer.
Bent u een digitale uitgever en heeft u hulp nodig bij het monitoren en detecteren van botverkeer?
Publift helpt digitale uitgevers om het maximale uit de advertenties op hun websites te halen. Publift heeft haar klanten sinds 2015 geholpen om gemiddeld 55% meer advertentie-inkomsten te genereren dankzij de inzet van geavanceerde programmatische advertentietechnologie in combinatie met onpartijdige en ethische begeleiding.
Als u maandelijks meer dan $ 2.000 aan advertentie-inkomsten genereert, neem dan vandaag nog contact met ons op voor meer informatie over hoe Publift u kan helpen uw advertentie-inkomsten te verhogen en de beschikbare advertentieruimte op uw website of app optimaal te benutten.
Veelgestelde vragen over botverkeer
1. Wat is een internetbot?
Internetbots zijn alle niet-menselijke bezoekers van een website. Ze zien eruit en gedragen zich bijna als mensen, maar ze zijn door hun maker ontworpen om een specifieke taak uit te voeren.
2. Wat veroorzaakt botverkeer?
Bots kunnen een website bezoeken om de positie in zoekmachines te bepalen of om SEO te analyseren. Kwaadaardige bots kunnen echter ook een website bezoeken om contactgegevens te stelen, phishingaccounts aan te maken of DDoS-aanvallen uit te voeren.
3. Moet je bots blokkeren?
Niet elke bot is schadelijk, en websites zouden bots die een site bezoeken moeten toestaan om de positie in de zoekresultaten te bepalen en de status van de site te controleren. Websites zouden echter CAPTCHA moeten gebruiken om scraping- en spambots of andere bots die een site schade toebrengen, te blokkeren.
4. Heeft botverkeer invloed op SEO?
Kwaadaardige bots hebben een negatieve invloed op SEO. Ze doen dit door de laad- en responstijden van een website te vertragen en DDoS-aanvallen te coördineren.
5. Wat is nepverkeer?
Nepverkeer verwijst naar de hoeveelheid niet-menselijk verkeer – bots – die een website bezoekt. Dit zijn geen echte mensen of klanten en worden daarom als nep beschouwd.
6. Zijn verkeersbots legaal?
Verkeersbots worden als legaal beschouwd, maar sommige Amerikaanse staten zijn begonnen met maatregelen tegen kwaadaardige bots. Als deze trend zich voortzet, kan de legaliteit van verkeersbots op nationaal niveau in twijfel worden getrokken.
7. Wat is een zoekrobot?
Zoekmachinebots, ook wel zoekbots genoemd, worden door zoekmachines gebruikt om websites te crawlen en de positie ervan te bepalen tijdens de zoekopdracht van een gebruiker.
8. Wat is verwijzingsspam?
Referral spam is wanneer bots nepverkeer op een site creëren om een Google Analytics-referralrapport vol te proppen met spamlinks. Het doel is om een GA-gebruiker aan te moedigen op de link te klikken, die vervolgens naar een website of dienst met malware leidt.
9. Kan direct verkeer ook crawlers bevatten?
In sommige gevallen kan direct verkeer ook zoekmachinecrawlers omvatten. Google Analytics filtert de meeste crawlers eruit, maar soms worden sommige toch nog verkeerdelijk geïnterpreteerd als menselijk verkeer.
10. Welk percentage van het internetverkeer bestaat uit bots?
Volgens onderzoek van Barracuda Networks uit 2021 zijn bots goed voor 66% van al het internetverkeer, en kwaadaardige bots voor 40% van al het verkeer.
Wat is een internetbot?