Les éditeurs et les annonceurs sont confrontés au défi de surmonter l’augmentation du trafic de robots, également parfois appelé trafic non humain.
Selon une étude menée par Barracuda Networks, fournisseur de services de sécurité des données, les robots informatiques ont représenté près des deux tiers du trafic Internet mondial au premier semestre 2021. Les robots malveillants, quant à eux, ont représenté près de 40 % de l'ensemble du trafic.
Le trafic de robots est un élément clé de la fraude publicitaire numérique, dont le coût devrait passer de 35 milliards de dollars en 2018 à 100 milliards de dollars en 2023.
Dans cet esprit, nous avons cherché à répondre à certaines questions clés sur le trafic de robots dans cet article, notamment ce que c'est, ce qu'il fait et comment le bloquer/supprimer.
Qu'est-ce que le trafic de bots ?
Le trafic de robots désigne tout trafic non humain qui visite un site Web. Qu'il s'agisse d'un site d'actualités très populaire ou d'une petite start-up récemment créée, le site est voué à être visité par un certain nombre de robots au fil du temps.
Bien que le terme « trafic de robots » soit souvent interprété à tort comme étant intrinsèquement nocif, ce n’est pas toujours le cas. Il ne fait aucun doute que certains trafics de robots sont conçus pour être malveillants et peuvent avoir un impact négatif sur les données de Google Analytics. Ces robots d’exploration Web peuvent être utilisés pour le bourrage d’identifiants, le scraping de données et, dans certains cas, même pour lancer des attaques par déni de service distribué (DDoS).
Il existe cependant des robots légitimes qui sont essentiels au fonctionnement de services Web spécifiques, tels que les moteurs de recherche et les assistants numériques. Par conséquent, les éditeurs numériques doivent utiliser leurs données d'analyse pour faire la distinction entre le comportement humain et le bon, le mauvais et le laid du trafic des robots.
Types de robots à surveiller
Comme mentionné précédemment, des robots spécifiques sont nécessaires au fonctionnement et aux performances optimales des moteurs de recherche et des assistants numériques. Cependant, les robots spécifiques des moteurs de recherche sont explicitement conçus pour ne pas endommager les sites et l'expérience utilisateur.
Les types de trafic de robots à surveiller incluent :
Cliquez sur les robots
Les robots de clic, utilisés dans le spam de clics , génèrent des clics publicitaires frauduleux. Pour la plupart des éditeurs Web, en particulier ceux qui utilisent des publicités au paiement par clic (PPC), ce type de robot est considéré comme le plus dommageable. En effet, les robots de clic faussent les analyses de données, en reproduisant le trafic Web qui érode les budgets publicitaires sans aucun avantage.
Télécharger des bots
Tout comme les robots de clic, les robots de téléchargement interfèrent également avec les données d'engagement réelles des utilisateurs. Cependant, plutôt que d'affecter le nombre de clics sur les publicités, ils créent un faux nombre de téléchargements. Cela est particulièrement pertinent lorsqu'un éditeur utilise un entonnoir marketing tel qu'un téléchargement gratuit d'ebook. Les robots de téléchargement créent un faux téléchargement, ce qui conduit à de fausses données de performance.
Les robots spammeurs
Les spambots, également appelés robots de remplissage de formulaires, sont les robots les plus courants. Le but d'un spambot est souvent de récupérer des informations de contact, notamment des adresses e-mail et des numéros de téléphone, de créer de faux comptes d'utilisateur ou d'exploiter des comptes de réseaux sociaux volés. Ils perturbent également l'engagement des utilisateurs en distribuant du contenu injustifié, tel que :
- Commentaires de spam, y compris spam de référence
- Courriels de phishing
- Redirections de sites Web
- SEO négatif par rapport aux concurrents
Les robots espions
Les robots espions sont ainsi nommés car ils agissent précisément de cette manière : comme des espions. Ils volent des données et des informations, telles que des adresses e-mail, sur des sites Web, des salles de chat, des sites de réseaux sociaux et des forums.
Robots scrapers
Les robots scrapers visitent les sites Web dans le seul but de voler le contenu des éditeurs. Les robots scrapers peuvent constituer une véritable menace pour une entreprise et ses pages Web. Créés par des scrapers tiers, ils sont utilisés par des concurrents commerciaux pour voler du contenu précieux, comme des listes de produits et de prix qui sont ensuite réutilisés et publiés par des sites concurrents.
Bots imposteurs
Les robots imposteurs reproduisent le comportement humain en se faisant passer pour de véritables visiteurs de sites Web. Ils tentent de contourner les mesures de sécurité en ligne et sont le plus souvent responsables d'activités DDoS.
Qu'est-ce qu'un bon trafic de robots ?
Bien que les exemples ci-dessus soient sans aucun doute des cas de trafic de robots nuisibles, quels sont quelques exemples de trafic de robots bénéfiques ?
Les robots suivants sont légitimes et sont là pour fournir des solutions utiles pour les sites Web et les applications.
Robots des moteurs de recherche
Les robots des moteurs de recherche sont les plus évidents et les plus connus des « bons » robots. Les robots des moteurs de recherche explorent le Web et aident les propriétaires de sites Web à faire figurer leurs sites Web dans les résultats de recherche sur Google, Yahoo et Bing. Ces robots sont des outils de référencement utiles.
Bots de surveillance
Les robots de surveillance aident les éditeurs à s'assurer que leur site Web est sain et accessible tout en fonctionnant à des performances optimales. Les robots de surveillance fonctionnent en envoyant automatiquement un ping au site pour s'assurer qu'il est toujours en ligne. En cas de panne ou de mise hors ligne du site, l'éditeur sera automatiquement averti, ce qui rend ces robots très utiles aux propriétaires de sites Web.
Robots d'exploration SEO
Les robots d'exploration SEO sont des logiciels qui récupèrent et indexent un site Web et ses concurrents pour fournir des données et des analyses sur les pages vues, les utilisateurs et le contenu. Les administrateurs Web peuvent ensuite utiliser ces rapports pour planifier leur contenu afin d'améliorer leur trafic de référence, leur visibilité dans les recherches et leur trafic organique.
Robots de droits d'auteur
Les robots de protection des droits d'auteur parcourent Internet à la recherche d'images protégées par des droits d'auteur pour s'assurer que personne n'utilise illégalement du contenu protégé par des droits d'auteur sans autorisation.
Qu'est-ce que le trafic de robots malveillants ?
Contrairement aux bons robots que nous venons de décrire, le trafic de mauvais robots peut causer beaucoup de tort à votre site Web et peut causer beaucoup de dégâts s'il n'est pas contrôlé. Cela peut prendre la forme d'un trafic erroné ou de spam envoyé vers quelque chose de beaucoup plus perturbateur, comme une fraude publicitaire.
Réseaux DDoS (déni de service)
Le bot DDoS doit être l’un des bots les plus anciens et les plus méchants qui existent.
Connus sous le nom de robots de déni de service distribué, ces logiciels sont placés sur les ordinateurs des victimes sans méfiance et sont utilisés pour faire tomber un site Web ou un serveur spécifique.
Les attaques DDoS ont été accusées d'avoir causé des dommages financiers importants dans le passé, le fournisseur de services de sécurité réseau Corero estimant qu'une telle attaque aux États-Unis coûte en moyenne environ 218 000 dollars .
Grattoirs Web
Les scrapers Web extraient des pages Web des données précieuses telles que des adresses e-mail et des informations de contact.
Dans certaines circonstances, ils peuvent voler du texte et des images de sites Web et les réutiliser sur d’autres sites Web ou profils de réseaux sociaux sans autorisation.
Bots de fraude au clic
Il existe de nombreux robots sophistiqués qui génèrent du trafic malveillant exclusivement vers des publicités payantes. Contrairement aux robots qui génèrent du trafic indésirable sur les sites Web, ces robots se livrent à des fraudes publicitaires.
Comme son nom l'indique, ce trafic non humain génère des clics vers des publicités payantes et coûte des milliards de dollars aux annonceurs chaque année. Souvent déguisé en trafic légitime, les éditeurs ont de nombreuses raisons d'adopter des outils de détection de robots pour les aider à éliminer le trafic illicite.
Scanners de vulnérabilité
Il existe différents robots malveillants qui recherchent des vulnérabilités sur des millions de sites Web et les signalent à leurs créateurs.
Contrairement aux véritables robots qui avertissent le propriétaire du site Web, ces robots malveillants sont conçus pour envoyer des informations à un tiers, qui peut vendre les informations ou les utiliser pour pirater les sites Web.
Les robots spammeurs
Les robots de spam sont conçus pour laisser des messages conçus par le créateur du robot dans la section des commentaires d'un site Web. Ces robots doivent créer des comptes et, bien que les tests CAPTCHA soient conçus pour filtrer les créations de comptes pilotées par logiciel, ces tests ne sont pas toujours concluants.
Comment le trafic des robots affecte-t-il les sites Web ?
Il est important de comprendre que la plupart des scripts et des programmes sont conçus pour effectuer la même tâche plusieurs fois. Le créateur du robot souhaite sans aucun doute que la tâche soit effectuée le plus rapidement possible, mais cela peut entraîner de nombreux problèmes pour votre site Web.
Le trafic des robots peut détruire les entreprises si elles n'apprennent pas à identifier, gérer et filtrer le trafic des robots. Les sites qui s'appuient sur la publicité ainsi que les sites qui vendent des produits et des marchandises avec un inventaire limité sont particulièrement vulnérables.
Pour les sites qui diffusent des publicités, les robots qui atterrissent sur le site et cliquent sur divers éléments de la page peuvent déclencher de faux clics publicitaires. C'est ce qu'on appelle la fraude au clic. Même si elle peut initialement augmenter les revenus publicitaires , une fois que les réseaux publicitaires en ligne détectent la fraude, elle entraîne généralement l'exclusion du site et du propriétaire de leur réseau.
Pour les sites de commerce électronique avec un inventaire limité, les robots de thésaurisation des stocks peuvent pratiquement fermer leur boutique en remplissant les paniers de tonnes de marchandises, les rendant indisponibles pour les véritables acheteurs.
Si un robot demande régulièrement des informations sur votre site, cela peut entraîner un ralentissement de celui-ci. Cela signifie que le site sera lent pour tous ceux qui le visitent, ce qui peut entraîner des problèmes importants pour une entreprise en ligne. Un trafic de robots trop important peut mettre l'ensemble de votre site Web hors ligne dans des circonstances graves.
Heureusement, cela ne se produit que dans les cas les plus graves ; la plupart du temps, les effets du trafic de robots sur votre site Web sont mineurs. Lorsque votre site Web reçoit beaucoup de trafic de robots non autorisés, vous pouvez vous attendre à voir des choses comme :
- Plus de pages vues
- Utilisation élevée de la bande passante
- Rapports Google Analytics incorrects
- La conversion diminue
- Courriers indésirables
- Temps de chargement plus longs
- Taux de rebond accru
Comment identifier le trafic des robots (dans Google Analytics et d'autres outils)
À l’heure où nous évoluons vers un avenir de plus en plus axé sur la technologie, les robots d’exploration des moteurs de recherche deviennent de plus en plus intelligents. Un rapport publié par Imperva l’année dernière a révélé que les robots représentaient près de 41 % du trafic Internet, tandis que les robots malveillants représentaient plus d’un quart du trafic.
Les éditeurs et concepteurs Web peuvent identifier le trafic des robots en examinant les requêtes réseau vers leurs sites. L'utilisation d'un outil d'analyse intégré tel que Google Analytics aidera davantage les propriétaires de sites Web à identifier les robots de trafic dans le trafic de leur site Web.
Les caractéristiques du trafic des robots incluent les suivantes :
Nombre anormalement élevé de pages vues
Lorsqu'un site Web connaît une augmentation soudaine, inattendue et sans précédent du nombre de pages vues, les robots en sont généralement la cause.
Taux de rebond anormalement élevé
Le taux de rebond est une mesure qui mesure le pourcentage de personnes qui atterrissent sur votre site Web et ne font rien sur la page une fois qu'elles y sont. Une augmentation inattendue du taux de rebond peut indiquer que les robots sont redirigés vers une seule page.
Durée de session étonnamment élevée ou faible
La durée de session correspond au temps que les utilisateurs passent sur un site Web une fois qu'ils y sont. Le comportement humain impose que cette durée reste stable. Cependant, si la durée de la session augmente soudainement et de manière inattendue, cela indique probablement qu'un robot navigue sur le site à une vitesse inhabituellement lente.
À l’inverse, si la durée de session est inhabituellement courte, cela peut indiquer qu’un robot explore les pages à un rythme beaucoup plus rapide qu’un humain.
Conversions indésirables
Les conversions indésirables peuvent être détectées par une augmentation du nombre de conversions frauduleuses. Les conversions indésirables se manifestent par une augmentation du nombre de comptes créés avec des adresses e-mail dénuées de sens ou des formulaires de contact remplis avec un faux nom, un faux numéro de téléphone ou une fausse adresse.
Pic de trafic provenant d'un endroit inattendu
Un pic soudain de trafic sur un site Web provenant d'une région géographique spécifique, en particulier d'une zone où il est peu probable que des locuteurs natifs de la langue dans laquelle le site est écrit, est un autre indicateur standard du trafic des robots.
Comment arrêter le trafic des robots
Une fois qu'une entreprise ou une agence a appris à identifier le trafic des robots, il est impératif qu'elle acquière les connaissances et les outils nécessaires pour empêcher le trafic des robots d'affecter négativement son site.
Les outils suivants peuvent aider à minimiser les menaces :
Arbitrage légitime
L'arbitrage de trafic consiste à payer pour amener du trafic vers un site Web afin de garantir des campagnes PPC/ CPM à haut rendement. En achetant uniquement du trafic provenant de sources connues, les propriétaires de sites peuvent réduire le risque de trafic de robots malveillants.
Utiliser le fichier robots.txt
Placer un fichier robots.txt aidera à éloigner les mauvais robots d'un site.
JavaScript pour les alertes
Les propriétaires de sites peuvent placer un JavaScript contextuel (JS) pour les alerter chaque fois qu'un robot semble entrer sur le site Web.
Listes DDoS
Les éditeurs peuvent compiler une liste d’adresses IP offensantes et refuser ces demandes de visite sur leur site Web, réduisant ainsi le nombre d’attaques DDoS.
Utiliser des tests de type « Challenge Response »
L'une des méthodes les plus simples et les plus courantes pour détecter le trafic de robots consiste à utiliser le CAPTCHA sur le formulaire d'inscription ou de téléchargement. Cela est particulièrement utile pour bloquer les robots de téléchargement et les spambots.
Examiner les fichiers journaux
Pour les administrateurs Web qui ont une compréhension approfondie des données et des analyses, l’examen des fichiers journaux d’erreurs du serveur peut aider à trouver et à corriger les erreurs de site Web causées par des robots.
Comment détecter le trafic des robots dans Google Analytics
Pour les éditeurs utilisant Google Analytics, il existe des moyens simples de configurer votre site pour filtrer le trafic des robots.
- Tout d’abord, connectez-vous à votre compte Google Analytics.
- Visitez le panneau d'administration de Google Analytics
- Ensuite, accédez à Paramètres d’affichage dans l’onglet Affichage.
- Faites défiler jusqu'à la case à cocher Filtrage des robots .
- Cliquez sur Vérifier dans la case à cocher si elle n'est pas cochée.
- Enfin, appuyez sur Enregistrer .
Pourquoi est-il important de protéger vos publicités ?
Tout site Web diffusant des publicités au paiement par clic sera à un moment ou à un autre touché par le trafic de robots sous une forme ou une autre. Il est impératif que les éditeurs prennent des mesures pour protéger leurs publicités, sinon le trafic de robots finira par provoquer les problèmes suivants :
- Les données et les analyses du site Web peuvent être faussées
- Le temps de chargement et les performances du site Web peuvent commencer à se détériorer
- Les sites Web deviennent vulnérables aux botnets, aux attaques DDoS et, en fin de compte, aux résultats SEO négatifs
- Le CPC est affecté négativement et, à terme, des revenus peuvent être perdus
Conclusion
Il est important de ne pas ignorer le trafic de robots, car il peut devenir extrêmement coûteux pour toute entreprise ayant une présence numérique. Bien qu'il existe plusieurs techniques pour réduire le trafic de robots abusif, la plus efficace consiste à investir dans une solution de gestion de robots spécialisée.
Êtes-vous un éditeur numérique qui a besoin d’aide pour surveiller et détecter le trafic des robots ?
Publift aide les éditeurs numériques à tirer le meilleur parti des publicités sur leurs sites Web. Publift a aidé ses clients à réaliser une augmentation moyenne de 55 % de leurs revenus publicitaires depuis 2015, grâce à l'utilisation d'une technologie de publicité programmatique de pointe associée à des conseils impartiaux et éthiques.
Si vous générez plus de 2 000 $ de revenus publicitaires mensuels, contactez-nous dès aujourd'hui pour en savoir plus sur la manière dont Publift peut vous aider à augmenter vos revenus publicitaires et à optimiser au mieux l'espace publicitaire disponible sur votre site Web ou votre application.
FAQ sur la connaissance du trafic des robots
1. Qu'est-ce qu'un robot Internet
Les robots Internet désignent tout trafic non humain qui visite un site Web. Ils apparaissent et agissent presque comme un humain, sauf qu'ils ont été créés pour effectuer une tâche spécifique par leur créateur.
2. Quelles sont les causes du trafic de robots ?
Les robots peuvent visiter un site Web pour déterminer son classement dans les moteurs de recherche ou pour analyser son référencement. Cependant, des robots malveillants peuvent visiter un site Web pour voler des informations de contact, créer des comptes de phishing ou mener des attaques DDoS.
3. Faut-il bloquer les robots ?
Tous les robots ne sont pas malveillants et les sites Web doivent autoriser les robots qui visitent un site à déterminer son classement dans les moteurs de recherche et à surveiller la santé du site. Cependant, les sites Web doivent utiliser CAPTCHA pour bloquer les robots de scraping et de spam ou tout autre robot susceptible de nuire à un site.
4. Le trafic des robots affecte-t-il le référencement ?
Les robots malveillants ont un impact négatif sur le référencement. Ils ralentissent le temps de chargement et de réponse d'un site Web et coordonnent les attaques DDoS.
5. Qu'est-ce que le faux trafic ?
Le trafic factice fait référence à la quantité de trafic non humain (les robots) qui visite un site Web. Il ne s'agit pas de personnes ou de clients réels, ils sont donc considérés comme factices.
6. Les robots de trafic sont-ils légaux ?
Les robots de trafic sont considérés comme légaux, mais certains gouvernements d'États américains ont commencé à prendre des mesures contre les robots malveillants. Si cette tendance se poursuit, la légalité des robots de trafic pourrait être remise en question au niveau national.
7. Qu'est-ce qu'un robot de recherche ?
Les robots des moteurs de recherche, également appelés robots de recherche, sont utilisés par les moteurs de recherche pour parcourir les sites Web et déterminer le classement de l'apparence lors de la recherche d'un utilisateur.
8. Qu'est-ce que le spam de référencement ?
Le spam de référencement se produit lorsque des robots créent du faux trafic sur un site pour remplir un rapport de référencement Google Analytics avec des liens indésirables. L'objectif est d'encourager un utilisateur GA à cliquer sur le lien, ce qui le redirige ensuite vers un site infecté par des logiciels malveillants ou un service frauduleux.
9. Le trafic direct peut-il inclure des robots d'exploration ?
Dans certains cas, le trafic direct peut inclure des robots d'exploration. Google Analytics a tendance à filtrer la plupart des robots d'exploration, mais il arrive parfois que certains soient encore présentés à tort comme du trafic humain.
10. Quel pourcentage du trafic Internet est constitué de robots ?
Selon une étude menée en 2021 par Barracuda Networks, les robots représentent 66 % de tout le trafic Internet, les robots malveillants représentant 40 % de tout le trafic.
Qu'est-ce qu'un robot Internet