Crawlers IA : protéger son site sans casser Google ni les utilisateurs
Face aux robots IA qui aspirent contenus et ressources, une méthode pragmatique pour limiter la charge sans bloquer le SEO ni les vrais visiteurs.
Pour protéger un site des crawlers IA sans gêner Google ni les visiteurs, utilisez robots.txt pour les robots coopératifs, puis protégez les routes coûteuses avec du cache, des limites de débit et l’analyse des logs. Ne vous fiez pas au seul user-agent : un scraper peut usurper n’importe quel nom, y compris Googlebot.
Exprimez votre politique, sans confondre robots.txt et protection
Le fichier robots.txt indique des règles d’exploration, mais ce n’est pas un pare-feu. Le Robots Exclusion Protocol est standardisé par la RFC 9309, sans obliger un robot non coopératif à respecter vos directives.
Il reste utile pour les acteurs qui les suivent. OpenAI documente GPTBot et Anthropic documente ClaudeBot ; vous pouvez les exclure si cela correspond à votre politique éditoriale ou commerciale.
- Utilisez des règles précises pour les familles de robots que vous ne voulez pas autoriser.
- Évitez User-agent: * avec Disallow: /, qui bloquerait aussi les robots de recherche coopératifs.
- Ne comptez pas sur robots.txt pour protéger une API, une page privée ou une route coûteuse : appliquez une protection côté serveur.
Conservez l’accès de Googlebot si la visibilité dans Google Search vous importe. Google précise que Googlebot sert notamment à l’indexation, tandis que Google-Extended est un contrôle distinct pour certaines utilisations liées à l’IA, sans effet sur l’inclusion dans Google Search.
Réduisez la charge là où elle se produit
Servez d’abord les pages publiques cacheables depuis un CDN, avec des en-têtes de cache cohérents. Cela évite que chaque exploration déclenche du calcul, des requêtes en base de données ou du rendu dynamique.
Appliquez ensuite des limites de débit aux routes sensibles, comme la recherche interne, les endpoints coûteux, les API, les formulaires ou la génération de pages. Le seuil doit dépendre du trafic normal, de la capacité de l’application et de la route concernée.
- Ralentissez ou mettez au défi les clients qui enchaînent des requêtes sur une même route avant de les bannir.
- Protégez séparément les URL à paramètres, qui peuvent créer de nombreuses combinaisons et des miss de cache.
- Renvoyez une limitation temporaire plutôt que de laisser systématiquement la requête atteindre l’application.
N’accordez pas d’exception durable à un client qui se présente comme Googlebot sans le vérifier. Google recommande de vérifier Googlebot par résolution DNS inverse, puis directe, conformément aux domaines et aux contrôles décrits dans sa documentation.
Décidez à partir des logs et réévaluez les règles
Examinez les journaux CDN et serveur sur une période représentative avant de bloquer. Suivez les user-agents, adresses IP, URL demandées, codes de réponse, volume de données, taux de cache et temps de réponse : le coût vient souvent des requêtes qui contournent le cache, non du seul nombre de visites robotiques.
Documentez les robots autorisés, les routes interdites, les seuils de ralentissement et les exceptions. Après chaque changement, surveillez les erreurs, la latence, le taux de cache et les données de Google Search Console ; si une règle touche l’indexation ou des utilisateurs légitimes, resserrez-la sur la route ou le comportement fautif.