Invasion de bots Facebook
Depuis quelques jours j’ai droit à une invasion (plus d’un millier) de bots Facebook :
facebookexternalhit/1.1 (+http://www.facebook.com/externalhit_uatext.php)
En gros un toutes les 2/3 minutes.
Le classique
User-agent: *
User-agent: facebookexternalhit/1.1
Disallow: /
dans le fichier robots.txt ne change rien. Aucun effet constaté de mon côté.
En cherchant sur le Net j’ai trouvé un plugin qui permet de ralentir ces bots Facebook : FB Throttle.
Après plusieurs tests je l’ai réglé sur 1800 secondes, soit 30 minutes. Le log du plugin montre comment le bot est rejeté (en rouge) ou autorisé (en vert). L’adresse IP change pour chaque tentative.
Pas d’inquiétude pour les autres bots (Google, Apple, Bing…) ils ne sont pas impactés par ce plugin.
