Le problème de lenteur de nos pads et libreto qui sévissait depuis plusieurs semaines est probablement résolu: nous avons bannis le bot facebook pour qu’il arrête de nous harceler
Explications détaillées
Cette explication n’est plus correcte, voir le message en dessous.
Les IPs de facebook ont été bannies sur les ports 80 et 443 car notre instance libreto recevait de trop nombreuses requêtes, ralentissant notre instance etherpad ! Il est probable que sans-nuage.
Pour ce faire, on a définit une prison avec fail2ban pour les bots que l’on souhaite bannir pour toujours
/etc/fail2ban/filter.d/bot.conf
for ip in $(whois -h whois.radb.net -- '-i origin AS32934' | grep ^route | sed -E s"/route6?: +//g") ; do fail2ban-client set bot banip $ip ; done
Il faudra vérifier que ça supporte le redémarrage. Une amélioration possible pourrait être de scruter les logs à la recherche du bot de meta (et d’autres pour les bannir).
Bon après réflexion, je me dis que bannir meta va probablement casser notre bridge matrix-whatsapp…
Donc, pour faire mieux, je suis en train de mettre en place des règles fail2ban qui vont bannir uniquement les IPs des bots pour 1 an… J’éditerais ce post pour afficher la vraie solution.
Le bannissement s’opère maintenant sur une liste de robots non souhaités dont ceux de l’entreprise Meta (facebook, whatsapp, insta, etc.) (qui servent probablement entre autre à faire des aperçus) et aussi semrush.
Explications détaillées
Dans /etc/fail2ban/filter.d/apache-badbots.conf j’ai édité la ligne badbotscustom pour ajouter les bots.
badbotscustom = facebookexternalhit|meta-externalagent|SemrushBot|EmailCollector|WebEMailExtrac|TrackBack/1\.02|sogou music spider|(?:Mozilla/\d+\.\d+ )?Jorgee