Fouiner.sans-nuage : Anubis comme parade au « service denied »?

Projets Idées
1

Une recherche effectuée via un moteur de recherche classique comme fouiner.sans-nuage consomme jusqu’à dix fois moins d’électricité qu’une requête adressée à un chat-bot. C’est pourquoi j’essaie, autant que possible, d’utiliser quotidiennement un moteur de recherche classique.

Je suis toutefois de plus en plus exaspéré par les formulaires vides que fouiner.sans-nuage me renvoie lors de mes recherches en ligne. La raison : les moteurs de recherche sollicités par fouiner.sans-nuage répondent « service denied » — c’est-à-dire qu’ils refusent délibérément de servir leurs résultats aux instances intermédiaires.

Est-ce que Anubis pourrait-être une solution à ce problème?

Anubis est un proxy écrit en Go qui se place devant un service web tel que SearXNG et filtre efficacement les robots d’exploration — notamment ceux des crawleurs d’IA et les scrapers professionnels — sans recourir à des CAPTCHA contraignants ni bloquer les utilisateurs légitimes.

https://gnulinux.ch/anubis-vor-searxng-bots-mit-proof-of-work-ausbremsen

2

A priori non, Anubis n’aidera pas. Anubis sert à se protéger contre les robots en les forçant à faire une preuve de travaille (donc à utiliser du processeur et de l’élec) de sorte que le coût ne soit pas avantageux.

Pour ce qui est de searxng, c’est nous qui faisons des requêtes sur des moteurs de recherche, et ce sont eux qui mettent en place des contre-mesures. Ces contre mesures changent régulièrement (suffisamment pour qu’un projet comme searxng ait du mal à suivre).

Anubis pourrait potentiellement nous être utile si un bot utilisait notre searxng, mais ça ne semble pas être le cas pour le moment. Les limites des gros moteurs sont justes très faibles et surtout elles détectent assez bien si une requête provient de leur service ou pas.

Conclusion: ça pourrait être bien de le faire, mais ce n’est pas urgent vu qu’il n’y a pour le moment pas de bot à bloquer.

3

Si tu veux t’inspirer de ou participer à ma veille : https://forum.arn-fai.net/t/topic/13697