Améliorer fouiner.sans-nuage.fr

Projets
1

Description du projet

Le moteur de recherche fouiner.sans-nuage.fr a tendance à tomber en panne quand l’ensemble des moteurs sollicités nous blackliste.

Todo

  • Créer un doc pour les opérations d’entretien hebdomadaire:
    • Maintenance whatsapp
    • Mise à jour searxng
    • Répondre au captcha via les ips public.sans-nuage.fr
    • Remplacement des moteurs qui nous blacklistent
    • Vérifier que le proxy youtube est fonctionnel en allant sur une vidéo youtube
  • Ajouter une redirection vers cartes.app
echo "{% if 'map' in selected_categories %}<script type='text/javascript'>location.href = 'https://cartes.app/?q={{ q }}';</script>{% endif %}" >> /var/www/searxng/searxng-src/searx/templates/simple/categories.html
  • Creuser la question des proxy socks et des network pour contourner les blocages
  • Envisager d’utiliser tor pour ddg
  • Crawler avec yacy ?
  • Monitorer avec reaction et remplacer les moteurs auto magiquement par un autre du même index
  • Mettre en place une galaxie de searxng chatons

Changelog

2

Est-ce qu’on a Marginalia Search dans la liste des moteurs de recherches ?

3

D’ailleurs, sait-on pourquoi il se retrouve blacklisté ? :thinking:

4

parce-qu’on atteint un seuil de requêtes issue de notre instance. cf. les points de contournement listés par @ljf

5

Et aussi car il faut suivre le smises à jour au jour près ou quasiment…

Je viens de faire un script pour mettre à jour rapidement, on pourrait potentiellement lancer ça chaque demi journée:

pushd /var/www/searxng/searxng-src; 
sudo -u searxng git stash save; 
sudo -u searxng git pull; 
sudo -u searxng git stash apply; 
systemctl restart searxng; 
popd
6

Avec @dauphindart on a ajouté plusieurs IPs du range de la VM sur l’interface de façon temporaire, c’ets une expérimentation car on a activé l’option source_ips qui permet de load balancé avec plusieurs Ips sources les requêtes vers les différents moteurs de recherche. Mais ça ne marche pas avec tous les moteurs car certains comme startpage ou qwant ne sont pas dispo en IPv6.


    inet6 2a00:5881:8100:1007::42:fe/64 scope global 
       valid_lft forever preferred_lft forever
    inet6 2a00:5881:8100:1007::42:ca/64 scope global 
       valid_lft forever preferred_lft forever
    inet6 2a00:5881:8100:1007::36:fe/64 scope global 
       valid_lft forever preferred_lft forever
    inet6 2a00:5881:8100:1007::36:ca/64 scope global 
       valid_lft forever preferred_lft forever
    inet6 2a00:5881:8100:1007::ca:15/64 scope global 
       valid_lft forever preferred_lft forever
    inet6 2a00:5881:8100:1007::ca:42/64 scope global 
       valid_lft forever preferred_lft forever
    inet6 2a00:5881:8100:1007::ca:fe/64 scope global 
       valid_lft forever preferred_lft forever
    inet6 2a00:5881:8100:1007::36:15/64 scope global 
       valid_lft forever preferred_lft forever
    inet6 2a00:5881:8100:1007::42:42/64 scope global 
       valid_lft forever preferred_lft forever
    inet6 2a00:5881:8100:1007::1/64 scope global nodad 
       valid_lft forever preferred_lft forever

On a aussi conclu que la base redis n’est pas forcément fonctionnelle, car normalement c’est valkey qui la remplace. Là on fait croire à searxng que redis est une base valkey, à voir si ça créé des soucis.

TODO:

  • Mettre en place un timer systemd pour mettre à jour les sources
  • Mettre une vraie conf dans le paquet searxng_ynh
  • Mettre en place un mécanisme de mise à jour automatisé des sources dans searxng_ynh (le latest commit n’est pris actuellement en considération qu’une fois par semaine)
  • Passer le paquet yunohost à valkey (ou carrément supporter nativement valkey dans uyunohost ?)
  • (plus long terme) utiliser tor pour startpage et ddg (car leur endpoint tor ne demande pas de captcha)
  • (plus long terme) développer un engine searxng pour open web index