31 mai 2023: Panne VPN
Depuis le début de soirée nous rencontrons des problèmes avec le service VPN.
Si ça ne fonctionne pas en UDP, tenter, temporairement, de passer en TCP.
edit 01/06/2023: Tout fonctionne à nouveau correctement.
Depuis le début de soirée nous rencontrons des problèmes avec le service VPN.
Si ça ne fonctionne pas en UDP, tenter, temporairement, de passer en TCP.
edit 01/06/2023: Tout fonctionne à nouveau correctement.
Interruption de service durant ~30min suite à une mise à jour de docker / discourse
La mise à jour depuis le serveur entraîne toujours une interruption de service et il n’existe pas de mode maintenance (toute la partie docker étant down pendant ce temps là).
Les préconisations étant une mise à jour via l’interface web 2x par mois, une mise à jour via ssh tout les 2mois. (https://meta.discourse.org/t/manually-update-discourse-and-docker-image-to-latest/23325)
Pour des raisons de sécurité nous mettons à jour Nextcloud et profitons de ce moment pour mettre à jour d’autres apps.
Searxng est le meta-moteur de recherche utilisé par https://sans-nuage.fr
Ce matin searxng a été mis à jour et sa configuration améliorée pour configurer une base redis et un limiteur de façon à ce que nous ne soyons plus blacklisté par duckduckgo. Adieu le message rouge qui s’affiche en plus des résultats. \o/
Notre résolveur DNS était en panne toute la journée, désolé pour le dérangement.
Il semble que de nombreuses instances invidious et nitter soient pannes dont celles que nous recommandons sur le portail sans-nuage.fr . Ces services servent à consulter respectivement youtube et twitter sans aller sur ces sites. Les pannes sont lié à des mesures prises chez youtube et twitter pour empêcher ce genre de proxy d’exister.
Par ailleurs, nous continuons d’observer des intermittences de fonctionnement de notre résolveur DNS. N’hésitez pas à passer par exemple ceux d’aquilenet en priorité.
EDIT 10/07/2023: La panne sur le Nitter (pxy twitter) de la Contre-voie est résolue.
Le résolveur DNS était H.S depuis ce matin ~7h, il est désormais de retour.
Les VPN étaient non fonctionnels depuis ce matin ~9h.
Ils sont désormais à nouveau opérationnels !
Le serveur sans-nuage.fr principal est tombé en panne. Par ailleurs, un bug (toujours en cours affecte actuellement le système de sauvegarde de ce serveur).
EDIT 08/08/2023 11h: La panne a été résolue (en faisant de l’espace disque et en adaptant la configuration des logs du services matrix-synapse).
Les VPN étaient non fonctionnels depuis ~12h30.
Ils sont désormais à nouveau opérationnels !
Mise à jour et création d’une doc (https://wiki.arn-fai.net/benevoles:technique:discourse)
Notre instance pad.sans-nuage.fr devient trop grosse. La base de données pèse 30GB et nous empèche de faire des sauvegardes, nous procédons actuellement à une cure d’amaigrissement en supprimant les pads vides, les anciennes sessions et les historiques. En revanche, toutes les versions finales de chaque pad restent conservées.
Pour rappel: nos pads ne sont jamais supprimés, ce qui permet d’avoir des documents de travail permanent sans se soucier de la péremption. Cette politique pourrait être revue si nous estimons que notre instance devient trop coûteuse en ressource.
Note: le plugin mypads qui permet de créer des pads privés sera peut-être remplacer par le plugin nextcloud ownpad
EDIT 18:13: La maintenance est finie. Nous sommes passés de 68 000 000 de lignes de base de données à 68 000 L’accès à l’historique n’est donc plus possible (même si nous avons gardé en base une version toutes les 100 versions de vos pads, juste au cas où il y a des réclamations).
Le serveur était de nouveau plein, le soucis a été résolu, nous continuons d’optimiser les services en ce qui concerne l’espace disque système (hors stockage).
Les VPN étaient non fonctionnels depuis ~8h30.
Ils sont désormais à nouveau opérationnels.
Nous avons détecté que les serveurs privés virtuels étaient impactés par un soucis de routage (en IPv4) empêchant la mise à jour d’applications utilisant PHP du fait de l’impossibilité de contacter packages.sury.org
. Nous estimons que ce soucis était présent depuis longtemps et sommes surpris de ne pas avoir eu de signalement. Les serveurs utilisant prioritairement l’IPv6 n’étant pas concernés, nous supposons que vous êtes nombreux à utiliser l’IPv6 en priorité.
Quoiqu’il en soit, ce problème est désormais résolu, si vous aviez des mises à jour d’applications PHP non fonctionnelles, il est peut être temps de retenter la mise à jour.
Comme tous les 2ème et 4ème jeudi du mois, nous procéderons à des travaux sur l’infrastructure avec les bénévoles en présence. L’objectif est de travailler sur l’IPv6 de notre nouveau cluster, mais il est possible que d’autres travaux soient menés et que certains services soient brièvement inaccessibles.
Nous allons intervenir au datacenter pour racker un serveur (offre housing), ajouter un serveur 1U au cluster proxmox et permettre à une personne ayant déjà 1U chez nous d’intervenir en cas de besoin.
Sauf à produire une coupure d’électricité ou un problème réseau, vos services ne devraient pas être interrompus.
EDIT: L’intervention est terminée, tout s’est bien passé, même si un des serveurs n’a pas pu être installé par manque de disques…
Un problème lié au SSO empêchait l’accès à Nextcloud.
Le problème est désormais résolu.
Je me lance dans une mise à jour du forum (docker / discourse)
La dernière fois il y a eu une Interruption de service durant ~45min
Signé:Gyom
21:09 Intervention terminée