Certains services comme les pads étaient instables, du fait de la grande consommation de notre service synapse (matrix). Pour le moment, nous avons ajouté un peu de swap, et nous verront si c’est passager ou si nous pouvons optimiser les choses.
Je ferais de nouvelles tentatives sur l’histoire du routage IPv6 mixte entre Cogent et HE pour permettre aux utilisateurs et utilisatrices Free de nous joindre correctement. Ceci implique que la connexion IPv6 va probablement être en dent de scie pendant la nuit.
Vous pourrez suivre les coupures avec ça: https://smokeping.illyse.org/?target=ISP.FFDN.ARN_v6
Voir message précédent pour plus d’info: https://forum.arn-fai.net/t/suivi-des-incidents-et-maintenances-majeures/371/40?u=ljf
La liste noire spamcop que nous utilisons a oublié de renouveler son nom de domaine entraînant de nombreux mails refusés pour spam dans la journée de dimanche. Le problème a impacté des dizaines de milliers de serveurs mails.
Les choses sont désormais rentrées dans l’ordre. On va peut être faire un petit script pour que chacun et chacune reçoivent la liste des adresse d’envois qui le ou la concerne.
On a eu un bug sur notre infra qui empêchait la création de nouveau VPS.
On a finit par le résoudre en modifiant la façon dont le grub était update au premier démarrage.
Forum indisponible durant ~10min (19h00) durant la mise à jour. Les mises à jour de Discourse nécessitent parfois d’intervenir sur la machine pour relancer la construction des dockers.
L’espace membre était inaccessible ce matin à cause d’un certificat expiré. La génération du certificat a été relancé sans problème particulier.
Installation d’un abonné Housing + récupération de disque dur sur un autre serveur.
Nous subissons depuis 1 semaine des attaques DNS (ou un usage intensif de notre serveur DNS ouvert).
Le 25 avril 2021 à 1h00 : Mise à jour des paquets pour voir si il y a un correctif de unbbound qui résout le soucis.
Suite à un bug de lufi__3, le disque de sans-nuage.fr était plein. Le problème a été corrigé samedi à 1h du matin. Plusieurs services comme Nextcloud ou Wekan étaient touchés.
Ce soir on fait une soirée de maintenance, on a prévu de toucher à ces éléments:
Nous y gagnerons la possibilité d’avoir des boites mail en @arn-fai.net avecSPF et dkim, la réparation du problème de certificat, le backup/monitoring intégré de yunohost
EDIT 21:30: Sans-nuage est injoignable, des services vont être coupés pour permettre la fin de la mise à jour
EDIT 22:30: De la ram a été rajouté à la VM sans-nuage
EDIT 00:47: On a récupérer les accès aux PDU 
On est en train d’ajouter 250G de disque à sans-nuage.fr (préalable pour le compte asso) . La création de la VM arn-fai.net et celles des VPS en commande a été repoussée. La séance s’arrête ici pour ce soir on reprendra peut être demain soir.
Correction d’un bug sur le renouvellement/création de VPN avec une ip terminant par un seul chiffre.
On finit le setup du disque dur
Nextcloud, Framaforms, Matrix, Les mails seront éteint pendant quelques minutes.
Suite à une mise à jour de notre bridge il apparaît que notre mécanisme de mise en relation est en panne. Les conversations déjà configurées continuent de fonctionner.
On éditera ce post dés que c’est rentré dans l’ordre.
EDIT 5 juin 2021: le bridge est toujours en panne, nous sommes peut être blacklisté (ou alors nous devons revalider le qrcode) - affaire à suivre
Comme annoncé précédemment, nous avons mis en place une nouvelle offre sur sans-nuage. Il y avait un petit bug avec le programme chargé de créer les comptes, c’est désormais résolu.
Ci-dessous, les infos sur les nouvelles offres:
Edit 8/7 Re-mise en place de l’extinction du bridge whatsapp la nuit entre 1H et 7H.
Pour des raisons de sécurité nous allons procéder à la mise à jour de Nextcloud.
Le script de remontée des statuts de vos VPS a également été mis à jour pour que la pastille associée à ce service dans l’interface adhérents (COIN) soit de la bonne couleur selon le statuts.
Plusieurs apps sans-nuage.fr ont été mises à jour.
L’app opensondage et l’interface adhérents étaient injoignable ce dimanche. Le problème vient d’être résolu.
Nextcloud va être mis à jour pendant les heures ouvrés (d’ici quelques minutes) pour des raisons de sécurité.
Désolé pour le dérangement.
EDIT: Malgré un petit incident avec mariadb, Nextcloud est de nouveau disponible en version 22.1
Element a été mis à jour rapidement pour corriger une faille de sécurité.
Suite à une maintenance sur un nœud du cluster consistant à ajouter un disque SSD à la grappe raid5 en vue de la création de nouveaux VPS, nous constatons que certains services des VM d’ARN se sont éteint pour une raison qui reste à déterminer.
Il est probable que des VPS d’adhérent⋅es aient aussi été impactés. N’hésitez pas à nous le signaler sur le support.
Le forum et l’interface adhérent⋅e étaient injoignables pendant 20 minutes, les pads ne sont pas encore relancés.
Il reste environ 9h avant que la grappe soient totalement reconstruites, des perturbations pourraient encore avoir lieu d’ici là.
EDIT 21:00 : le redimensionnement à chaud de la grappe raid5 est finie, au final il semble que cette opération n’est pas la cause des problèmes rencontrés aujourd’hui !
Mise à jour de Discourse et du serveur.
Dans le détail :
Mise à jour plantée via l’interface d’administration web.
En direct sur le serveur il n’y avait pas assez de place pour telecharger/decompresser (1.7Go libre).
Pour arriver à ~5Go de libre j’ai du :
Puis relancer la création du container en désactivant les vérifications d’espace disponible (/var/discourse/launcher rebuild app --skip-prereqs). Voila 
Maintenant il affiche ~6Go de libre (mais les sauvegardes vont en prendre 4).
Je conseille très vivement de rajouter de l’espace disque sur la machine (5 ou 10Go).
Ca seraplus confortable pour les mise a jours et ca évitera les interruptions de service.
EDIT ljf: bon bah l’interprétation de mon message précédent est peut être fausse alors…
Une analyse plus fine du problème de ce matin montre qu’en réalité:
Les pads et les services utilisant postgresql (comme mobilizon, matrix) sont en pannes. On va tenter de restaurer la base de données des pads dans son état de cette nuit.
EDIT 20:00: matrix et mobilizon sont de retour, mais les apps mysql sont à l’arrêt le temps de réparer la table store de notre pad. Work in progress…
EDIT 23:00: afin de ne pas pénaliser plus longtemps les usager⋅es du cloud et du webmail, nous avons réactivé la base mysql mais la base etherpad reste corrompue. Du fait de sa taille, nous ne sommes pour l’instant pas en mesure de la restaurer dans un état stable, les pads sont donc indisponibles pour une durée non déterminée. Nous sommes désolé de cet incident et réfléchissons aux solutions possibles. SI vous avez un travail urgent, nous pouvons toutefois probablement réussir à extraire le texte de votre pad si vous nous donnez l’URL exacte.
EDIT 13:00: A ce stade, ~400 pads édités les plus récemment ont étés récupérés par notre script (sans mise en forme). SI vous utilisez libreto, et que le menu de votre libreto n’a pas encore été restauré, vous pouvez essayer: de retrouver les pads en faisant https://pad.sans-nuage.fr/p/libreto+NOM-LIBRETO_EN_MINUSCULE+NOM-PAD-EN-MINUSCULE
EDIT 03/10/2021: Nous avons finalement restauré 3600 pads sur 4800. Parmis les 1200 restants il y a principalement des pads sans contenu, avec le texte par défaut ou avec moins de 100 changements. Bien que nous avons la mise en forme de plus de 2000 pads, celle-ci ne sera pas restauré car l’opération est trop complexe du fait de la façon de fonctionner d’etherpad.