Suivi des incidents et maintenances majeures

Lundi 28 septembre - Transfert de fichier temporaire sur sans-nuage.fr indisponible

Le transfert de fichiers temporaires sur sans-nuage.fr est actuellement indisponible car l’espace alloué a été remplis.
Le service devrait être disponible d’ici 48h.

EDIT Vendredi 2 octobre: le transfert de fichier est de nouveau actif sur une nouvelle adresse : drop.sans-nuage.fr . L’ancienne sera supprimée une fois que tous les liens seront périmés en février 2021.

Jeudi 1er octobre 2020 - Fini les libreto qui ne se chargent qu’une fois sur 3 !

Nous avons finalement identifié l’erreur qui aboutissait au chargement incomplet du menu des libreto. Il était nécessaire de rafraîchir plusieurs fois pour obtenir le menu.

Depuis etherpad 1.8.3 un taux limite d’utilisation a été mis en place par IP, or notre libreto télécharge les pads toujours avec la même IP. Nous espérons que notre correctifs sera suffisant.

1 « J'aime »

Mardi 13 octobre en soirée - Maintenance sans-nuage.fr à partir de 20h

Mardi soir nous mettrons à jour sans-nuage.fr et ses applications, et si nous avons le temps, nous déploierons un ou plusieurs des services dont nous avons discuté (Framaforms, Matrix, Mobilizon).

La mise à jour étant importante, des déconnexions sont à prévoir et il est possible que certains services soient indisponibles pendant quelques heures.

Si l’opération vous intéresse vous pourrez vous joindre à nous probablement via un Big Blue Button (audio.sans-nuage.fr pouvant être indisponible durant la mise à jour).

EDIT Mercredi 14 octobre 2020 01:11: Mise à jour terminée.
Le bilan: le service hub.netlib.re/lufi est fermé plus tôt que prévu (il était déjà gelé depuis 10 jours). Le service jappix est fermé également (car caché et non utilisé).
Nous sommes passé à Nextcloud 19

1 « J'aime »

Dimanche 25 Octobre dès 23H - Installation en bêta de nouveaux services sur sans-nuage.fr

  • Déploiement d’un serveur Matrix (home server synapse) sur matrix.sans-nuage.fr (domain) Les comptes seront de la forme @user:sans-nuage.fr (@user:server_name). Le serveur est réservé aux utilisateurs sans-nuage

  • Déploiement d’un client web Matrix (Element, ex-Riot) sur chat.sans-nuage.fr . Connexion directe grâce à un compte sans-nuage via single-sign-on.

  • Déplacement de framadate sur date.sans-nuage.fr

  • Déploiement de framaforms sur sondage.sans-nuage.fr en public,

  • Amélioration du paquet YunoHost mobilizon et test de déploiement.

4 « J'aime »

Mardi 17 Novembre 00:30 - Correction d’un bug sur l’interface membre

Notre interface adherents.arn-fai.net était victime d’un bug affectant toutes les actions de l’interface adherents.arn-fai.net envoyant des emails, notamment:

  • la bonne création des comptes,
  • le renouvellement des VPN
  • la demande de nouveaux services.

Ce dysfonctionnement (qui date du 07/11/2020) est désormais résolu. Il était lié à l’échec d’une tache cron lancée toutes les 2 minutes, entraînant un refus d’envois des mails de ce cron mais aussi des autres mails envoyé par l’application.

1 « J'aime »

Mardi 24 Novembre 21:41 - Problème d’IPv6 sur certaines VM et depuis certains FAI

L’IPv6 est injoignable depuis certains FAI et sur les VM positionnées sur hwhost-1.
https://smokeping.illyse.org/?target=ISP.FFDN.ARN_v6

Passionné et passionnée d’IPv6, n’hésitez pas à nous faire des retours plus précis.

EDIT 25/12/2020 : Alors j’ai (ljf) pu trouver un peu de temps ce soir pour regarder. Le soucis arrive si ces conditions sont réunies:

  • Il s’agit d’une communication entre Free et ARN
  • Il s’agit d’une connexion en IPv6
  • L’équipement client est configuré en IPv6 first
  • La connexion ne se fait pas via un navigateur (ou thunderbird)

Il s’agit en fait du conflit entre HE et Free qui s’est déclaré en mars 2020. Free a coupé son lien de peering avec HE. De ce fait l’IPv6 de Free, ne discute plus totalement avec tout internet… https://lafibre.info/peering/free-hurricane-electric/

Toutefois ARN est chez Cogent, et Free a Cogent comme transitaire, donc on peut essayer d’arranger les choses avec BGP. Je suis en train d’essayer, désolé pour les perturbations sur IPv6.
EDIT 26/12/2020 à 2h : Bon j’ai pas réussi à avoir quelques choses de stable pour Free… Je remet comme c’était pour l’instant (pour éviter de faire pire que mieux)…

Dimanche 29 novembre 14:45 - Instabilités sur sans-nuage.fr

Certains services comme les pads étaient instables, du fait de la grande consommation de notre service synapse (matrix). Pour le moment, nous avons ajouté un peu de swap, et nous verront si c’est passager ou si nous pouvons optimiser les choses.

Dimanche 3 janvier 2021 au soir - Maintenance sur l’IPv6

Je ferais de nouvelles tentatives sur l’histoire du routage IPv6 mixte entre Cogent et HE pour permettre aux utilisateurs et utilisatrices Free de nous joindre correctement. Ceci implique que la connexion IPv6 va probablement être en dent de scie pendant la nuit.

Vous pourrez suivre les coupures avec ça: https://smokeping.illyse.org/?target=ISP.FFDN.ARN_v6

Voir message précédent pour plus d’info: https://forum.arn-fai.net/t/suivi-des-incidents-et-maintenances-majeures/371/40?u=ljf

Dimanche 31 janvier 2021 à partir de 11:00 UTC - Problème de réception d’email sur sans-nuage.fr

La liste noire spamcop que nous utilisons a oublié de renouveler son nom de domaine entraînant de nombreux mails refusés pour spam dans la journée de dimanche. Le problème a impacté des dizaines de milliers de serveurs mails.

Les choses sont désormais rentrées dans l’ordre. On va peut être faire un petit script pour que chacun et chacune reçoivent la liste des adresse d’envois qui le ou la concerne.

Du 08/02/2021 au 17/02/2021 - Problème pour créer de nouveaux VPS

On a eu un bug sur notre infra qui empêchait la création de nouveau VPS.

On a finit par le résoudre en modifiant la façon dont le grub était update au premier démarrage.

Mardi 23 février - Indisponibilité de forum.arn-fai.net

Forum indisponible durant ~10min (19h00) durant la mise à jour. Les mises à jour de Discourse nécessitent parfois d’intervenir sur la machine pour relancer la construction des dockers.

Jeudi 25 mars - Certificat expiré pour adherents⋅arn-fai.net

L’espace membre était inaccessible ce matin à cause d’un certificat expiré. La génération du certificat a été relancé sans problème particulier.

Samedi 17 avril 2021 - Visite au Datacenter

Installation d’un abonné Housing + récupération de disque dur sur un autre serveur.

Dimanche 18 au 25 avril 2021 - Attaques DNS

Nous subissons depuis 1 semaine des attaques DNS (ou un usage intensif de notre serveur DNS ouvert).

Le 25 avril 2021 à 1h00 : Mise à jour des paquets pour voir si il y a un correctif de unbbound qui résout le soucis.

Vendredi 23 avril 2021 - Incident de stockage sur sans-nuage.fr

Suite à un bug de lufi__3, le disque de sans-nuage.fr était plein. Le problème a été corrigé samedi à 1h du matin. Plusieurs services comme Nextcloud ou Wekan étaient touchés.

1 « J'aime »

Jeudi 06 mai - Maintenance

Ce soir on fait une soirée de maintenance, on a prévu de toucher à ces éléments:

  • Sans-nuage.fr :
    • Vérification des sauvegardes
    • Optimisation etherpad / libreto
    • Maj bridge whatsapp / matrix
    • Création d’un compte association
    • Ajout de ram (si pas déjà fait)
    • Ajout de disque dur
  • Création d’une VM yunohost pour arn-fai.net pour y déplacer :
    • Mail en @arn-fai.net
    • Siteweb en @arn-fai.net
    • Espace membre (COIN)

Nous y gagnerons la possibilité d’avoir des boites mail en @arn-fai.net avecSPF et dkim, la réparation du problème de certificat, le backup/monitoring intégré de yunohost

  • Création de VPS
  • Test accès aux PDU (prise électrique manipulable à distance)

EDIT 21:30: Sans-nuage est injoignable, des services vont être coupés pour permettre la fin de la mise à jour
EDIT 22:30: De la ram a été rajouté à la VM sans-nuage
EDIT 00:47: On a récupérer les accès aux PDU :slight_smile: On est en train d’ajouter 250G de disque à sans-nuage.fr (préalable pour le compte asso) . La création de la VM arn-fai.net et celles des VPS en commande a été repoussée. La séance s’arrête ici pour ce soir on reprendra peut être demain soir.

2 « J'aime »

Dimanche 16 Mai - Fix sur un VPN

Correction d’un bug sur le renouvellement/création de VPN avec une ip terminant par un seul chiffre.

1 « J'aime »

Mardi 25 mai à 23:20 - Sans-nuage.fr Maintenance

On finit le setup du disque dur
Nextcloud, Framaforms, Matrix, Les mails seront éteint pendant quelques minutes.

Jeudi 27 mai - Panne sur le mécanisme de mise en relation du bridge whatsapp/matrix

Suite à une mise à jour de notre bridge il apparaît que notre mécanisme de mise en relation est en panne. Les conversations déjà configurées continuent de fonctionner.
On éditera ce post dés que c’est rentré dans l’ordre.

EDIT 5 juin 2021: le bridge est toujours en panne, nous sommes peut être blacklisté (ou alors nous devons revalider le qrcode) - affaire à suivre

Samedi 5 juin 2021 - Maintenance sur le provisionnement des comptes sans-nuage.fr

Comme annoncé précédemment, nous avons mis en place une nouvelle offre sur sans-nuage. Il y avait un petit bug avec le programme chargé de créer les comptes, c’est désormais résolu.

Ci-dessous, les infos sur les nouvelles offres:

  • Les comptes sans-nuage individuels passent de 2G à 5G (répartis par défaut à 2G pour le mail et 3G pour le nextcloud). Vous pouvez demander par mail à changer la répartitions de vos 5G.
  • Il est possible d’avoir un compte individuels supplémentaire pour 12€/an (par exemple pour un membre de votre famille qui ne tient pas spécialement à adhérer à ARN)
  • Un compte spécial pour les petites associations a été créé, il coûte 35€/an (en plus de l’adhésion à 15€). Il permet d’avoir 15G répartit par défaut à 5G pour le mail et 10G pour nextcloud. Ce compte permet de créer jusqu’à 10 comptes supplémentaires (sans coûts supplémentaires) avec 1G de mail et 0 pour nextcloud. Les 10 comptes ainsi créé se retrouvent dans un groupe YunoHost au nom de l’utilisateur créé sur l’espace adhérent. Il est alors possible de partager les 10G de nextcloud entre tout ces comptes.

Lundi 5 Juillet - Mises à jour de Matrix et Mumble

  • arn-messager - A tester
  • Element - OK
  • Synapse - OK
  • Mumble - OK
  • Installation de Mumble Web - A tester

Edit 8/7 Re-mise en place de l’extinction du bridge whatsapp la nuit entre 1H et 7H.

Mardi 20 juillet - Mises à jour Nextcloud + réparation de la remontée des statuts pour les VPS

Pour des raisons de sécurité nous allons procéder à la mise à jour de Nextcloud.

Le script de remontée des statuts de vos VPS a également été mis à jour pour que la pastille associée à ce service dans l’interface adhérents (COIN) soit de la bonne couleur selon le statuts.

2 « J'aime »