Suivi des incidents et maintenances majeures

Jeudi 12 Janvier à partir de 18H - Mise-à-jour majeure de sans-nuage !

Jeudi à partir de 18H et sûrement jusqu’à minuit, nous allons mettre-à-jour le serveur sans-nuage.fr de Yunohost 4 (Debian 10) à Yunohost 11 (Debian 11).
Des coupures sont à prévoir, y compris sur Nextcloud et Synapse. Le forum devrait rester accessible si vous voulez nous contacter.

Le serveur synapse a été mis-à-jour vers la version 1.74.0. Matrix et les bridges ont été coupé le 11/01 vers 23H jusqu’au 12/01 10H30.

Le Jour J - 12.01

La procédure et son avancement peuvent être suivis sur le pad : https://pad.lqdn.fr/p/libreto+arn-infra+migration+sans-nuage+yunohost+11
On sera connectés sur https://visio.colibris-lemouvement.org/b/als-bfk-obk-sjg ou un mumble indiqué sur le pad en cas de souci.

  • 18H : Reboot du serveur sans-nuage.fr pour éliminer des problèmes éventuels de Kernel liés à des màj précédentes

  • 23H : On va devoir restaurer la base de données de Matrix et Yakforms à l’état de 14H. Donc on risque de perdre les données de l’après-midi et de la soirée.

  • mise-à-jour vers Yunohost 11 effectuée

  • 13H : Bilan d’étape de cette difficile migration:

    • Notre matrix avec ses bridges signal et whatsapp est restauré dans sa configuration d’hier après-midi 13h, ceci implique que vous avez peut être perdu les clés de déchiffrement des messages d’hier après-midi/soir.
    • OnlyOffice, et drop.sans-nuage.fr ne sont pas encore fonctionnel
  • 14/01/2023 : Drop et searx sont réparés

  • 16/01/2023 : OnlyOffice est de retour. Tout est de nouveau fonctionnel :partying_face:

2 « J'aime »

Janvier-Février 2023 - Suivi réparation bridge WhatsApp et conversation bridgées

A notre connaissance les conversations bridgées avec Signal sont rentrées dans l’ordre rapidement.

Par contre on nous rapporte encore des problèmes avec les conversations WhatsApp. Venez nous les rapporter sur #arn:sans-nuage.fr

Voici des pistes pour résoudre le problème vous-même :

1. Je reçois les messages mais les miens ne sont pas reçus sur WhatsApp

Explication: C’est probablement que la passerelle n’est pas configurée en mode relai, donc seuls les messages provenant de l’utilisateur logged in #arnmessager:sans-nuage sont envoyés vers WhatsApp

→ lancer la commande !am whatsapp
→ Si ça ne marche pas, lancer !am reset

2. Plus rien ne se passe dans mon ancien salon, mais un nouveau salon identique a été créé

Explication : En perdant ce qu’il y avait dans la base de données du bridge entre février 2022 et janvier 2023, le bridge a perdu l’association entre groupe whatsapp et salon matrix. Donc croyant qu’il n’en existait pas, il a créé un nouveau salon. Par contre nous ne comprenons pas comment il a pu inviter votre compte matrix dans ce nouveau salon.

→ utiliser le nouveau salon.
→ Dans le futur il sera possible de bridger un salon matrix existant avec un groupe whatsapp existant.

3. Plus rien ne se passe dans mon ancien salon et aucun nouveau salon n’a été créé

cf. l’explication ci-dessus. Un nouveau salon a été créé, mais votre utilisateur n’a pas été invité.
Les gens dans le groupe WhatsApp ont du recevoir le message de bienvenue leur demandant d’inviter votre compte matrix. Si vous lancez !am whatsapp dans l’ancien salon, un nouveau groupe whatsapp sera créé Successfully created WhatsApp group ■■■■■■■■■■■■■■■■■■■ mais a priori personne ne sera dedans côté whatsapp, donc ça nous avance pas…

→ Demander à quelqu’un dans le groupe WhatsApp de taper !am @votrepseudo:sans-nuage.fr.
→ Si ça ne marche pas, ils peuvent ejecter le numéro de tel ARN du groupe puis recommencer la procédure complète
→ Dans le futur il sera possible de bridger un salon matrix existant avec un groupe whatsapp existant.

2 « J'aime »

9 Février 2023 : Intervention cogent sur le réseau

Intervention de Cogent au Datacenter, de 04:00 à 07:00 pour une durée d’une heure environ.

EDIT: Ca s’est bien passé (par contre nous a eu des soucis sur sans-nuage)

9 Février 2023 soir: Mise à jour de plusieurs apps sur sans-nuage.fr et passage à YunoHost 11.1

Tout s’est déroulé comme prévu.

1 « J'aime »

18 février: Tous les domaines en arn-fai.net sont blacklistés

Oui, nous sommes blacklistés par Google Safe Browsing sous prétexte que notre site incite « les internautes à fournir des informations personnelles ou à télécharger des logiciels ».

Et dans les faits c’est vrai, oui, nous incitons nos membres à adopter des solutions plus vertueuses.

Mais non, notre site n’est pas malveillant et n’a pas été piraté.

A chacun et chacune de voir en qui iel a confiance sur ce thème, Google ou nous.

Ce site est trompeur - Firefox a bloqué cette page, car elle pourrait vous amener à réaliser des actions dangereuses comme installer un logiciel ou révéler des informations personnelles telles que vos mots de passe ou votre numéro de carte bancaire. Avis émis par Google Safe Browsing.

https://toot.aquilenet.fr/@arn_fai/109886208282932123

Suivi de l’incident pour préparer une action en justice

2 « J'aime »

09 Mars : plusieurs services coupés au cours de la journée

Ce matin vers 10H le service de pad a été coupé quelques temps.
Puis cet après-midi la plupart des services donc nextcloud et synapse sont tombés.
Les services ont pu être redémarrés vers 18H et tout devrait être rentré dans l’ordre.

A nouveau notre instance synapse a posé problème et entrainé le bloquage des autres services.
Ceci confirme l’intérêt de répartir les services sur plusieurs serveurs. Par exemple nous aimerions séparer les services liés à matrix des autres services. Avis aux contributeurs :smiley:

1 « J'aime »

Depuis le 20 Mars au moins : problèmes de connectivité VPN et résolveur DNS

Depuis le 20 Mars au moins on nous signale des problèmes de connexion sur notre résolveur DNS (sur Firefox mobile et surement Firefox aussi). C’est sûrement la cause des problèmes de connexion aux VPN qui nous sont signalés aussi.

Jusque là aucun bénévole n’a pu se pencher dessus, cf https://forum.arn-fai.net/t/benevolat-et-remuneration/7418
Si quelqu’un ayant des compétences techniques veut regarder : « faudrait regarder sur le resolveur si il y a une attaque en cours (regarder la bande passante dans zabbix) et si c’ets le cas, il faut regarder si ça vient d’ip en particulier qu’on pourrait blacklister »

Travaux sur le résolveur DNS

Une grosse mise à jour va être effectué sur le résolveur DNS dans les prochaines minutes.
Ne soyez pas étonné si vous rencontrez des problèmes durant ce laps de temps.

edit: La mise à jour c’est bien passée :smiley:

1 « J'aime »

16 mars 2023: Ajout de serveur au datacenter

Dans le but d’améliorer notre infrastructure, nous allons à 14h placer un ou 2 nouveau serveurs 2U.

Cette intervention vise à constituer un cluster proxmox pour étendre nos capacités d’hébergement de VPS et améliorer les outils à dispositions des personnes hébergées. Il s’agit d’une première phase de test.

26 mai 2023: Amélioration de sans-nuage.fr

Le moteur de recherche utilise désormais searxng pour éviter de se faire blacklister les moteurs de recherche trop vite (il y a encore un peu de travail à ce sujet)

Le portail est désormais publié sur https://sans-nuage.fr , ne pas hésiter à l’inclure comme page d’accueil de votre navigateur :slight_smile:

2 « J'aime »

27 mai 2023: Installation d’un serveur pour des membres d’ARN

Ce matin nous installons un serveur dans le cadre de l’offre housing, pas d’interruption prévue sauf si on fait une grosse erreur.

EDIT: le serveur est up, pas de soucis particulier :partying_face:

3 « J'aime »

31 mai 2023: Panne sur sans-nuage

Plusieurs services étaient impactés ce matin, désolé pour la gène occasionné, tout devrait fonctionner de nouveau.

31 mai 2023: Panne VPN

Depuis le début de soirée nous rencontrons des problèmes avec le service VPN.
Si ça ne fonctionne pas en UDP, tenter, temporairement, de passer en TCP.

edit 01/06/2023: Tout fonctionne à nouveau correctement.

Dimanche 4 juin de 9h00-9h30 - Mise à jour du forum

Interruption de service durant ~30min suite à une mise à jour de docker / discourse
La mise à jour depuis le serveur entraîne toujours une interruption de service et il n’existe pas de mode maintenance (toute la partie docker étant down pendant ce temps là).

Les préconisations étant une mise à jour via l’interface web 2x par mois, une mise à jour via ssh tout les 2mois. (https://meta.discourse.org/t/manually-update-discourse-and-docker-image-to-latest/23325)

2 « J'aime »

Jeudi 8 juin - Mise à jour sans-nuage

Pour des raisons de sécurité nous mettons à jour Nextcloud et profitons de ce moment pour mettre à jour d’autres apps.

Mercredi 14 juin - Mise à jour seaxng

Searxng est le meta-moteur de recherche utilisé par https://sans-nuage.fr

Ce matin searxng a été mis à jour et sa configuration améliorée pour configurer une base redis et un limiteur de façon à ce que nous ne soyons plus blacklisté par duckduckgo. Adieu le message rouge qui s’affiche en plus des résultats. \o/

1 « J'aime »

Vendredi 16 juin - Panne sur le résolveur DNS

Notre résolveur DNS était en panne toute la journée, désolé pour le dérangement.

Vendredi 30 juin - Panne sur des services que nous recommandons + intermittence du résolveur DNS

Il semble que de nombreuses instances invidious et nitter soient pannes dont celles que nous recommandons sur le portail sans-nuage.fr . Ces services servent à consulter respectivement youtube et twitter sans aller sur ces sites. Les pannes sont lié à des mesures prises chez youtube et twitter pour empêcher ce genre de proxy d’exister.

Par ailleurs, nous continuons d’observer des intermittences de fonctionnement de notre résolveur DNS. N’hésitez pas à passer par exemple ceux d’aquilenet en priorité.

EDIT 10/07/2023: La panne sur le Nitter (pxy twitter) de la Contre-voie est résolue.

8 juillet 2023 - Panne sur le résolveur DNS

Le résolveur DNS était H.S depuis ce matin ~7h, il est désormais de retour.

2 « J'aime »

18 juillet 2023 - Panne VPN

Les VPN étaient non fonctionnels depuis ce matin ~9h.
Ils sont désormais à nouveau opérationnels !

1 « J'aime »