Rénovation du routage

[totor]

Hello tout le monde.

Afin de s’occuper un peu durant ce bel été qui à si bien commencé (La cannicule, je te voit…), je propose de faire un point réseau et bai chez Arn.
Dans notre exercice 2024 → 2025, on en à eu des choses à vivre. Dont le magnifique décès de HW-HOST1 pile après la migration des derniers VPS qui restaient dessus.
Mais depuis ce tragique moment, nous tournons en mode dégradé…

Mais Totor ? Comment ça mode dégradé ? On à augmenté en débit et j’ai pas eu de problème de réseau moi !!!

Oui, car on à fait en sorte que sa fonctionne quand même pardit ! Mais ca pose un problème :

• A la place d’avoir deux sorties réseau, on en à qu’une (coucou HW-HOST2 qui tourne QUE pour ça) → plus de backup en cas de crash de notre vénérable HWHOST2.
• On à pas réussi à utilisé le switch WAN qu’on utilisait de base, on passe par … le switch de management des serveurs… La sécurité toussa toussa…
• On à routé les IPs à la zob. Oui, vous avez bien lu, bon, sa s’explique qu’on était rincé et que « tant que sa marche ».

Bon, l’inter de migration VPS à fait des dégats, certes, mais comment on répare ça?
J’aurais eu tendance à dire ça :

mais, c’est devinable, y’aura de la coupure de service…

Mais aussi, y’a quoi à faire pour retrouver un truc propre ?
Voici une liste non exaustive !

• Migrer la session BGP présente sur HW-HOST2 vers HW-HOST3/4.
• Reconfig la première session BGP sur HW-HOST3/4 (où autre proposition, j’y viens).
• Reconfig le VRRP et sécurisé notre accès Internet 1Gbps si durement acquis.
• Router les subnets au propre sur les deux routeurs ofc.
• Retirer les corps de HW-HOST1 & HW-HOST2.
• Refaire un cablage propre car c la cata.
• Where is the PDU ?

C’est du taff ouais, mais c’est possible, mais pas grace à la carte Kiwi…

Mais totor, ta proposer de reconfig la première session BGP autre part que sur HW-HOST où 4, mais on va la mettre où alors ???
Bahhh, j’ai sous la main un routeur 1U (Mikrotik CCR2004-1G-12S-2XS) suite à la fermeture de ma boite perso. Vue que je peut plus avoir le U à TH2 où il était initialement, je lui cherche un nouveau logis tout frais (voir plus frais qu’à TH2 et ces 26 degrès…), et ca ma fait tilt ! → Pourquoi pas proposé à ARN de l’utiliser comme un routeur qui remplacerà HW-HOST1 et que en contrepartie, j’annonce mon petit /24 IPv4 & /32 IPv6 ? (et jcompte mettre un serv aussi mais en payant ofc).
C’est à ce moment, que le choix du public / CA est important, car si je fait ça tout seul, en obligant ma vision etc, ca commence mal…

Je propose qu’on en discute ici, car j’ai fait qu’énumérait ce que j’ai remarquer, vous pouvez aussi avoir d’autres trucs à faire, d’autres façons de faire etc…

Bref, faut qu’on en parle

[ljf]

J’ai pas le temps de répondre en détail, mais personnellement, pour des raisons de simplicité, je souhaite que les nœuds proxmox ne deviennent pas les nœuds de routage BGP. (ou à la limite dans une VM, mais c’est un coup à tout faire tomber). Mes raisons sont simples, c’est plus simple de debug le réseaux (et notamment l’ipv6 si tout n’est pas mélangé). Mais, je crois qu’on était pas tous d’accord là dessus.

Pour le routage de ton AS, ça se discute, il y a quelques temps, il y avait une page qui expliquait que ARN pouvait router l’AS de quelqu’un si besoin. Néanmoins, le savoir faire manquant un peu, je pense que la proposition avait été retiré.

Pour ce qui est du routeur matériel, j’ai pas le temps d’en causer ici pour l’instant.

[totor]

Tkt pas, Je n’attend pas une réponse à la minute non plus.
C’est surtout un sujet qu’on va pas pouvoir éviter dans le futur.

Sujet routage AS : J’ai ce qu’il faut en connaissance pour le faire (CF mes année d’hébergeur et mon poste sur le backbone IP Adista ^^)

[ced117]

@totor

• On à pas réussi à utilisé le switch WAN qu’on utilisait de base, on passe par … le switch de management des serveurs… La sécurité toussa toussa…

Ne me lance pas dans un débat comme ça…

@totor

• A la place d’avoir deux sorties réseau, on en à qu’une (coucou HW-HOST2 qui tourne QUE pour ça) → plus de backup en cas de crash de notre vénérable HWHOST2.

Je souhaite, personnellement, utiliser HWHOST-3 comme première session BGP.
Des membres fondateurs de l’assocation on fait ce choix pour de très bonnes raisons, mais je vais pas me lancer dans ce débat non plus, ce serait une discussion sans fin

Après, effectivement, on peut toujours utiliser un routeur dédié à cela.
Mais dans un premier temps, ce serait bien qu’il ne gère « que » notre AS.

Si on part de ce principe là, rien n’empêche d’avoir un « vrai routeur » dédié à cela et utiliser hwhost-3 comme entrée bgp secondaire.

@totor

• Migrer la session BGP présente sur HW-HOST2 vers HW-HOST3/4.

C’est bien ce que j’ai commencé à faire, mais pas terminé encore.

@totor

Retirer les corps de HW-HOST1 & HW-HOST2.

Le « corps » de hwhost-1 peut toujours être utilisé, il me semble que ce n’est que les disques qui posent problèmes à ma connaissance, ou vous avez piquez de la ram ou je ne sais quoi dans cette pauvre bête ?
hwhost-2 RESTE dans la baie, pour l’instant. J’insiste là dessus.

@totor

• Refaire un cablage propre car c la cata.

Ca aussi je voulais déjà le faire, mais c’est sur ma todo list.

@totor

• Where is the PDU ?

What ?
Deux PDU c’est pas déjà assez, ou peut-être trouver quelque chose de plus récent peut-être ?
Genre un modèle qu’on peut fixer dans le côté de la baie ?

Voilà, je balance ma pierre dans la marre

[totor]

@ced117

Deux PDU c’est pas déjà assez, ou peut-être trouver quelque chose de plus récent peut-être ?
Genre un modèle qu’on peut fixer dans le côté de la baie ?

Peut être que j’ai pas fait gaffe / oublié, j’avoue que le bordel de cable ma plus marqué.

@ced117

Le « corps » de hwhost-1 peut toujours être utilisé, il me semble que ce n’est que les disques qui posent problèmes à ma connaissance, ou vous avez piquez de la ram ou je ne sais quoi dans cette pauvre bête ?

On à juste retirer tout les disques pour le moment, faut qu’on détermine ce qu’on en fait avec d’autres machines qu’on à (je sais pas où est-ce que sa en est les autres bécanne récup pour ARN)

@ced117

C’est bien ce que j’ai commencé à faire, mais pas terminé encore.

Sans remettre la première session BGP sur un des deux hosts et reconstruire le VRRP, un peu hard sans coupé le service In the to-do liste de toute manière.

@ced117

Ne me lance pas dans un débat comme ça…

le débat n’est pas le fait que c’est trop sécurisé, c’est qu’on à pas réussir à l’utilisé quand HW-HOST1 à disparus, le mieux serait de revenir sur ce switch non ?

@ced117

Je souhaite, personnellement, utiliser HWHOST-3 comme première session BGP.
Des membres fondateurs de l’assocation on fait ce choix pour de très bonnes raisons, mais je vais pas me lancer dans ce débat non plus, ce serait une discussion sans fin

Après, effectivement, on peut toujours utiliser un routeur dédié à cela.
Mais dans un premier temps, ce serait bien qu’il ne gère « que » notre AS.

Si on part de ce principe là, rien n’empêche d’avoir un « vrai routeur » dédié à cela et utiliser hwhost-3 comme entrée bgp secondaire.

Il faut clairement refaire le VRRP comme c’était avant, y’a juste comment on met ca sur HWHOST3, comme cétait sur 1 & 2 où on fait une VM pour ça ? C’est surtout cette question qui divise chez ARN.

@ced117

es membres fondateurs de l’association on fait ce choix pour de très bonnes raisons, mais je vais pas me lancer dans ce débat non plus, ce serait une discussion sans fin

Avoir les raisons ce serait un +, j’ai pas tout les aboutissant a part éviter le « vol d’IP » clairement surévaluée chez ARN (avis perso). (genre avec mon hébergeur, y’a eu aucun utilisation abusive des IPs, pourtant j’avais des botteur dofus qui chercher de l’ip non blacklist à tout pris).

[ljf]

@ced117

hwhost-2 RESTE dans la baie, pour l’instant. J’insiste là dessus.

Oui ça il y a pas de soucis, soit en spare, soit ce sera intégré au cluster proxmox un de ces 4.

[ljf]

@totor

Il faut clairement refaire le VRRP comme c’était avant, y’a juste comment on met ca sur HWHOST3, comme cétait sur 1 & 2 où on fait une VM pour ça ? C’est surtout cette question qui divise chez ARN.

Perso c’est surtout la partie BGP que je souhaite éviter sur les nœuds du cluster. Pour uCarp (vrrp) et cie, là ça me choque moins. Même si dans l’absolue, j’aurais bien vu 2 petites machines pour le routage BGP + ucarp (en gros ce qui permet de faire tourner le housing + notre propre cluster).

@totor

Avoir les raisons ce serait un +

Idem, perso je me souviens plus bien. J’ai jeté un oeil sur cette doc, ça explique pourquoi à l’époque il y avait quagga et bird https://wiki.arn-fai.net/benevoles:technique:routage

Sur le fait d’utiliser les mêmes machines, il me semble que c’était aussi par soucis d’économie (et parce que c’était un cluster à 2 nœuds). Je crois qu’il y avait quelques astuces qui simplifiait la conf iBGP aussi. Et puis je pense que lg ou johndescs souhaitait peut être éviter les routeurs matériels.

Enfin, bref si tu te souviens ce serait cool de partager .

@totor

On à juste retirer tout les disques pour le moment, faut qu’on détermine ce qu’on en fait avec d’autres machines qu’on à

J’attends toujours de la participation à ma proposition pour la seconde vie de nos SSD 512Go https://forum.arn-fai.net/t/avenir-de-nos-ssd-de-512go/10545

[Optogram]

La dernière fois que ce sujet a été évoqué, nous avions proposé d’utiliser deux mini-pc pour gérer les routes.

Maintenant, @totor , tu nous proposes un switch costaud pour faire ce travail, c’est ça ?

Et enfin, quel avenir pour les anciens Hwhost-1 et 2 ? Pourquoi tu tiens tant à le conserver dans ses fonctions @ced117 ?

[totor]

@ljf

Perso c’est surtout la partie BGP que je souhaite éviter sur les nœuds du cluster. Pour uCarp (vrrp) et cie, là ça me choque moins. Même si dans l’absolue, j’aurais bien vu 2 petites machines pour le routage BGP + ucarp

On va arrivé à un problème de routage assez alembiqué à gérer si on met le vrrp et cie en derhors du routeur qui gère le BGP dans notre cas.

[ced117]

@totor

Peut être que j’ai pas fait gaffe / oublié, j’avoue que le bordel de cable ma plus marqué.

Ha oui, le câblage, comme dit, c’est prévu

@totor

Sans remettre la première session BGP sur un des deux hosts et reconstruire le VRRP, un peu hard sans coupé le service In the to-do liste de toute manière.

Effectivement, y’aura forcément une coupure de service, il n’y aura pas le choix.

@totor

Il faut clairement refaire le VRRP comme c’était avant, y’a juste comment on met ca sur HWHOST3, comme cétait sur 1 & 2 où on fait une VM pour ça ? C’est surtout cette question qui divise chez ARN.

Perso, je serais plutôt partisant de refaire comme c’était avant, sur deux noeuds séparé.

@totor

le « vol d’IP » clairement surévaluée chez ARN (avis perso).

surévaluée c’est un bien grand mot, mais comme dit, on va pas se lancer dans se débat sans fin.

[ced117]

@ljf

Oui ça il y a pas de soucis, soit en spare, soit ce sera intégré au cluster proxmox un de ces 4.

Oui, je pense qu’on pourra clairement l’intégré au cluster promox, et la laissé couper, garder la machine comme secours.

@Optogram

La dernière fois que ce sujet a été évoqué, nous avions proposé d’utiliser deux mini-pc pour gérer les routes.

Oui, il me semble que @ljf m’en avait parlé.
Ca pourrait être quelque chose à envisager
C’est juste que rajouter des machines, ça va encore nous rajouter du boulot en plus.
Ou a la limite, un mini-pc « master » et utiliser un hwhost comme « slave ». (ça fera déjà une machine en moins )

@Optogram

Et enfin, quel avenir pour les anciens Hwhost-1 et 2 ? Pourquoi tu tiens tant à le conserver dans ses fonctions @ced117 ?

A priori, dans hwhost-1 c’est juste les disques qui manquent. (à confirmer, j’était persuadé qu’on avait piqué de la ram dessus)
Voir ma réponse plus haut pour hwhost-2

@totor

On va arrivé à un problème de routage assez alembiqué à gérer si on met le vrrp et cie en derhors du routeur qui gère le BGP dans notre cas.

Oui, clairement, tout ça, ça devra rester ensemble.

[totor]

@ced117

A priori, dans hwhost-1 c’est juste les disques qui manquent. (à confirmer, j’était persuadé qu’on avait piqué de la ram dessus)

En tous cas, quand je suis passé, on avait pas ouvert la bécanne, on avait jsute récup les disques pour récup les dernières données qui trainée dessus.

@ced117

C’est juste que rajouter des machines, ça va encore nous rajouter du boulot en plus.

Ce genre de bécanne, sa reste standalone comme y faut, tu fait un bon fail2ban + tu fait répondre le ssh que sur un VPN ARN et le problème est réglée.

@ced117

Voir ma réponse plus haut pour hwhost-2

Tu justifie pas ton résonnement de laisser HW-HOST2 pour le coup

[ced117]

@totor

En tous cas, quand je suis passé, on avait pas ouvert la bécanne, on avait jsute récup les disques pour récup les dernières données qui trainée dessus.

Oui, effectivement, j’ai eu confirmation que y’a bien juste que les disques qui ont été retirés.
Du coup, cette machine (tout comme hwhost-2) pourra aussi être conserver en tant que spare/secours si besoin.

@totor

Ce genre de bécanne, sa reste standalone comme y faut, tu fait un bon fail2ban + tu fait répondre le ssh que sur un VPN ARN et le problème est réglée.

Certe, mais ça nous fait toujours du boulot plus.

[sepp]

J’ai une proposition
Il me reste un server dell up to date et pret à être raqué.

On installe un serveur proxmox dessus et on place une VM ganeti pour recréer notre cluster ganeti. Si ça tourne bien, on débranche hw-hsot 2 et on fait la même chose.

On installe proxmox dessus et on met une seconde vm ganeti. Cela permet de mettre en place un cluster tout en proxmox mais d’avoir la partie rootage sur deux serveurs dédiés qui ne font que ca.

[totor]

@sepp

Cela permet de mettre en place un cluster tout en proxmox mais d’avoir la partie rootage sur deux serveurs dédiés qui ne font que ca.

La conso elec de deux serv juste pour du routage me parrait énorme si on utilise les historique HW-HOST1 & 2?

[ljf]

Ganeti c’était juste pour le cluster de vm, on en aura bientôt plus besoin dès que openvpn et la vm d’un membre seront migrés.

Mettre le routage uniquement dans des VM c’est dangereux je pense. C’est ce que fait neutrinet mais iels savent particulièrement bien gérer le réseau et la haute dispo (de ce que j’ai vu). Et au final, le setup n’est maîtrisé que par une voir 2 personnes.

Une solution intermédiaire, pourrait être de faire le routage dans une machine physique + une VM du cluster. La machine physique peut soit être le routeur physique de @totor soit être une petite machine qui fait une hauteur d’1 U mais qui prend peu d’espace en largeur et profondeur (genre hp prodesk).

Faut voir aussi qu’on a besoin d’un genre de bastion pour accéder aux IPMI/BMC (actuellement débranchés pour des raisons de sécu).

[ced117]

@ljf

Une solution intermédiaire, pourrait être de faire le routage dans une machine physique + une VM du cluster. La machine physique peut soit être le routeur physique de @totor soit être une petite machine qui fait une hauteur d’1 U mais qui prend peu d’espace en largeur et profondeur (genre hp prodesk).

Donc oui, on pourrait toujours partir là dessus, une petite machine dédié et une VM en secours donc.
Soit pourquoi pas.

En tout cas, clairement, tout comme @ljf, mettre le routage uniquement dans des VM, je suis par pour non plus. Pas l’idéal selon moi.

Pour l’histoire des IPMI/BMC oui, faut voir ce qu’on peut faire.