La base de données Matrix peut gonfler vite et fort

Description du bug

La base de donnée de notre instance a tendance a gonfler, un reindex est nécessaire régulièrement et on pourrait vouloir nettoyer les évènements.

TODO

Cloisonner

  • Déplacer l’instance matrix et ses bridges sur une autre instance ?
  • OU associer un quota à la base de données et à l’utilisateur synapse pour éviter qu’il dépasse la taille autoriser

Nettoyer et compresser

  • Écrire une action de reindex de la base de donnée que l’on pourra facilement lancer (dans un cron, ou via panneau d’admin yunohost)
  • Étudier ce qui pourrait être nettoyer dans la base (notamment certaines tables consommatrices qui stockent tous les event)

vlà la solution, faut juste fournir de pré-build de https://github.com/erikjohnston/synapse-find-unreferenced-state-groups à josue
https://github.com/YunoHost-Apps/synapse_ynh/pull/510

ensuite faudra tester si les settings de rétention font leur boulot.
cf. https://forum.arn-fai.net/t/protection-des-donnees-sur-element-matrix/7508

Et éventuellement ajouter des tâches de cleanup supplémentaires dans le cron

update en cours

https://github.com/YunoHost-Apps/synapse_ynh/pull/510

https://github.com/YunoHost-Apps/synapse_python_build/pull/1

a priori c’est résolu

  1. Unreferenced state group cleanup job in v1.126.0rc2 caused explosion in number of state group state rows element-hq/synapse#18217
  2. Cleanup deleted state group references element-hq/synapse#18165
  3. Add background job to clear unreferenced state groups element-hq/synapse#18150
  4. Fix bug where purging history could lead to increase in disk space usage element-hq/synapse#18131
2 « J'aime »

En fait non mais bientôt https://github.com/element-hq/synapse/pull/19181

en fait non, ça concerne autre chose. Il faut donc toujours lancer le nettoyage avec synapse-find-unreferenced-state-groups

1 « J'aime »

Comment et où tu dois lancer cette commande ?

je complèterai la doc’ quand je lancerai le nettoyage ce soir https://wiki.arn-fai.net/benevoles:technique:yunohost_mutu#nettoyer_la_base_de_donnees

du coup le script est maintenant lancé automatiquement chaque lundi à 00:00 UTC

cf. https://github.com/YunoHost-Apps/synapse_ynh/pull/510

2 « J'aime »

Ce sujet a été automatiquement fermé après 7 jours. Aucune réponse n’est permise dorénavant.

Le script/cron échoue :

/var/www/synapse/synapse_clean_unreferenced_states.bash: 7: source: not found
/var/www/synapse/synapse_clean_unreferenced_states.bash: 9: ynh_app_setting_get: not found
/var/www/synapse/synapse_clean_unreferenced_states.bash: 10: ynh_app_setting_get: not found
/var/www/synapse/synapse_clean_unreferenced_states.bash: 11: ynh_app_setting_get: not found
/var/www/synapse/synapse_clean_unreferenced_states.bash: 12: ynh_app_setting_get: not found
Sys. de fichiers Taille Utilisé Dispo Uti% Monté sur
udev               7,8G       0  7,8G   0% /dev
tmpfs              1,6G    688K  1,6G   1% /run
/dev/sda1          217G    126G   81G  61% /
tmpfs              7,9G     23M  7,8G   1% /dev/shm
tmpfs              5,0M       0  5,0M   0% /run/lock
/dev/sdb           492G    308G  162G  66% /mnt/hdd
/var/www/synapse/synapse_clean_unreferenced_states.bash: 24: Syntax error: redirection unexpected