Re: glusterfs on proxmox
Mandi! Piviul
In chel di` si favelave...
Uff, sempre a me tocca... ;-)
>> Qualcuno usa glusterfs in situazioni analoghe?
[...]
>> In altre parole che voi sappiate xfs ha aumentato l'affidabilità negli
>> ultimi anni, ci si può contare?
Sto usando glusterfs 'ad experimentum' per realizzare uno share samba,
usando il modulo vfs nativo, tra due sedi remote.
Ad experimentum perchè attualmente tra le due sedi ho 2Mbit/s e sono
oggettivamente troppo pochi...
> In effetti perché allora non usare Ceph? Pensavo a glusterfs anzitutto
> perché qualcuno me lo aveva suggerito in lista e poi perché non vorrei
> appesantire i nodi proxmox con lo storage e mi piacerebbe quindi tenere
> separati fisicamente il cluster pve con il cluster di storage...
> glusterfs ha una documentazione molto user friendly e mi è subito venuto
> voglia di provarlo mentre ceph non so... mi fa un po' più di timore.
>
> Comunque è possibile anche con ceph usare proxmox come client e tenere
> separati i ceph nodes vero? Qualcuno ha esperienza in merito?
Ceph va molto bene, ma è un sistema pensato per 'scalare' molto: il numero
minimo di nodi è 3, il che implica per te avere 'altri tre nodi'.
Poi è vero che potresti avere il cluster PVE e i tre nodi separati da
questo, ma ormai in PVE6 hanno integrato così bene ceph nel cluster che non
ti conviene proprio.
Con tre nodi, è anche possibile fare una configurazione mesh 'switchless':
https://pve.proxmox.com/wiki/Full_Mesh_Network_for_Ceph_Server
In generale, alcune hint/info:
- tre nodi sono pochi; nel caso che tu abbia un problema (a un nodo o a un
disco), il cluster ne soffrirà un po'. Tutto dipende da cosa devi
farci... io ci ho messo anche un centralino asterisk, e quando salta in
disco per una manciata di secondi il centralino soffre.
- NON devi comprare hardware 'di lusso': in particolare NON devi comprare
controller RAID hardware o che non possano essere messi in JBOD.
- tanta RAM; mi pare che la regola fosse 2GB SO + 1GB per ogni TB di
spazio MINIMO.
- NON ha senso fare RAID, la ridondanza la gestisce Ceph e il SO lo
reinstalli in 5 minuti se serve (la configurazione è nel cluster).
- NON comprare SSD che non siano 'server grade', detta in altro modo: NON
fare un cluster con SSD 'consumer grade'.
Ti consiglio un disco SSD per il sistema operativo e per la cache/journal
degli OSD (o meglio, un disco per il SO e un disco per cache/journal) e quanti
dischi dati vuoi/ti stanno, e della dimensione che preferisci. Ovviamente
meglio due dischi da 2TB che un disco da 4TB.
--
- in Italia cosa rischia uno che tortura?
- ...Se è una tortura e via, poco... Se ha anche scaricato musica da
Internet, quattro anni Sergio Staino (Bobo e figlia, maggio 2004)
Reply to: