Re: ceph proxmox cluster vs public network
Il 11/01/23 17:04, Piviul ha scritto:
Ciao a tutti, sul mio cluster proxmox ho configurato una rete dedicata
per il traffico ceph. Mi sono accorto però che i monitor hanno come ip
un indirizzo della LAN degli hosts non un indirizzo della rete dedicata
al traffico ceph... è normale?
No, dovrebbero avere indirizzi nella sottorete di storage. In generale
in ceph.conf dovrebbero comparire solo gli ip della rete di storage.
Ho chiesto lumi sulla mailing list pve-user@lists.proxmox.com e mi hanno
consigliato di impostare la public network come la cluster network in
ceph.conf poi eliminare e ricreare un monitor alla volta... a me non
sembra molto verosimile.
E' corretto. La cluster_network in ceph.conf non è la rete di
comunicazione ordinaria tra gli host (cioè tutto quanto non ha come
partecipanti demoni ceph).
E' la rete che gli osd usano per replicazioe e heartbeat.
La public_network è la rete usata dai client ceph per accedere allo
storage condiviso, e distinguerla dalla public_ ha lo scopo di
alleggerire quest'ultima dal traffico interno a ceph.
La cluster network spesso coincide con la public network, e in generale
è distinta rispetto alla rete di comunicazione ordinaria tra gli host
(la lan normale di comunicazione tra host, in parole povere).
https://docs.ceph.com/en/latest/rados/configuration/network-config-ref/
Qualcuno che usa proxmox e ceph mi può dire se
nella suo /etc/ceph/ceph.conf i parametri cluster_network e
public_network sono impostati sempre alla stessa subnet e se i monitor
in effetti hanno ip nella cluster_network o nella public_network?
E' così: cluster_network = public_network = 10.1.1.0/24
La rete per la comunicazione interhost è una 192.168.1.0/24
Nota che in /etc/hosts di ogni nodo ho definito per ogni hostname sia
l'ip nella rete interhost che quello nella rete di storage:
# cat /etc/hosts
127.0.0.1 localhost.localdomain localhost
192.168.1.201 pve1.mio.dominio pve1 pvelocalhost
10.1.1.1 pve1.mio.dominio pve1
192.168.1.202 pve2.mio.dominio pve2
10.1.1.2 pve2.mio.dominio pve2
... ecc ...
Il mio ceph.conf:
[global]
auth_client_required = cephx
auth_cluster_required = cephx
auth_service_required = cephx
cluster_network = 10.1.1.0/24
fsid = <redacted>
mon_allow_pool_delete = true
mon_host = 10.1.1.1,10.1.1.2,10.1.1.3 10.1.1.4
osd_journal_size = 5120
osd_memory_target = 1073741824
osd_pool_default_min_size = 2
osd_pool_default_size = 3
public_network = 10.1.1.0/24
[client]
keyring = /etc/pve/priv/$cluster.$name.keyring
[mon.pve1]
host = pve1
mon_addr = 10.1.1.1:6789
[mon.pve2]
host = pve2
mon_addr = 10.1.1.2:6789
[mon.pve3]
host = pve3
mon_addr = 10.1.1.3:6789
[mon.pve4]
host = pve4
mon_addr= 10.1.1.4:6789
-rob
Reply to: