Re: réplication massive de données...
On Fri, Jul 30, 2004 at 12:20:08AM +0200, Yohann Desquerre wrote:
> Sylvain LE GALL wrote:
>
> >On Thu, Jul 29, 2004 at 07:49:33PM +0200, Yohann Desquerre wrote:
> >
> >
> >>Bonjour à tous,
> >>
> >>
> >>Je souhaite répliquer à l'identique les donnée baie de disque HITACHI
> >>(donnée vu par un solaris 9)vers une baie de disques STK.
> >>
> >>
> >>Je souhaiterais prouver à ma hierarchie qu'il est possible d'effectuer
> >>cette opérations avec des logiciels libre plutôt que d'utiliser des
> >>solutions propriètaires notament celles fournies par la société Véritas.
> >>
> >>
> >>Avez vous des idées sur comment faire çà (réplication pur et dur
> >>snapshot,autres solution)????
> >>
> >>
> >>je me suis tourner vers unisson mais je ne sait pas si c'est vraiment
> >>adapter à ce que je veux faire :
> >>
> >>
> >>La baie Hitachi renferme environ 7TB de données que je souhaite donc
> >>répliquer,mirrorer,snapshoter (ou autre aussi bien), et tout çà dans une
> >>nuit de 12 Heures (plus vite si on peux ;-) ), je dispose pour ce faire
> >>de lien ethernet 100MB(çà sent le paté) éventuellement de liens gigabit
> >>(va faloir que je négocie mais çà devrait être jouable) et deux cartes
> >>Fiber channel qlogic 2340, et d'un switch brocade 3800.
> >>
> >>
> >>Si c'est possible j'aurais bien attaché ma debian et mes deux baies sur
> >>le switch et donc de synchroniser avec unison mais je ne sais pas s'il
> >>est capable de faire du fiber chanel (c'est la solution la plus rapide !).
> >>
> >>
> >>
> >>
> >
> >Bonjour,
> >
> >Bon je n'ai pas beaucoup d'expérience sur unison, mais je l'ai quand
> >même un peu utilisé...
> >
> >Voila ce que je peux te dire :
> >- unison travail au dessus de ssh, ce qui signifie qu'il n'a pas de
> > connaissance IP/Fiber Channel/ce que tu veux. Si tu peux avoir une
> > connexion ssh ca marche
> >
> >
>
> c'est possible de faire du ssh à travers la fibre optique (en fc et non
> over ip) ?
>
Humm, trop technique pour moi... J'ai pas de fiber channel juste sous la
main là ;-) ( je ne connais pas du tout ce type de technologie ).
> >- unison doit être présent sur les deux machines à répliquer, dans la
> > même version !
> >
> >
>
> du parle de la version d'unison ou de la machine ( j'ai un solaris d'un
> coté et une debian de l'autre)
>
Il te faut unison version X sur la machine debian et unison version X
sur la machine solaris. Aprés les machines ca ne regarde pas unison (
tant qu'il peut etre présent sur les deux machines ).
> >- unison ne fait pas de la réplication pur et dur au sens
> > maitre/esclave...
> >
>
> Est-ce que unison ne synchronise que les secteurs de disques marqués
> comme modifiés ou fait une copie brut de toutes les données présentes ?
>
Ni l'un, ni l'autre, il travaille sur les fichiers. Dans mes souvenirs,
il génére plus ou moins une sorte de cache locale des stats des fichiers
puis fait la synchro par rapport a ces stats ( ie si les fichiers n'ont
pas les même stats -> il faut les synchroniser ). Sachant que ce
mécanismes est un truc assez malin ( en tout cas ca ce dit dans certains
milieu bien informé, mais je ne sait pas vraiment pourquoi, je crois que
l'approche du classement des données à synchroniser est assez innovante
mais j'en sais pas plus ).
>
> >Il essaie de résoudre les conflits de merge entre
> > deux volumes de données ( ce qui signifie que tu peux travailler sur
> > une machine et sur l'autre et unison essaieras de dire quelle est la
> > bonne version du ficher, mais s'il se trompe, il te demandera -> gare
> > aux erreurs ).
> >
> >
>
> s'il existe une solution de snapshot ( je pense que çà se serait plus
> rapide), ou une autre solution plus viable je suis preneur !
>
Il n'y a pas vraiment de solution de snapshot : il va simplement
synchroniser les données modifier entre la machine A et B. ( mais je ne
comprends peut être pas ce tu veux dire par "snapshot" ).
>
> ><>- vérifie la viabilité de la solution en terme d'éfficacité logicielle /
> >hard : unison, comme il fait de la fusion peut éventuellement avoir
> >tendance à prendre un peu de place mémoire... Pour un volume de 7 TB,
> >il faut se méfier.
> >- astuce pour gagner en rapidité : utilises les bonnes options ssh pour
> >désactiver l'encryptage ( je suppose que tu n'as pas besoin d'une
> >connexion encrypté
> >- niveau temps, faut voir : je penses pas que l'ensemble du volume de
>
>
> en fait c'est plusieurs volumes à répliqué qui font en tout 7 TB...
>
> ><> donnée de 7TB change chaque jour, ce qui rendrait unison trés rapide (
> >je pense qu'en 4-5 h ca devrait être bon, tout dépend des temps
> >d'accés disques )
>
> 5 H j'achète !!!
>
>
Faut voir, j'ai jamais eut l'occasion de faire ce type de synchro, sur
ce genre de volume. Note, qu'il y a une ML unison qui peut te donner
plein de renseignements sur ce genre de chose.
>
>
> Je pense que c'est a peu prés tout ce que je peux dire.
>
>
> c'est déjà beaucoup merci 8-)
>
A+
Sylvain Le Gall
Reply to: