Re: cluster

[Mathieu JANIN <mattotop@orange.fr>]

Le jeudi 08 janvier 2009, philippe monroux a écrit :
> Bonjour,
Bonjour.
>
> J'ai une tâche lourde à réaliser et dispose de 3 machines sous debian.
>
> Quelqu'un connaît-il une solution pas trop compliquée à mettre en
> œuvre pour faire un cluster et accélérer la réalisation de la tâche.
Oui. Faire une série de batchs découpant la tâche et les répartir sur les 
différentes machines avant de centraliser à la main les résultats peut être 
une solution de parallèlisme pas trés lourde à mettre en place, et qui ne 
prend pas forcément plus de temps à faire que la mise en place d'une solution 
qui fait le même boulot automatiquement.

> Bien sûr je peux chercher mais si quelqu'un a une expérience sur le
> rapport complexité/efficacité cela me ferait gagner du temps
>
> merci par avance.
> --
> Philippe Monroux
> E 55.3 S 21.5
> http://zygomaths.pagespro-orange.fr/index.html

AMA, ça dépend surtout de quel type de tâche tu veux répartir: il y a des 
solutions "généralistes" de clustering, mais il y a aussi des solutions 
spécifiques de redondance, de tolérance aux pannes et plusieurs solutions de 
répartition plus ou moins spécifiques, sans en passer forcément par un pur 
cluster (qui ne devient nécessaire d'aprés moi que quand on a besoin d'un bus 
de données mutualisé rapide entre les calculateurs).

Tu devrais plutot dire si c'est une tâche de calcul, si ça risque d'être 
gourmand en lecture/écriture de données, si le pipeline de traitement est de 
type en série ou si c'est du parallèle, etc... Tous genre de détails 
permettant de t'aiguiller vers une solution adaptée.
Un autre détail intéressant est de savoir si c'est pour une opération "one 
shot", ou si ça va se répèter.

++, MATT