[Date Prev][Date Next] [Thread Prev][Thread Next] [Date Index] [Thread Index]

Re: Построение кластера. Выбор железа



On Mon, Jul 19, 2010 at 05:35:16PM +0700, Vit wrote:
> Вопрос не относится напрямую к debian, но на данной машине
> предполагается его активное использование, потому решил
> проконсультироваться у вас.

А искать стоило всё-таки не под фонарём... :)

> Мы в лаборатории собираемся собрать (купить) кластер. Идеальный
> вариант - 64 физических ядра. Платформа (Intel или AMD) ещё не
> определена.

Между тем это критично.  Гоняйте свои задачи хотя бы на
десктопных представителях, а лучше попытайтесь добраться
с ними на кластеры с обеими архитектурами и выяснить заранее,
что им важно -- сложить-умножить, кэш, память, интерконнект...

> На данный момент меня интересуют особенности построения систем
> такого масштаба. Есть опыт работы с отдельными серверами и
> кластерами на их основе, когда машины соединены просто через
> гигабитную сеть.

См. тж. http://lists.altlinux.org/pipermail/hpc-devel/ и
http://lists.altlinux.org/pipermail/hardware/2010-January/015634.html
http://lists.altlinux.org/pipermail/hardware/2010-February/015773.html
(плюс куски тредов вокруг)

> Конкретные вопросы:
> Возможно ли получить 64 ядра в одном компьютере?

Возможно и намного больше.

> Какова цена такого решения?

Выше разумной, спросите Cray Inc.

> Какие сетевые технологии используются для связи компьютеров в
> подобные кластеры, что лучше Infiniband или 10Gigabit ethernet?

"Вообще" -- QDR IB.  Собсно у тех же Mellanox это почти одно и то
же в плане кремния, вплоть до переключабельности порта IIRC.

> Может быть стоит использовать blade серверы (к сожалению я не
> совсем представляю во что это выльется)?

Может; только сперва надо уточнить задачу и ограничения.
Если бюджет -- более жёсткое ограничение, чем место и
производительность, то лучше на них не рассчитывать.

> Есть ли польза от использования твердотельных дисков для работы
> с большими объёмами временных файлов (на данный момент бывает
> 100-200 Gb на один компьютер)?

Может быть больше пользы от небольшого Lustre-хранилища по IB
или десятке -- цена того же SNVP325-S2/128GB сопоставима с ценой
трёх терабайтников Hitachi, которые в RAID0 его обставят по
линейному доступу однозначно (для пары узлов я бы предпочёл
6xHDD в RAID10, а не по одному SSD на узел; для восьми --
24xHDD в RAID6 для постоянных данных + RAID0 для временных).

> Какие есть особенности построения систем такого уровня?

64 ядра -- это 16 quad-core, бишь восемь узлов разумной стоимости.
У таких систем обычно главная особенность -- насколько бюджетными
их получается сделать. (у попадавшихся недавно под руки блоков
для построения кластера на одно шасси приходилось 80/256 ядер)

> Может быть проблемы с охлаждением?

Разумеется.  Посчитайте TDP одних процессоров, на которые
целитесь (e.g. для X5570 -- 95W), прибавьте память и
интерконнект, плюс питание, плюс чипсет.  Для Вашего случая
это уже примерно от двух киловатт рассеять надо.

PS: я нечасто заглядываю в debian-russian@, если что понадобится
-- поставьте в копию, pls.  У нас тут Clustrx разрабатывают. :)

-- 
 ---- WBR, Michael Shigorin <mike@altlinux.ru>
  ------ Linux.Kiev http://www.linux.kiev.ua/


Reply to: