Re: Построение кластера. Выбор железа
On Mon, Jul 19, 2010 at 05:35:16PM +0700, Vit wrote:
> Вопрос не относится напрямую к debian, но на данной машине
> предполагается его активное использование, потому решил
> проконсультироваться у вас.
А искать стоило всё-таки не под фонарём... :)
> Мы в лаборатории собираемся собрать (купить) кластер. Идеальный
> вариант - 64 физических ядра. Платформа (Intel или AMD) ещё не
> определена.
Между тем это критично. Гоняйте свои задачи хотя бы на
десктопных представителях, а лучше попытайтесь добраться
с ними на кластеры с обеими архитектурами и выяснить заранее,
что им важно -- сложить-умножить, кэш, память, интерконнект...
> На данный момент меня интересуют особенности построения систем
> такого масштаба. Есть опыт работы с отдельными серверами и
> кластерами на их основе, когда машины соединены просто через
> гигабитную сеть.
См. тж. http://lists.altlinux.org/pipermail/hpc-devel/ и
http://lists.altlinux.org/pipermail/hardware/2010-January/015634.html
http://lists.altlinux.org/pipermail/hardware/2010-February/015773.html
(плюс куски тредов вокруг)
> Конкретные вопросы:
> Возможно ли получить 64 ядра в одном компьютере?
Возможно и намного больше.
> Какова цена такого решения?
Выше разумной, спросите Cray Inc.
> Какие сетевые технологии используются для связи компьютеров в
> подобные кластеры, что лучше Infiniband или 10Gigabit ethernet?
"Вообще" -- QDR IB. Собсно у тех же Mellanox это почти одно и то
же в плане кремния, вплоть до переключабельности порта IIRC.
> Может быть стоит использовать blade серверы (к сожалению я не
> совсем представляю во что это выльется)?
Может; только сперва надо уточнить задачу и ограничения.
Если бюджет -- более жёсткое ограничение, чем место и
производительность, то лучше на них не рассчитывать.
> Есть ли польза от использования твердотельных дисков для работы
> с большими объёмами временных файлов (на данный момент бывает
> 100-200 Gb на один компьютер)?
Может быть больше пользы от небольшого Lustre-хранилища по IB
или десятке -- цена того же SNVP325-S2/128GB сопоставима с ценой
трёх терабайтников Hitachi, которые в RAID0 его обставят по
линейному доступу однозначно (для пары узлов я бы предпочёл
6xHDD в RAID10, а не по одному SSD на узел; для восьми --
24xHDD в RAID6 для постоянных данных + RAID0 для временных).
> Какие есть особенности построения систем такого уровня?
64 ядра -- это 16 quad-core, бишь восемь узлов разумной стоимости.
У таких систем обычно главная особенность -- насколько бюджетными
их получается сделать. (у попадавшихся недавно под руки блоков
для построения кластера на одно шасси приходилось 80/256 ядер)
> Может быть проблемы с охлаждением?
Разумеется. Посчитайте TDP одних процессоров, на которые
целитесь (e.g. для X5570 -- 95W), прибавьте память и
интерконнект, плюс питание, плюс чипсет. Для Вашего случая
это уже примерно от двух киловатт рассеять надо.
PS: я нечасто заглядываю в debian-russian@, если что понадобится
-- поставьте в копию, pls. У нас тут Clustrx разрабатывают. :)
--
---- WBR, Michael Shigorin <mike@altlinux.ru>
------ Linux.Kiev http://www.linux.kiev.ua/
Reply to: