128 ГБ HBM2e прямо в процессорах! Обзор двухпроцессорной системы на Intel Xeon Max.

104 ядра — это вычислительная сила. 128 ГБ HBM2e рядом с ядрами — возможность быстрее подать им данные. Разбираемся, когда сочетание двух Xeon Max 9470C сокращает время расчёта и стоимость результата, а когда обычная DDR5 остаётся рациональнее.

Когда 104 ядра — ещё не самое интересное

Представьте серверную систему, в которой установлены сразу два мощных процессора, суммарно обеспечивающих 104 физических ядра и 208 вычислительных потоков.

Впечатляет? Безусловно. Но теперь представьте, что в этих процессорах уже находится 128 гигабайт высокоскоростной оперативной памяти, способной передавать данные с пропускной способностью порядка одного терабайта в секунду на каждый процессор.

Причём эта память не устанавливается в привычные слоты DIMM на материнской плате. Она встроена непосредственно в процессорные корпуса.

Именно такую архитектуру предлагает семейство Intel Xeon CPU Max, к которому относится Intel Xeon Max 9470C.

В нашем случае речь идёт о конфигурации из двух процессоров на базе серверной материнской платы ASUS Z13PE-D16.

На первый взгляд это просто мощная двухпроцессорная платформа. Но если разобраться в её устройстве, становится понятно, что главная особенность заключается вовсе не в количестве ядер. Основная идея Intel Xeon Max — устранить одно из наиболее серьёзных ограничений современных многопроцессорных вычислительных систем: недостаточную скорость передачи данных между оперативной памятью и процессорными ядрами.

Именно для решения этой проблемы Intel использовала память HBM2e — High Bandwidth Memory. Разберёмся, как всё это работает, почему HBM2e настолько интересна, чем она отличается от обычной DDR5 и в каких задачах преимущества действительно будут заметны.

Intel Xeon Max 9470C: процессор, созданный для серьёзных вычислений

Intel Xeon Max — специализированное семейство серверных процессоров, представленное в 2023 году и ориентированное прежде всего на высокопроизводительные вычисления, или HPC (High Performance Computing). В отличие от обычных серверных процессоров, где основной акцент зачастую делается на количество ядер, частоту и поддержку большого объёма оперативной памяти, Intel Xeon Max предлагает ещё один важный ресурс — встроенную память с чрезвычайно высокой пропускной способностью.

Для версии 9470C, применяемой в вычислительных узлах суперкомпьютера Aurora, используется конфигурация из 52 физических ядер на процессор. У двух процессоров в сумме получается (частоты указываются на процессор, а не складываются):

• 104 физических ядра;

• 208 вычислительных потоков;

• 128 ГБ памяти HBM2e;

• базовая частота 2,0 ГГц;

• до 3,5 ГГц в режиме Turbo для стандартной модели Xeon Max 9470.

Каждый процессор также поддерживает современные векторные инструкции AVX-512, матричные инструкции Intel AMX и другие средства ускорения специализированных вычислений.

Но важно понимать, что 104 ядра не означают автоматического увеличения производительности в 104 раза по сравнению с одним ядром.

Всё зависит от того, насколько хорошо конкретная программа умеет распределять работу между большим количеством вычислительных потоков. А ещё — насколько быстро процессор способен получать данные из памяти. И вот здесь начинаются самые интересные особенности архитектуры.

Проблема современных процессоров: ядра становятся быстрее, а память не всегда успевает

Чтобы понять преимущества HBM2e, сначала необходимо разобраться с одной фундаментальной проблемой. Современные процессоры способны выполнять огромный объём математических операций за секунду. Особенно если речь идёт о серверных моделях, имеющих десятки ядер.

Но сами данные, необходимые для вычислений, чаще всего располагаются в оперативной памяти. Прежде чем ядро выполнит очередную операцию, оно должно получить соответствующие данные. И если скорость доступа к ним оказывается недостаточной, производительность начинает ограничиваться не вычислительными возможностями процессора, а памятью. В вычислительной технике это явление принято называть Memory Wall, или «стеной памяти».

Объясним на простом примере. Представим большой производственный цех, в котором работают 52 высококвалифицированных специалиста. Они способны выпускать огромное количество продукции. Но для этого им необходимо постоянно получать материалы. Теперь представьте, что доставка материалов организована всего по нескольким узким транспортным каналам.

В результате часть рабочих простаивает, ожидая следующую поставку. Можно нанять ещё 20 или даже 50 специалистов, но если скорость доставки материалов не изменится, производительность практически не вырастет. Аналогичная ситуация возникает в многопроцессорных системах. Увеличивать количество ядер становится неэффективно, если они вынуждены слишком долго ожидать данные из оперативной памяти.

Особенно остро проблема проявляется в научных расчётах, где процессоры непрерывно работают с большими массивами чисел. Именно здесь высокая пропускная способность памяти становится одним из ключевых факторов производительности.

Что такое HBM2e и как она устроена?

HBM расшифровывается как High Bandwidth Memory — память с высокой пропускной способностью. HBM2e является развитием технологии HBM2, предназначенной для высокопроизводительных вычислительных устройств.

Её главное отличие от обычной DDR5 заключается не столько в частоте, сколько в самой архитектуре. Обычная оперативная память состоит из микросхем, размещённых на отдельных модулях DIMM. Эти модули подключаются к процессору через дорожки материнской платы и сравнительно узкие каналы памяти.

HBM использует совершенно другой подход. Вместо размещения отдельных чипов памяти горизонтально на модуле несколько кристаллов DRAM располагают вертикально, один над другим. Получается своеобразная многоэтажная конструкция. Такая конструкция называется стеком памяти. Для связи между слоями используются специальные вертикальные соединения TSV — Through-Silicon Vias. Это микроскопические проводящие каналы, проходящие через кремниевые кристаллы. Они позволяют передавать данные между слоями памяти по множеству параллельных соединений.

В результате вместо повышения скорости передачи данных только за счёт частоты инженеры получают возможность значительно увеличить количество параллельно передаваемых битов. Иными словами, HBM использует очень широкую шину данных. Один стек HBM2e имеет интерфейс шириной 1024 бита. Для сравнения, стандартный канал DDR5 имеет ширину передачи данных 64 бита, если не учитывать дополнительные биты ECC на серверных модулях. Конечно, архитектура DDR5 и HBM существенно различается, поэтому сравнивать только ширину шин некорректно. Однако сама идея хорошо объясняет принцип.

HBM обеспечивает высокую пропускную способность благодаря большому количеству параллельных соединений, а не исключительно высокой частоте передачи данных. Это позволяет получать огромную скорость обмена при относительно умеренной частоте каждого отдельного соединения.

Как Intel разместила 64 ГБ памяти прямо в процессоре?

Здесь начинается одна из самых интересных конструктивных особенностей Intel Xeon Max. Внутри процессорного корпуса находятся не только вычислительные кристаллы, содержащие ядра CPU.

Рядом с ними размещены четыре стека памяти HBM2e. Каждый стек содержит 16 гигабайт памяти.

В сумме получается:

4 стека × 16 ГБ = 64 ГБ HBM2e на процессор.

Для двухпроцессорной системы:

2 процессора × 64 ГБ = 128 ГБ HBM2e.

Таким образом, значительный объём высокоскоростной оперативной памяти располагается непосредственно рядом с вычислительными кристаллами. Но здесь есть важный нюанс. HBM2e находится в одном процессорном корпусе с CPU, а не внутри самих вычислительных ядер. Поэтому такую память правильнее называть встроенной в процессорный корпус, или on-package memory.

Это отдельные кристаллы DRAM, имеющие собственную физическую структуру и интерфейсы. Важное преимущество такой компоновки — возможность организовать очень широкие и короткие соединения между памятью и контроллерами процессора. Именно это помогает обеспечить чрезвычайно высокую пропускную способность. При этом встроенная HBM2e не является обычным кэшем L3.

Это полноценная оперативная память, которую процессор может использовать различными способами в зависимости от выбранного режима.

HBM2e против DDR5: сравниваем возможности

Теперь перейдём к цифрам.

Обычный серверный процессор Xeon с восемью каналами DDR5-4800 имеет теоретическую максимальную пропускную способность памяти:

8 × 4800 млн передач/с × 8 байт = 307,2 ГБ/с.

Это очень высокий показатель, особенно если сравнивать его с обычными настольными компьютерами.

Например, двухканальная DDR5-4800 обеспечивает теоретически 76,8 ГБ/с. Но у Intel Xeon Max благодаря четырём стекам HBM2e пропускная способность встроенной памяти составляет порядка одного терабайта в секунду на процессор — такой ориентир приводит Intel для семейства Xeon Max. Получается, что по этому параметру HBM2e более чем втрое превосходит восьмиканальную DDR5-4800. И это сравнение с полноценной серверной подсистемой памяти!

Если использовать два процессора, суммарный ориентир локальной пропускной способности HBM2e составляет около двух терабайт в секунду при одновременной работе обоих CPU. Правда, необходимо учитывать, что память физически распределена между процессорами. Каждый CPU имеет собственные 64 ГБ HBM2e. Поэтому для достижения максимальной эффективности важно правильно распределять потоки и данные между процессорами с учётом архитектуры NUMA.

Это не единая общая шина на два терабайта в секунду, а суммарный ресурс двух отдельных подсистем памяти.

Но что означает такая разница на практике?

Предположим, нам необходимо многократно обрабатывать большой массив данных, который не помещается в кэш процессора.

Если алгоритм ограничен именно скоростью чтения и записи в память, увеличение пропускной способности может значительно сократить время выполнения вычислений. Однако не стоит путать пропускную способность с задержкой доступа. Это два разных параметра. Пропускная способность показывает, сколько данных можно передать за определённое время.

Задержка определяет, сколько времени требуется, чтобы начать получать данные после запроса. Высокая пропускная способность HBM2e не означает, что каждый отдельный запрос обязательно выполняется быстрее, чем у DDR5. Главное преимущество HBM2e раскрывается тогда, когда процессор одновременно выполняет большое количество операций и ему необходим постоянный интенсивный поток данных.

Можно ли использовать сервер вообще без DDR5?

Оказывается, да. И это одна из наиболее необычных возможностей Intel Xeon Max. Для встроенной памяти HBM2e предусмотрены три основных режима работы.

Режим 1. HBM Only — система работает исключительно на HBM2e

В этом режиме процессор использует только встроенную высокоскоростную память. Обычные модули DDR5 не устанавливаются.

У каждого процессора имеются собственные 64 ГБ HBM2e. Соответственно, двухпроцессорная система получает 128 ГБ физической оперативной памяти. Никаких дополнительных DIMM для работы этого режима не требуется. Это означает, что серверная платформа может загружаться и работать, используя только память, размещённую непосредственно в процессорных корпусах.

Особенно интересно это для задач, которым хватает доступного объёма памяти и которые сильно зависят от пропускной способности. Например, для специализированных научных вычислений или численного моделирования. Разумеется, необходимо учитывать, что часть памяти будет занята операционной системой и системными процессами. Кроме того, поддержка такого режима зависит от конкретной платформы и BIOS.

Режим 2. Flat Mode — HBM2e и DDR5 одновременно

В этом режиме можно установить обычную DDR5 и одновременно использовать встроенную HBM2e. Например, представим систему с 512 ГБ DDR5 и 128 ГБ HBM2e. Физически она будет располагать 640 ГБ оперативной памяти. При этом DDR5 и HBM2e представляются программному обеспечению как разные области памяти.

Благодаря этому наиболее требовательные к пропускной способности данные можно разместить в HBM2e, а остальные — в DDR5. Такой вариант особенно интересен, если задача требует большого объёма оперативной памяти, но лишь некоторые её структуры данных постоянно участвуют в интенсивных вычислениях. Однако для эффективной работы Flat Mode может потребоваться дополнительная настройка операционной системы и программного обеспечения.

Режим 3. Cache Mode — HBM2e как дополнительный кэш

Третий вариант предполагает использование HBM2e в качестве высокоскоростного кэша для DDR5. В этом случае основным доступным операционной системе объёмом памяти остаётся установленная DDR5. А HBM2e используется аппаратно для кэширования данных. Преимущество такого режима — приложениям не обязательно специально распределять данные между двумя типами памяти. Впрочем, эффективность зависит от характера обращений к памяти. Если программа часто повторно использует данные, размещённые в HBM2e, производительность может увеличиваться.

Если объём постоянно обновляемых данных слишком велик, прирост может оказаться значительно меньше.

ASUS Z13PE-D16: основа для двухпроцессорной вычислительной системы

Теперь рассмотрим материнскую плату, выбранную для данной конфигурации. Посмотреть комплект ASUS Z13PE-D16 + 2 × Intel Xeon Max 9470C, его комплектацию и актуальную цену →

ASUS Z13PE-D16 — серверная плата формата E-ATX, разработанная для двухпроцессорных систем Intel Xeon с разъёмами LGA4677.

Она построена на чипсете Intel C741. Плата оснащена двумя процессорными сокетами, 16 слотами для памяти DDR5 и развитой подсистемой расширения. Для оперативной памяти предусмотрено по восемь DIMM-слотов на каждый процессор. Это позволяет задействовать восьмиканальную подсистему DDR5 у совместимых процессоров.

Ещё одна важная особенность — поддержка PCI Express пятого поколения. На плате находятся шесть слотов расширения, включая пять физических PCIe 5.0 x16 с полноценными линиями x16 и один физический x16 с подключением x8. Такая конфигурация позволяет подключать современные сетевые адаптеры, вычислительные ускорители, RAID-контроллеры и другое профессиональное оборудование. Также предусмотрены два 10-гигабитных сетевых порта, разъёмы M.2 для накопителей и серверные средства удалённого управления.

Следует учитывать, что сама по себе принадлежность процессора к платформе LGA4677 не гарантирует совместимость с любой материнской платой на этом сокете. Для использования модификации Xeon Max 9470C необходимо отдельно подтвердить поддержку конкретного процессора, его степпинга, требований к питанию и режимов HBM в BIOS платы. Это особенно важно для оборудования, предназначенного для суперкомпьютерных систем.

Почему 104 ядра и HBM2e интересны именно вместе?

Можно задать логичный вопрос: а почему нельзя просто установить два обычных Xeon с большим количеством ядер и много DDR5? Конечно, можно.

И для множества рабочих нагрузок обычные Xeon действительно будут рациональным выбором. Однако при использовании большого числа ядер резко увеличивается потенциальная потребность в пропускной способности памяти. Представим, что 52 ядра одновременно обрабатывают разные участки большого массива данных. Все они активно обращаются к оперативной памяти.

Если поток данных превышает возможности подсистемы DDR5, ядра начинают простаивать. Это означает, что часть дорогостоящих вычислительных ресурсов не используется эффективно. HBM2e помогает уменьшить подобное ограничение. Именно поэтому сочетание большого количества ядер и высокоскоростной памяти особенно интересно в HPC. Процессоры Xeon Max также поддерживают AVX-512, благодаря чему способны выполнять операции над векторами данных, и Intel AMX для определённых матричных вычислений. Однако эффективность этих технологий зависит от поддержки со стороны программного обеспечения.

В каких задачах Intel Xeon Max действительно раскрывает преимущества?

Инженерные расчёты и вычислительная гидродинамика

Одно из основных направлений применения — CFD, Computational Fluid Dynamics. Это численное моделирование движения жидкостей и газов. Например, расчёты аэродинамики автомобилей и самолётов, моделирование систем охлаждения, исследование потоков газа и теплообмена. Подобные задачи работают с большими сетками и множеством связанных физических параметров.

Во многих вычислительных алгоритмах производительность существенно зависит от скорости обмена данными с памятью. Если конкретный алгоритм ограничен пропускной способностью, использование HBM2e может дать заметный эффект.

Научные исследования и физическое моделирование

Вторая крупная область — научные расчёты. Сюда относятся моделирование молекулярной динамики, исследования материалов, вычислительная физика, некоторые задачи квантовой хромодинамики и другие направления.

Многие подобные приложения способны эффективно использовать большое количество процессорных ядер. В результате сочетание 104 ядер и HBM2e становится действительно полезным инструментом.

Анализ больших массивов данных

Ещё одно направление — специализированная аналитика. Например, обработка больших числовых массивов, операции над матрицами и некоторые аналитические алгоритмы. Однако эффективность здесь будет зависеть не только от пропускной способности, но и от объёма рабочего набора, локальности обращений к памяти и оптимизации программы.

Искусственный интеллект и матричные вычисления

Intel Xeon Max поддерживает инструкции Intel AMX и другие средства ускорения вычислений. Благодаря этому процессоры могут быть полезны для определённых задач машинного обучения и обработки данных.

Но важно понимать: для обучения крупных нейронных сетей специализированные GPU во многих случаях остаются более эффективными. Преимущество CPU-платформы необходимо оценивать исходя из характера конкретной нагрузки.

Intel Xeon Max и суперкомпьютер Aurora

Интересно, что процессоры Xeon Max 9470C применяются не только в отдельных вычислительных серверах. Именно такие процессоры используются в суперкомпьютере Aurora, установленном в Аргоннской национальной лаборатории США. Aurora относится к эксафлопсному классу суперкомпьютеров и предназначен для масштабных научных вычислений. Его вычислительные узлы оснащены двумя Intel Xeon CPU Max 9470C и шестью графическими ускорителями Intel Data Center GPU Max 1550.

Каждый узел располагает 104 процессорными ядрами и 128 ГиБ HBM-памяти CPU. Это хороший пример того, что Xeon Max создавался не просто ради рекордных характеристик, а для реальной работы в крупных вычислительных инфраструктурах.

Есть ли у HBM2e недостатки?

Несмотря на впечатляющие характеристики, HBM2e нельзя назвать универсальной заменой обычной оперативной памяти. Во-первых, её объём ограничен.

Каждый Xeon Max располагает 64 ГБ встроенной HBM2e, и увеличить этот объём заменой модулей памяти невозможно. Во-вторых, высокая пропускная способность помогает не во всех задачах.

Если приложение ограничено вычислительной мощностью, последовательным исполнением или задержками, HBM2e может дать небольшой прирост либо вообще не улучшить результат. В-третьих, для эффективного использования режимов Flat и сложных NUMA-конфигураций может потребоваться настройка программного обеспечения. В-четвёртых, такие процессоры предъявляют серьёзные требования к охлаждению. У стандартного Intel Xeon Max 9470 тепловой пакет составляет 350 Вт.

Два процессора — это до 700 Вт суммарного номинального TDP только для CPU. Поэтому выбор системы охлаждения, блока питания, корпуса и организация воздушных потоков имеют принципиальное значение. Наконец, необходимо учитывать совместимость оборудования, особенно если используются специализированные версии процессоров для суперкомпьютерных систем.

Где выгода: считать нужно стоимость законченной задачи

Быстрая память приносит экономическую пользу, когда за тот же рабочий день удаётся выполнить больше полезных расчётов. Это может сократить очередь заданий, время подбора инженерного решения и потребность в дополнительных узлах. При недостаточной загрузке или слабом масштабировании приложения дорогое оборудование такой выгоды не создаёт.

Что подтверждено измерениями, а что ещё предстоит проверить

В опубликованном разборе Intel для HotQCD сообщается об ускорении Xeon Max с HBM относительно сравниваемых DDR5-систем в 1,66–1,88 раза. Это результат конкретной научной нагрузки и конфигураций источника, а не собственный тест комплекта ASUS с 9470C. При таком ускорении часовая задача теоретически заняла бы около 36–32 минут: время делится на коэффициент ускорения.

Переносить эти числа на CFD, базу данных или нейросеть без измерений нельзя. Перед покупкой полезно запустить свой расчёт с одинаковыми входными данными, точностью и версиями ПО, проверить размещение памяти и сравнить время получения правильного результата.

Простой расчёт, показывающий условие окупаемости

Нормированная стоимость задачи = относительные совокупные затраты ÷ относительная производительность. Если за одинаковый период все затраты выросли со 100 до 140 условных единиц, а число выполненных задач — в 1,8 раза, то стоимость результата равна 140 ÷ 1,8 = 77,8 вместо 100. Получается снижение на 22,2%. Это учебный пример с заданными допущениями; он не описывает цену или измеренную производительность предлагаемого комплекта.

В HBM-only можно обойтись без покупки DIMM, если поддерживается режим и хватает доступной HBM. Однако это не означает, что HBM бесплатна: она включена в стоимость процессоров, а расширить её нельзя. Выгоден комплект, который дешевле выполняет вашу работу, а не просто имеет больше ядер.

Итоги: главное преимущество — не только количество ядер

Конфигурация ASUS Z13PE-D16 с двумя Intel Xeon Max 9470C интересна прежде всего сочетанием большого числа вычислительных ядер и высокоскоростной памяти HBM2e.

104 физических ядра и 208 потоков обеспечивают значительные возможности параллельной обработки.

А 128 ГБ встроенной HBM2e способны существенно снизить ограничения, связанные с недостаточной пропускной способностью обычной оперативной памяти. Именно это отличает Intel Xeon Max от многих традиционных двухпроцессорных решений. Но важно помнить: высокая скорость памяти раскрывает преимущества только в тех задачах, где она действительно является ограничивающим фактором. Поэтому главный вопрос при выборе подобного оборудования заключается не в том, сколько у него ядер или гигабайт памяти.

Гораздо важнее понять, какой объём данных обрабатывает программа, насколько интенсивно она обращается к оперативной памяти и способна ли эффективно использовать сотню процессорных ядер.

Если ответы на эти вопросы соответствуют архитектуре Xeon Max, такая платформа может стать чрезвычайно интересным решением для профессиональных вычислений. А HBM2e в данном случае — не просто красивая цифра в спецификации, а один из ключевых архитектурных инструментов повышения производительности.

Где приобрести комплект ASUS Z13PE-D16 + 2 × Intel Xeon Max 9470C

Приобрести рассмотренный комплект можно в интернет-магазине ABGREYD_S. В его состав входят материнская плата ASUS Z13PE-D16 и два процессора Intel Xeon Max 9470C — суммарно 104 ядра, 208 потоков и 128 ГБ встроенной памяти HBM2e.

Актуальные цену, наличие, комплектацию и условия заказа смотрите в карточке товара:

Перейти к комплекту ASUS Z13PE-D16 + 2 × Intel Xeon Max 9470C в магазине ABGREYD_S →