Тайваньская компания Skymizer представила энергоэффективный ИИ-ускоритель для работы с крупными языковыми моделями

Компания Skymizer анонсировала PCIe-ускоритель HTX301, способный запускать нейросети объемом до 700 миллиардов параметров на одном устройстве. Главной особенностью новинки стало использование устаревших по современным меркам 28-нанометровых чипов и стандартной оперативной памяти, что позволяет достичь высокой производительности при потреблении всего 240 Вт энергии.

Инновационный подход к архитектуре

В отличие от флагманских решений от AMD или Nvidia*, где упор делается на дорогую и сложную видеопамять типа HBM или GDDR, устройство Skymizer базируется на более доступной памяти стандартов LPDDR4 и LPDDR5. Аппаратная часть построена на платформе HyperThought, включающей специализированные вычислительные блоки, оптимизированные для рабочих нагрузок, характерных для больших языковых моделей (LLM).

• Общий объем памяти на одной плате достигает 384 ГБ.
• В состав ускорителя входят шесть объединенных чипов HTX301.
• Технологии сжатия весов и кэша KV позволяют превзойти показатели стандартных open-source библиотек, таких как llama.cpp, на 9–17,8%.
• Заявленная скорость генерации составляет 30 токенов в секунду при пропускной способности 100 ГБ в секунду.

Экономия ресурсов и автономность

Использование подобных ускорителей позволяет компаниям отказаться от аренды облачных мощностей, что решает проблемы конфиденциальности данных и непредсказуемых операционных расходов. Внедрение решения Skymizer не требует переоборудования серверных стоек, так как устройство устанавливается в стандартные серверы с воздушным охлаждением и потребляет менее половины энергии, необходимой для аналогичных по классу ускорителей от ведущих производителей.

Сравнение с лидерами рынка

Показатели энергопотребления HTX301 выглядят привлекательно на фоне конкурентов. Например, профессиональные карты серии Nvidia* RTX PRO 6000 Blackwell требуют до 600 Вт, что более чем вдвое превышает потребности разработки Skymizer при выполнении сопоставимых задач по инференсу (процессу использования обученной нейросети).

Представители отрасли ожидают демонстрации возможностей HTX301 на предстоящей выставке Computex. Реальные тесты покажут, сможет ли устройство подтвердить заявленные характеристики, включая скорость обработки 240 токенов в секунду на моделях класса Llama2 7B. В случае успеха разработки Skymizer способны значительно снизить порог входа для создания собственной локальной ИИ-инфраструктуры.

* — деятельность компании запрещена на территории РФ