+7 (499) 647-42-56
info@gk-ht.ru
Рабочая станция для развертывания локальных LLM-моделей
HIGHTECH - системный интегратор и комплексный поставщик Dell, HPE и Lenovo в России и СНГ
Описание проекта
К нам обратилась компания, занимающаяся разработкой и исследованиями в области искусственного интеллекта. Перед командой стояла задача: развернуть собственный центр для работы с большими языковыми моделями (LLM) семейств Llama 3 и Qwen 2 в конфигурации 72 миллиарда параметров. Эти модели настолько сложные, что для их работы нужно особо мощное «железо». Главное - чтобы всё работало быстро, прямо в офисе, и чтобы в будущем систему можно было легко усилить ещё больше.
Цели и задачи
Обеспечить наличие единого GPU-пула с общим объемом видеокарт не менее 128 ГБ для загрузки и работы с моделями Llama и Qwen
Подобрать платформу с мощным процессором и большим объемом RAM для стабильной подачи данных на на графические ускорители.
Гарантировать дальнейшее легкое масштабирование - возможность добавления 2-4 видеокарт и увеличения оперативной памяти в будущем.
Обеспечить надежную круглосуточную работу под постоянной интенсивной нагрузкой.
Выполненные работы
Проанализировав требования заказчика, наши инженеры предложили рабочую станцию Hightech, идеально сбалансированную для задач LLM в следующей конфигурации
01
Процессор: AMD Ryzen Threadripper PRO 7975WX. Обладает большим количеством ядер для объединения нескольких мощных GPU
02
Материнская плата: ASUS PRO WS TRX50-SAGE WIFI. Профессиональная материнка с несколькими слотами PCIe 5.0. Обеспечивает полную пропускную способность для 4-х видеокарт и будущих апгрейдов
03
Память: 128 ГБ DDR5 ECC.
04
Ускоритель (GPU): NVIDIA RTX 6000 Ada 48 ГБ. Профессиональные карты, обеспечивают высокую производительность и надёжность для работы с LLM.
05
Накопители: 2 x SSD NVMe 2000 ГБ. Сверхбыстрые диски, ускоряют весь процесс работы с ИИ.
06
Блок питания: 1600W. Гарантирует стабильность работы под пиковой нагрузкой и при будущем расширении.
Результат
На всех этапах велась слаженная работа между нашими специалистами и технической командой заказчика. Благодаря чему, поставленная рабочая станция полностью соответствует целям проекта: она успешно запускает модели Llama 3 и Qwen 2 (72B), обладает готовой архитектурой для простого масштабирования и работает стабильно под высокой нагрузкой. Помимо поставки оборудования, клиенту была предоставлена расширенная гарантия и техническая поддержка.
