ASUS Ascent GX10 для LLM: 128 ГБ памяти и совместимость
Как учитывать общую память GX10, поддержку ARM64 и совместимость программного окружения.
128 GB — общий ресурс системы
ASUS Ascent GX10 — система ASUS на чипе NVIDIA GB10 Grace Blackwell. В нашей конфигурации CPU и GPU используют 128 GB общей памяти LPDDR5x. Часть объёма нужна операционной системе и другим процессам. При выборе модели учитывайте веса, KV-кеш и рабочие буферы.
Сначала проверьте ARM64
GX10 использует процессор ARM64. Образ контейнера или библиотека, собранные только для x86-64, могут потребовать замены или пересборки. До аренды зафиксируйте модель, формат квантования и версии зависимостей; проверьте готовый пример запуска на GX10.
Измеряйте свою задачу
Размер модели сам по себе не определяет скорость. Для первого теста возьмите типичный запрос, нужную длину контекста и реальное число одновременных пользователей. Запишите время до первого токена, скорость ответа и пиковое потребление памяти — эти цифры помогут выбрать конфигурацию.
Выберите GPU под свою задачу
Сравните характеристики и тарифы в каталоге. Подготовьте модель, окружение и желаемые даты для согласования конфигурации и условий доступа.
Что почитать дальше
Как выбрать GPU для LLM: RTX 4090, A100, H100 или GX10
Сколько стоит аренда GPU: как рассчитать бюджет