Модели с большим объёмом весов
Оцените размещение модели на одном GPU с учётом памяти движка.
Аренда H200 SXM
141 GB на одном GPU для весов модели, KV-кеша и рабочих буферов.
701,24 ₽/ час
Задачи для этой GPU-конфигурации
Длинный контекст
Измерьте рост KV-кеша на реальной длине входа и ответа.
Параллельные запросы
Подберите баланс между числом запросов, задержкой и 141 GB памяти.
Совместимость программного обеспечения
- У GPU 141 GB памяти HBM3e. В общий расчёт включите память runtime и рабочие буферы.
- Большой объём HBM3e помогает разместить данные, но сам по себе не гарантирует нужную скорость.
- Контекст и число одновременных запросов нужно тестировать вместе.
Аренда H200 SXM
Укажите модель, программное окружение и срок аренды. До начала подтвердим цену, доступность и способ подключения.
701,24 ₽/ час
О конфигурации
Сколько памяти у H200 SXM?
У GPU 141 GB памяти HBM3e. В общий расчёт включите память runtime и рабочие буферы.
Зачем 141 GB, если веса уже помещаются в 80 GB?
Оставшаяся память может понадобиться для KV-кеша, параллельных запросов или состояния обучения. Чтобы понять пользу для вашей задачи, измерьте пиковое потребление при целевой нагрузке.
Как арендовать эту конфигурацию?
Для этой конфигурации можно оставить заявку на аренду. Укажите задачу, желаемые даты и длительность. Наличие оборудования, стоимость и время доступа подтверждаются индивидуально; заявка не является подтверждённой бронью.
