Как выбрать GPU для LLM: RTX 4090, A100, H100 или GX10
Сравните требования к памяти, совместимость и стоимость теста, чтобы выбрать GPU для инференса своей модели.
Зафиксируйте модель и нагрузку
Для выбора GPU нужны точная версия модели, формат весов, длина контекста и число одновременных запросов. У двух запусков одной LLM могут сильно различаться требования: короткий диалог одного пользователя и обработка длинных документов в несколько потоков занимают разный объём памяти.
Запишите, что для вас важнее: время до первого токена, скорость генерации, пропускная способность или бюджет эксперимента. Проверяйте конфигурации на одинаковом наборе запросов и с одинаковыми ограничениями. Без этого сравнение скорости легко превратить в сравнение разных задач.
RTX 4090: проверьте границу 24 ГБ
У RTX 4090 24 ГБ видеопамяти. Рассматривайте её для задач, у которых в этот объём помещаются веса, KV-кеш и рабочие буферы выбранного движка. Если модель загружается, но запрос с нужным контекстом приводит к нехватке памяти, успешная загрузка ещё не подтверждает пригодность конфигурации.
Квантование может уменьшить объём весов, но его формат должен поддерживать ваш runtime. Проверьте качество ответов после смены формата. Перенос части вычислений на CPU также меняет скорость, поэтому включайте его в условия сравнения.
A100 и H100: важна конкретная конфигурация
Название семейства не описывает весь сервер. В каталоге есть разные варианты A100 и H100: сравнивайте память на одном GPU, число ускорителей и исполнение PCIe или SXM. Отдельно проверьте оперативную память сервера, накопитель и доступный CPU.
При нескольких GPU уточните межсоединение и поддержку распределённого запуска. Нельзя автоматически считать суммарную память нескольких карт одним непрерывным пространством. Приложение должно уметь разделить модель или нагрузку; обмен данными тоже занимает время.
GX10: единая память и архитектура ARM64
ASUS Ascent GX10 на NVIDIA GB10 использует 128 ГБ общей памяти CPU и GPU. Этот объём включает потребности операционной системы и фоновых процессов. Сравнивайте доступную память под свою задачу, а не только цифру в заголовке карточки.
Процессор GX10 использует ARM64. Проверьте архитектуру контейнера, зависимости и CUDA-расширения до переноса проекта. Пара GX10 — два отдельных узла по 128 ГБ; совместный запуск требует поддержки со стороны программы. Наличие нужной памяти само по себе не определяет скорость генерации.
Сравните стоимость законченного теста
Более низкая цена за час может сопровождаться более долгим запуском. Измерьте время подготовки и выполнения одного и того же теста, пиковую память и количество успешных ответов. Затем умножьте оплачиваемую длительность на согласованную ставку.
Все конфигурации rentGPU представлены по запросу. До аренды нужно подтвердить оборудование, сроки, окружение и условия доступа. Текущая форма на сайте демонстрационная: она помогает увидеть состав заявки, но не отправляет данные и не бронирует сервер.
Источники и документация
Выберите GPU под свою задачу
Сравните характеристики и тарифы в каталоге. Подготовьте модель, окружение и желаемые даты для согласования конфигурации и условий доступа.
Что почитать дальше
Сколько стоит аренда GPU: как рассчитать бюджет
GPU для LoRA и QLoRA: как подготовиться к дообучению LLM