Сколько памяти нужно вашей LLM?
Рассчитайте память для весов модели, контекста и параллельных запросов до выбора GPU.
Посчитайте веса
Начальная оценка: число параметров × число бит на параметр ÷ 8. Для 8 миллиардов параметров это примерно 16 GB при 16 битах или 4 GB при 4 битах. Здесь GB — десятичные гигабайты; это оценка весов, без метаданных квантования и памяти для запуска.
Учтите память для контекста
При генерации runtime хранит KV-кеш. Его размер зависит от архитектуры, длины контекста и числа одновременных запросов. Веса могут помещаться в память, а длинный диалог или большая очередь запросов — уже нет.
Оставьте запас и измерьте пик
Добавьте память движка и рабочие буферы. Универсального процента запаса нет: запустите тест с максимальным ожидаемым контекстом и нагрузкой. Эти оценки относятся к инференсу; обучение требует отдельного расчёта.
Выберите GPU под свою задачу
Сравните характеристики и тарифы в каталоге. Подготовьте модель, окружение и желаемые даты для согласования конфигурации и условий доступа.
Что почитать дальше
Как выбрать GPU для LLM: RTX 4090, A100, H100 или GX10
Сколько стоит аренда GPU: как рассчитать бюджет