Аренда GPU для LLM 70B — ASUS GX10
Запросите ASUS Ascent GX10 для теста 70B-модели в своём приложении. В одном узле — 128 ГБ единой памяти CPU и GPU. Это позволяет рассмотреть квантованные LLM, которые не помещаются целиком в 24 ГБ VRAM. Подбор начинаем с формата модели, контекста и вашей целевой нагрузки.
Сколько памяти занимают веса 70B
Оценка только весов: 70 миллиардов параметров × битность / 8. Получается около 35 ГБ при 4 битах, 70 ГБ при 8 битах и 140 ГБ при 16 битах в десятичных единицах. Формат квантования добавляет служебные данные. Для 70B в FP16 одних весов уже больше, чем 128 ГБ узла.
Подберите контекст под реальную задачу
Длинный диалог и параллельные запросы увеличивают KV-кеш. Добавьте память runtime, системы и приложения, затем проверьте пиковое потребление на нужной длине ввода. Для RAG используйте реальные документы и размер выдаваемых фрагментов: короткий демонстрационный запрос не отражает рабочую нагрузку сервиса.
Что проверить на ASUS GX10
Выберите движок, поддерживающий формат модели, ARM64 и GB10. Сохраните версию контейнера, параметры квантования и набор запросов. Измерьте время до первого токена, скорость ответа и поведение при нескольких пользователях. Сравнивайте одинаковые запросы и настройки — так видна стоимость полезного результата.
Выберите конфигурацию и срок
Начните с одного ASUS для оценки модели. Пара полезна для двух независимых тестов или распределённой задачи с подходящим runtime; память двух узлов не объединяется автоматически. Запросите нужные даты и длительность. Актуальная ставка и калькулятор срока находятся на странице ASUS GX10.
Цена аренды ASUS GX10
Для выбранной длительности действует одна ставка за час. Калькулятор умножает её на весь срок аренды.
Цена указана за один ASUS Ascent GX10 с 128 ГБ памяти, общей для CPU и GPU.
Выберите ASUS под свою модель
Укажите модель, квантование, контекст и даты. Выберите один узел или пару и согласуйте конфигурацию под задачу.
Модели для ASUS GX10Аренда ASUS GX10
Вопросы перед арендой
Поместится ли любая модель 70B?
Потребление зависит от формата весов, контекста, KV-кеша и runtime. Расчёт весов — начало оценки. Подтвердите итоговую конфигурацию тестом выбранной модели.
Можно запустить 70B в FP16 на одном GX10?
Около 140 ГБ нужно только для 70B-весов в 16-битном представлении. Для одного узла со 128 ГБ рассмотрите подходящее квантование и полный бюджет памяти.
Можно использовать Ollama или vLLM?
Укажите конкретный движок, версию и модель. Нужно проверить поддержку ARM64, GB10 и выбранного формата весов, а затем провести пробный запуск.
Как подготовить запрос на аренду?
Укажите ссылку на модель, квантование, максимальный контекст, одновременные запросы и сроки. Добавьте пример ввода и критерий, по которому оцените результат.