Конфигурации / 2 МИН ЧТЕНИЯ

Как выбрать конфигурацию

Сравните память GPU, совместимость программ и требования вашей нагрузки.

Помещается ли задача в память?

Начните с модели и максимальной нагрузки. В наших ASUS Ascent GX10 по 128 GB общей CPU/GPU памяти на узел, часть которой использует система. Учитывайте контекст, параллельные запросы и промежуточные данные. Размер файла с весами — только отправная точка.

Работает ли ваш стек на GX10?

Проверьте архитектуру контейнера, поддержку GPU выбранным движком и формат квантования. Если у проекта есть собственные CUDA-расширения, включите их в тест совместимости. Не переносите оценку скорости с другой видеокарты без замера.

Нужен ли второй узел?

Выбирайте два узла для поддерживаемого распределённого запуска или двух независимых задач. Если нужен один большой процесс, сначала проверьте, умеет ли приложение разделять работу между узлами. В заявке приложите конфигурацию запуска — так обсуждение будет предметным.

Официальная документация

Нужна аренда GPU для этой задачи?

Укажите модель и желаемые даты. До начала аренды подтвердим конфигурацию, цену, доступность и способ подключения.

Подготовка к аренде GPU и первому запуску

Доступ, данные и завершение работы

Как оценить память для LLM