Попробовать uncensored LLM перед арендой сервера

Выберите пару моделей для сравнения

Для первого прогона можно рассмотреть Dolphin 3.0 Llama 3.1 8B. Если хотите оценить именно abliterated-версию, запланируйте сравнение Qwen/Qwen3-32B с huihui-ai/Qwen3-32B-abliterated. У Dolphin в карточке указана Llama 3.1, у обеих Qwen — Apache 2.0. Прочитайте условия репозиториев и зафиксируйте ревизии до загрузки.

Uncensored описывает изменённое поведение модели, а abliterated уточняет способ изменения весов для снижения отказов. Оценивайте, насколько каждый вариант решает вашу задачу: например, составляет ответ по документу или возвращает корректный JSON. Подходящие веса и runtime для этого сравнения ещё нужно проверить на GX10.

Подготовьте воспроизводимое окружение

Для ASUS GX10 нужны ARM64-совместимые зависимости и сборка движка с поддержкой GB10. Запишите версии драйвера, runtime и веб-приложения. Проверьте выбранное квантование, шаблон диалога и лимит контекста. Наличие ARM64-пакета Ollama или HTTP-сервера llama.cpp само по себе не подтверждает всю сборку приложения.

На одном узле можно запланировать последовательные прогоны двух моделей. Для параллельных независимых тестов рассмотрите пару GX10, если оба устройства доступны. Каждый узел имеет свои 128 ГБ единой памяти; под веса, KV-кеш и служебные процессы нужен отдельный расчёт.

Прогоните запросы своего приложения

Соберите одинаковый набор запросов для обеих моделей: короткий диалог, ответ по вашему документу, пример кода или структурированный результат. Используйте корректный для каждой модели шаблон диалога, запишите системный промпт и параметры генерации. Сохраняйте ответы рядом с исходным вводом, чтобы видеть причины различий.

Проверьте фактические ошибки, соблюдение формата и работу с нужным языком. В веб-приложении оцените потоковый ответ, отмену запроса и обработку ошибок. Измерьте время до первого токена и потребление памяти на своём тесте; результат относится к этой сборке и настройкам, а не ко всем моделям на GX10.

Заложите время на полный пробный запуск

В короткую аренду включите загрузку двух моделей, настройку, прогрев и сохранение результатов. Укажите предполагаемую длительность в калькуляторе ASUS GX10: ставка зависит от срока. Тестовые даты и доступность одного узла или пары подтверждаются отдельно.

После теста сохраните идентификаторы весов, конфигурацию runtime и результаты проверки. По ним выберите модель и бюджет длительной аренды либо измените параметры следующего прогона. Формы на сайте пока демонстрационные: отправка формы не запускает модель и не подтверждает бронь.