GLM-5.3 без цензуры: бесплатные веса на Hugging Face и сколько нужно железа #shorts

2 Просмотры
Издатель
Все абузы каждый день — в Telegram: https://t.me/+LweCwj9TjGMyY2Y6

На Hugging Face выложен GLM-5.3-UNCENSORED-EXL3-3.0bpw — EXL3-квантизация (≈3 бита на вес) uncensored-версии GLM-5.3. По описанию на странице: исходные веса отредактированы без дообучения, лицензия MIT, репозиторий не связан с Z.ai.

Что указано на странице модели:
• 753B параметров, MoE: 256 экспертов (8 активных) + 1 общий
• Размер — 273 GiB
• Проверено автором в TabbyAPI на 8× A100 40GB (бэкенд exllamav3), есть MTP-слой для спекулятивного декодинга

Как запустить:
1) Открой https://huggingface.co/Infatoshi/GLM-5.3-UNCENSORED-EXL3-3.0bpw и скачай веса
2) Поставь TabbyAPI с бэкендом ExLlamaV3 (пример конфига — на странице модели)
3) Запусти сервер и подключи свой клиент к его OpenAI-совместимому API

Нюансы:
• Это не для домашнего ПК: веса весят сотни гигабайт, нужна серверная конфигурация GPU.
• Неофициальная модификация — не от Z.ai. Ответственность за использование — на тебе.
• Для агентных сценариев автор рекомендует поправить парсер tool calls в TabbyAPI (подробности на странице).
• Условия и файлы репозитория могут измениться.

Источник: https://huggingface.co/Infatoshi/GLM-5.3-UNCENSORED-EXL3-3.0bpw

Больше абузов нейросетей — подписывайся на канал!

#shorts #нейросети #ИИ #glm #huggingface
Категория
AI инструменты
Комментариев нет.