GhostSwitch
Локальный AI-ассистент
Одна открытая модель Qwen3.5 и библиотека LoRA-экспертов по коду, финансам, праву, CAD и ещё двум десяткам областей. Под каждое сообщение выбирает подходящего эксперта, пишет ответ и проверяет его кодом. Работает на ноутбуке с 16 ГБ памяти.
- 88,3 %HumanEval+ с экспертом по коду, у базовой модели — 76,7 %
- 16 ГБпамяти хватает на всю библиотеку экспертов
- 27экспертов для Qwen3.5-9B
Что умеет
- Роутер выбирает эксперта под каждое сообщение или отвечает базовой моделью, если никто не подходит
- Эксперт подключается к уже загруженной модели за 0,1–0,3 с, без перезагрузки
- Ответы проверяет код: полнота, арифметика, цитаты, поля JSON; не прошёл проверку — ответ пишется заново
- API, совместимый с OpenAI: работает с OpenAI SDK и агентом OpenCode
- Чаты остаются на вашем компьютере; после загрузки моделей работает без интернета
- Python
- Qwen3.5
- LoRA
- MLX
- llama.cpp
- OpenAI API

