Continuum-AI-Corp/OrcaBonsai-27B-Uncensored
一、一句话定位
不改权重、不重量化，在推理期用“拒答方向消融”让极低比特 Ternary Bonsai 2 27B 实现可调“无审查”。
二、核心技术/架构亮点
1. 权重保持 bit-identical，仅运行时对残差流做 `y←y-α(y·r)r` 投影。
2. 129 个残差写入点全覆盖：64 个 MLP、48 个线性注意力、16 个全注意力等。
3. Alpha 可调（0=原版，1=完全消融），A/B 测试极方便。
4. 原模型 ~1.72 bits/weight，避免重量化带来的精度损失。
5. 对比 ablite 显示安全拒绝率大幅下降，MMLU/GSM8K 基本持平。
三、适用场景与目标用户
- 需要本地跑 27B 级模型的 Apple Silicon 用户。
- 研究极低比特模型对齐/去审查机制的研究者。
- 想安全测试“权重不变、行为改变”的推理期干预实验者。
四、可动手动作
```bash
git clone https://github.com/Continuum-AI-Corp/OrcaBonsai-27B-Uncensored
pip install -r requirements.txt
python run.py --pack /path/to/Ternary-Bonsai-2-27B-mlx-2bit "prompt"
python scripts/selfcheck.py --pack /path/to/Ternary-Bonsai-2-27B-mlx-2bit
```
可对比 `--alpha 0/1`，验证 129 个残差写入点。
五、学习优先级
- P1：可排期动手——环境成熟，脚本清晰，适合周末跑通并观察干预效果。
- P2：观念了解——推理期消融 vs 权重 ablite 的取舍，对理解对齐有价值。
- P3：略读——具体实现细节如 MLX 内核不是通用路线，按需深挖。⌂