TheoLeeCJ/openjev
# 技术雷达学习卡：OpenJev
一、一句话定位
OpenJev 是一个在本地 GPU（如 RTX 3090）上复现 TypeSafe Jev 接口模式的开源项目，通过直接读取模型 logits 实现超快速语义决策，无需生成文本或 JSON 修复。
---
二、核心技术/架构亮点
1. 直接 logit 读取：一次前向传播直接读取声明选项的概率，省去生成、解析和修复循环。
2. 共享状态预填充：支持将长上下文预填充一次，然后并行评估多个条件，吞吐量提升约 8.6 倍。
3. 可审计设计：每次运行提交精确模型版本、提示哈希、原始输出和校验和，全链路可复现。
4. 模型无关性：基于开源 4B 模型（Qwen3.5-4B），无需闭源模型或特殊训练。
5. 系统级对比：与紧凑生成式阵列对比，95% 决策一致，速度提升 5.21 倍。
---
三、适用场景与目标用户
- 场景：运行时小决策（路由、重试、证据判断、客服分类等），需要毫秒级延迟、高吞吐和可审计。
- 目标用户：AI 后端工程师、决策系统开发者、希望用开源模型替代商业 waitlist 服务的团队。
---
四、可动手动作
1. 克隆并运行本地决策：
```bash
git clone https://github.com/TheoLeeCJ/openjev
cd openjev
python -m venv .venv && source .venv/bin/activate
pip install -e '.[test]'
export HF_HOME=/path/to/large-drive/huggingface
CUDA_VISIBLE_DEVICES=0 openjev-score --mode direct --model Qwen/Qwen3.5-4B --input examples/decisions.jsonl --output results.jsonl
```
2. 借鉴思路：在自己的推理服务中，对于多选型决策（如意图分类），用 logit 读取替代生成式，可立即获得 5 倍加速。
3. 接入示例：按 JSON 格式准备决策输入（状态 + 选项），调用项目提供的 CLI 或集成 API。
---
五、学习优先级：P0（本周动手）
理由：该技术提供了一种突破性的决策加速模式——直接在模型内部读取选项概率，避免文本生成瓶颈。项目代码完整、可本地运行，对大多数 AI 系统有立竿见影的优化价值，值得立即上手验证。⌂