NandhaKishorM/laya
一、一句话定位
Laya 是一个非自回归的 System 1 决策引擎：对文本/邮件/工单等输入，用一次前向传播（GPU 上约 33–38ms）直接输出带校准概率的结构化决策，不生成 token、不流式输出、不易产生幻觉。
二、核心技术/架构亮点
- 单次前向推理：并行判断多个 typed questions，延迟极低（10 个问题批量约 156ms）。
- 三种决策原语：`choice`（分类+置信度）、`score`（序数评分）、`noul`（布尔概率 P(true)），覆盖路由、紧急度、风控等场景。
- 校准概率：通过严格适当评分规则（RLCD）训练，置信度可作自动化门控（如 conf≥0.85 自动执行，否则转人工）。
- 内置工作流预设：模型路由、提示词护栏、内容审核、工单分诊等开箱即用。
- 开源可本地部署：Apache 2.0，支持 GPU/Mac/CPU，可实现零数据出境。
三、适用场景与目标用户
适合需要低延迟、高吞吐、可解释置信度的结构化分类/评分任务：邮件与工单分诊、垃圾/钓鱼检测、内容审核、模型路由、LLM 安全防护。目标用户为后端工程师、ML 工程师及 AI 产品团队，尤其是对响应延迟和成本敏感的生产环境。
四、可动手动作
- `pip install laya`，加载 `convaiinnovations/laya`，用 `agent.predict(state, questions)` 跑通示例（见 README Quickstart）。
- 直接调用 `laya.router_questions()`、`guard_questions()` 等预设 Schema，接入现有流程。
- 打开 Colab 微调笔记本，在免费 T4 上用自己的数据微调模型，产出定制分类器。
- 借鉴其三个决策原语的 Schema 设计，迁移到自有 LLM 应用中作为结构化输出层。
五、学习优先级
- P0（本周动手）：安装并运行 Quickstart，体验毫秒级多问判断——成本极低，能立即验证是否适合你的场景。
- P1（排期）：集成到真实路由/审核 pipeline，并测试置信度门控阈值；或微调自定义分类体系。
- P2（观念了解）：理解 RLCD 校准与非自回归架构，便于后续调优和向团队解释。
- P3（略读）：浏览 benchmark 对比与 Dev.to 文章，了解其与 TypeSafe Jev 的差异，不必深究。⌂