feat(skill): beta 技能 diagnosing-bugs + 月度审阅与 evals 工具
skill-gate / gate (pull_request) Waiting to run

- 新增 diagnosing-bugs(beta):先建红循环再推理、二分定位、补回归测试;含 evals 与四段式文档
- 路由表加入难查 bug 行
- scripts/monthly-review.sh:一条命令跑月度审阅
- scripts/evals-status.py + reports/evals/TEMPLATE.md:evals 覆盖与回归报告模板
- skill-creator 实战记录 #1(待观察后晋升)
This commit is contained in:
johnQ
2026-11-01 05:33:50 +08:00
parent f7810ec3d9
commit 1566e2d3eb
11 changed files with 224 additions and 4 deletions
+3 -2
View File
@@ -25,7 +25,8 @@
- 范围:上周改过的技能 + 3 个高风险技能(`dev-coding`、`dev-review`、`req-design`)。
- 每技能取 1 条关键用例,做「有技能 / 无技能」对比,按 rubric 打分。
- 结果记录到 `reports/evals/YYYY-Www.md`,进周报。
- 结果记录到 `reports/evals/YYYY-Www.md`(模板 `reports/evals/TEMPLATE.md`),进周报。
- 用 `python3 scripts/evals-status.py` 看哪些技能已有 evals、哪些已有回归报告。
- 连续两次无增量的技能 → 按 `SCOPE.md` 评估降级。
- 不做全量(61 技能 × 3 用例成本过高);全量只在治理大改时做。
@@ -34,7 +35,7 @@
- 两台机器 `--audit` 漂移必须为 0(beta/deprecated 除外)。
- 审 `catalog.json`:`description` 长度 <80 或 >600 的标黄;含「各种 / 等等 / 相关」这类泛化词的标出。
- 第三方技能(arkcli 等)有变动时,评估是否影响团队技能;跑一次 `./scripts/scan-installed.sh`。
- 跑 `python3 scripts/validate-skills.py --coverage`:报告缺 evals / 缺四段式文档的技能,按 `SCOPE.md` 的覆盖率路线图推进。
- 跑 `./scripts/monthly-review.sh` 一次出齐:覆盖率、本仓库扫描、第三方扫描、catalog 一致性、description 异常项。
## 每季度首月 1 日 10:30 — 治理复核