chore(marketplace): update req-retro karpathy-score dimension, req-test-gate gate-0b docs
- req-retro: 新增 karpathy_score × 0.20 维度,QS 公式扩展为 5 维 - req-test-gate: Gate 0B 新增 check-surgical.sh Ratchet 文档 Co-Authored-By: Claude Sonnet 4.6 <noreply@anthropic.com>
This commit is contained in:
@@ -23,10 +23,11 @@ description: 复盘总结。自动采集数据、计算质量评分、跨需求
|
|||||||
### 2. 质量评分(Quality Score)
|
### 2. 质量评分(Quality Score)
|
||||||
|
|
||||||
```
|
```
|
||||||
QS = lookback_pass_rate × 0.3
|
QS = lookback_pass_rate × 0.25
|
||||||
+ audit_defect_score × 0.3
|
+ audit_defect_score × 0.25
|
||||||
+ cr_density_score × 0.2
|
+ cr_density_score × 0.15
|
||||||
+ test_pass_rate × 0.2
|
+ test_pass_rate × 0.15
|
||||||
|
+ karpathy_score × 0.20 ← Karpathy 四原则执行质量
|
||||||
|
|
||||||
audit_defect_score:
|
audit_defect_score:
|
||||||
0 缺陷 = 100
|
0 缺陷 = 100
|
||||||
@@ -38,8 +39,26 @@ audit_defect_score:
|
|||||||
cr_density_score:
|
cr_density_score:
|
||||||
100 - (发现数 / 变更行数 × 1000)
|
100 - (发现数 / 变更行数 × 1000)
|
||||||
下限 0,上限 100
|
下限 0,上限 100
|
||||||
|
|
||||||
|
karpathy_score(四原则执行质量,各 25 分,共 100):
|
||||||
|
Think Before PRD (25):
|
||||||
|
PRD 无返工 → 25 | 因需求误解返工 1 次 → 15 | ≥2 次 → 0
|
||||||
|
Simplicity (25):
|
||||||
|
CR 第六视角无 Scope 违规 → 25 | 1 个 Low → 20 | ≥1 个 Medium+ → 10 | High+ → 0
|
||||||
|
Surgical (25):
|
||||||
|
check-surgical.sh PASS + CR 无顺手改 → 25 | 警告但未阻塞 → 15 | FAIL → 0
|
||||||
|
Goal-Driven (25):
|
||||||
|
dev-coding 有验证脚本记录(VP-Steps 先于代码执行)→ 25 | 事后补写 → 15 | 无 → 0
|
||||||
```
|
```
|
||||||
|
|
||||||
|
**Karpathy 数据来源**(按优先级):
|
||||||
|
1. dev-coding 任务文档中是否有「验证脚本」节
|
||||||
|
2. CR 报告第六视角的发现数和严重度
|
||||||
|
3. `git log` 中是否有 check-surgical.sh baseline 更新提交(说明有过违规)
|
||||||
|
4. PRD 任务文档的版本数(> 1 说明有返工)
|
||||||
|
|
||||||
|
**无数据时**:各维度默认 20 分(中性),在报告中标注 `(无记录,按中性计算)`
|
||||||
|
|
||||||
### 3. 历史趋势对比
|
### 3. 历史趋势对比
|
||||||
|
|
||||||
读取 `memory/retro_metrics.md` 的明细数据:
|
读取 `memory/retro_metrics.md` 的明细数据:
|
||||||
@@ -87,10 +106,12 @@ AI: "近 5 次需求中 3 次 audit 发现了 {缺陷类型}。
|
|||||||
|
|
||||||
追加一行到明细:
|
追加一行到明细:
|
||||||
```
|
```
|
||||||
| REQ-xxx | 2026-04-18 | 5h44m | 92 | 2 | 279 | 3 | frontend |
|
| REQ-xxx | 2026-04-18 | 5h44m | 92 | 2 | 279 | 3 | frontend | 85 |
|
||||||
```
|
```
|
||||||
|
|
||||||
更新汇总:重新计算近 10 次平均值和趋势箭头(↑↓→)。
|
列说明:`REQ | date | time | QS | audit_defects | changed_lines | cr_findings | type | karpathy_score`
|
||||||
|
|
||||||
|
更新汇总:重新计算近 10 次平均值和趋势箭头(↑↓→),包含 karpathy_score 趋势。
|
||||||
|
|
||||||
超过 30 条明细 → 最早的移入 `retro_metrics_archive.md`。
|
超过 30 条明细 → 最早的移入 `retro_metrics_archive.md`。
|
||||||
|
|
||||||
@@ -116,10 +137,19 @@ AI: "近 5 次需求中 3 次 audit 发现了 {缺陷类型}。
|
|||||||
## 质量指标
|
## 质量指标
|
||||||
| 指标 | 本次 | 近10次均 | 对比 |
|
| 指标 | 本次 | 近10次均 | 对比 |
|
||||||
|------|------|---------|------|
|
|------|------|---------|------|
|
||||||
| 质量分 | 92 | 85 | ↑ |
|
| 质量分 (QS) | 92 | 85 | ↑ |
|
||||||
| audit 缺陷 | 2(低) | 3.2 | ↓ |
|
| audit 缺陷 | 2(低) | 3.2 | ↓ |
|
||||||
| CR 发现 | 0 | 1.5 | ↓ |
|
| CR 发现 | 0 | 1.5 | ↓ |
|
||||||
| 测试通过率 | 100% | 95% | ↑ |
|
| 测试通过率 | 100% | 95% | ↑ |
|
||||||
|
| Karpathy 分 | 85 | 78 | ↑ |
|
||||||
|
|
||||||
|
## Karpathy 四原则评分
|
||||||
|
| 原则 | 得分 | 说明 |
|
||||||
|
|------|------|------|
|
||||||
|
| Think Before PRD | 25/25 | PRD 无返工 |
|
||||||
|
| Simplicity | 20/25 | CR 第六视角发现 1 个 Low |
|
||||||
|
| Surgical | 25/25 | check-surgical.sh PASS |
|
||||||
|
| Goal-Driven | 15/25 | 验证脚本为事后补写 |
|
||||||
|
|
||||||
## git 统计
|
## git 统计
|
||||||
| 提交数 | 变更文件 | +行 | -行 |
|
| 提交数 | 变更文件 | +行 | -行 |
|
||||||
|
|||||||
@@ -87,12 +87,24 @@ done
|
|||||||
**报告格式**:
|
**报告格式**:
|
||||||
```
|
```
|
||||||
### 约定检查 (Gate 0B)
|
### 约定检查 (Gate 0B)
|
||||||
| 脚本 | 结果 | 详情 |
|
| 脚本 | 类型 | 结果 | 详情 |
|
||||||
|------|------|------|
|
|------|------|------|------|
|
||||||
| check-architecture.sh | ✅ PASS | 5 rules, all within baseline |
|
| check-architecture.sh | Ratchet | ✅ PASS | 5 rules, all within baseline |
|
||||||
| check-modal-safety.sh | ✅ PASS | 0 violations |
|
| check-modal-safety.sh | Hard wall | ✅ PASS | 0 violations |
|
||||||
|
| check-surgical.sh | Ratchet | ✅ PASS | 0 format-only violations (baseline=0) |
|
||||||
```
|
```
|
||||||
|
|
||||||
|
**本项目已建立的约定检查脚本**:
|
||||||
|
|
||||||
|
| 脚本 | 类型 | 检测内容 | 来源 |
|
||||||
|
|------|------|---------|------|
|
||||||
|
| `check-architecture.sh` | Ratchet | Handler 直接引用 database/ 层 | 分层架构规范 |
|
||||||
|
| `check-modal-safety.sh` | Hard wall | Modal.success 后立即操作 UI | REQ-20260416 |
|
||||||
|
| `check-surgical.sh` | Ratchet | PR diff 中疑似仅注释/格式变更的文件 | Karpathy Surgical(REQ-20260421-0003)|
|
||||||
|
|
||||||
|
> `check-surgical.sh` 使用 Ratchet 模式:`.surgical-baseline.json` 记录基线,违规数只能降不能升。
|
||||||
|
> 首次无基线时仅告警,不阻塞。运行 `./scripts/check-surgical.sh baseline` 建立基线。
|
||||||
|
|
||||||
> 这样 Harness 建立的约定脚本会在每次 `/req test` 时自动运行,无需手动执行 `/harness report`。
|
> 这样 Harness 建立的约定脚本会在每次 `/req test` 时自动运行,无需手动执行 `/harness report`。
|
||||||
|
|
||||||
---
|
---
|
||||||
|
|||||||
Reference in New Issue
Block a user