评测方案

┌────────────────────────────────────────────────────────────┐
│                        Eval Orchestrator                    │
│  eval/runner.ts                                            │
│                                                             │
│  Task Loader ──→ Agent Runner ──→ Sandbox ──→ Judge       │
│  (JSONL)        (pi/omp CLI)    (Docker)    (SWE-bench)    │
│                                                             │
│  ┌──────────────────────────────────────────────────────┐  │
│  │              Metrics Collector                        │  │
│  │  resolve_rate │ token 用量 │ wall time │ API 成本    │  │
│  └──────────────────────────────────────────────────────┘  │
│                                                             │
│  ┌──────────────────────────────────────────────────────┐  │
│  │              Report Generator                         │  │
│  │  基准线 → 评测对象 → 对标参考 + 公开 leaderboard     │  │
│  └──────────────────────────────────────────────────────┘  │
└────────────────────────────────────────────────────────────┘

1. Task Loader: 读取 { repo_url, base_commit, issue_text, test_patch }

2. Sandbox: docker run swebench-image-{repo}
   → 容器内已 checkout base_commit，依赖已安装

3. Agent Runner:
   docker exec pi pi --model ${MODEL} \
     -e /piex/extensions/hashline/src/hashline.ts \
     -e /piex/extensions/dap/src/dap.ts \
     -e /piex/extensions/lsp/src/lsp.ts \
     -e /piex/extensions/plan/src/plan.ts \
     -e /piex/extensions/review/src/review.ts \
     -p "${ISSUE_TEXT}" > /workspace/result.json

4. 收集: result.json → patch + tool_calls + token_usage

5. Judge: 应用 patch → 运行 test_patch → pass/fail

6. Metrics: SQLite / JSONL 持久化

piex/eval/
├── README.md                  # 评测工具使用文档
├── package.json
├── tsconfig.json
│
├── src/
│   ├── runner.ts              # CLI 主入口
│   ├── orchestrator.ts        # 任务调度（并行、重试）
│   ├── sandbox.ts             # Docker 容器管理
│   ├── agents/
│   │   ├── pi.ts              # pi bare + piex 两种模式
│   │   └── omp.ts             # omp runner
│   ├── benchmarks/
│   │   ├── swebench.ts        # SWE-bench 数据集 + 判题
│   │   ├── aider-polyglot.ts  # Aider Polyglot
│   │   ├── can-it-edit.ts     # Can It Edit
│   │   ├── debugbench.ts      # DebugBench
│   │   └── repobench.ts       # RepoBench
│   ├── metrics.ts             # 指标收集与计算
│   └── report.ts              # Markdown / JSON 报告生成
│
├── docker/
│   ├── pi.Dockerfile          # pi 基础镜像（共享）
│   ├── omp.Dockerfile         # omp 镜像
│   └── swebench.Dockerfile    # SWE-bench 环境
│
├── results/                   # gitignored
│   └── 2026-07-14/
│       ├── swebench-pi-bare.json
│       ├── swebench-pi-piex.json
│       ├── swebench-omp.json
│       └── report.md
│
└── fixtures/                  # 自定义评测素材
    └── merge-conflicts/       # 合并冲突评测集（conflict 后续使用）

## SWE-bench Verified — piex 评测报告 (2026-07-14)

### 评测结果

| 角色 | Agent | Model | Resolve Rate | Avg Tokens | Avg Time | Est. Cost |
|------|-------|-------|-------------|------------|----------|-----------|
| 基准线 | pi (bare) | deepseek-v3 | 12.4% | 85K | 3.2min | $0.18 |
| **评测对象** | **pi + piex** | deepseek-v3 | **18.8%** | 62K | 2.8min | $0.14 |
| 参照系 | omp | deepseek-v3 | 19.2% | 60K | 2.6min | $0.13 |

### pi + piex 效果分析

| 指标 | pi (bare) 基准线 | pi + piex | omp 参照系 | 相对基准提升 | 与 omp 参照差距 |
|------|-----------------|-----------|---------|------------|-----------|
| resolve_rate | 12.4% | 18.8% | 19.2% | **+51.6%** | **-2.1%** |
| avg_tokens | 85K | 62K | 60K | **-27.1%** | **+3.3%** |
| edit_accuracy | 67% | 91% | 92% | **+35.8%** | **-1.1%** |
| avg_tool_calls | 42 | 28 | 26 | **-33.3%** | **+7.7%** |

### 公开 Leaderboard 参考（同评测集）

| Agent | Resolve Rate | 来源 |
|-------|-------------|------|
| Claude 4 Opus + SWE-agent | 42.6% | anthropic.com/blog |
| Devin | 35.8% | swebench.com |
| GPT-5 + OpenHands | 38.2% | openhands.dev |

### 结论

- piex 对 pi 的量化提升：resolve rate **+51.6%**，token 用量降低 **27.1%**
- 相比 omp 参照系：pi + piex 差距 **< 5%**，核心编辑能力在相近水平
- pi Extension API 可承载 omp 级别 agent 能力，piex 架构更轻量