pass@k
HumanEval · 代码生成
acc
GSM8K · 数学推理
acc
MMLU · 多学科知识
PPL
Perplexity · 语言建模
基准详情
统一 JSONL 数据格式，便于自定义扩展。
| Benchmark | 维度 | 指标 | 数据格式 |
|---|---|---|---|
| HumanEval | 代码生成 | pass@1 / pass@10 | prompt + test |
| GSM8K | 数学推理 | accuracy | question + answer |
| MMLU | 多学科知识 | accuracy | question + ABCD |
| Perplexity | 语言建模 | PPL | text |
运行评测
全量或抽样评测，结果输出为可对比的 JSON 报告。
# 全量评测（四大基准）
$ starmoon-z1 eval --model ./output/final \
--benchmarks humaneval,gsm8k,mmlu,perplexity
# 快速验证（限制 50 条样本）
$ starmoon-z1 eval --model ./output/final \
--benchmarks gsm8k --max-samples 50
eval 参数
常用参数与默认值一览：
| 参数 | 默认值 | 说明 |
|---|---|---|
| --model | 必填 | 模型路径 |
| --benchmarks | gsm8k | 逗号分隔：humaneval,gsm8k,mmlu,perplexity |
| --data-dir | None | 自定义数据目录 |
| --output | ./eval_results | 报告输出目录 |
| --max-new-tokens | 512 | 最大生成长度 |
| --temperature | 0.0 | 采样温度（0 = greedy） |
| --max-samples | None | 限制样本数 |
扩展自定义基准
继承 Benchmark 基类实现三个方法，注册即可接入统一引擎：
# 继承基类 → 注册 → 参与统一评测
class MyBenchmark(Benchmark):
name = "my_bench"
metric_name = "accuracy"
def load_data(self, data_path=None): ...
def build_prompt(self, sample): ...
def score(self, sample, generation): ...
BENCHMARK_REGISTRY["my_bench"] = MyBenchmark