简介
随着大语言模型（LLM）在文本生成、摘要、对话等任务中的广泛应用，如何客观、可靠地评估模型输出成为核心课题。评估方法从传统的 **n‑gram 匹配**（BLEU、ROUGE）演进到基于语义向量的 **BERTScore**，再到利用强大 LLM 充当裁判的 **LLM‑as‑Judge** 与人工对齐评估。本文系统梳理这些方法的核心思想、适用场景以及实操要点，帮助你在实际项目中选择合适的评估链路。
---
1. 传统 n‑gram 指标：BLEU 与 ROUGE
| 指标 | 衡量对象 | 主要公式 | 优点 | 缺点 |
|------|----------|----------|------|------|
| **BLEU**（Bilingual Evaluation Understudy） | 机器翻译质量 | `BLEU = BP · exp(∑_n w_n log p_n)`，BP 为短句惩罚 | 计算快速、对大规模基准友好 | 只关注词汇重合，无法捕获语义与结构 |
| **ROUGE**（Recall-Oriented Understudy for Gisting Evaluation） | 摘要/生成质量 | 常用 ROUGE‑N（n‑gram 召回）、ROUGE‑L（最长公共子序列） | 对摘要任务天然友好、解释性强 | 对同义词不敏感、同样缺乏深层语义感知 |
实操要点
示例代码
# pip install sacrebleu rouge
import sacrebleu
from rouge import Rouge
ref = ["今天天气很好，适合出门。"]
hyp = ["今天的天气不错，适合外出。"]
# BLEU
bleu = sacrebleu.corpus_bleu(hyp, [ref])
print("BLEU:", bleu.score) # 输出 BLEU 分数
# ROUGE-L
rouge = Rouge()
scores = rouge.get_scores(hyp[0], ref[0])
print("ROUGE-L:", scores[0]["rouge-l"]["f"]) # F‑score
---
2. 基于语义向量的评估：BERTScore
核心思想
BERTScore 利用预训练语言模型（如 BERT）生成 token‑level 表征，通过 **余弦相似度** 匹配参考文本与生成文本的向量，实现对 **同义词、句子结构** 的感知。
计算流程
1. **嵌入**：将参考 `r` 与候选 `c` 分别送入 BERT，得到 token 表征 `R`、`C`。
2. **相似度矩阵**：`S_{ij} = cos(R_i, C_j)`。
3. **召回/精准/F1**
- `R = Σ_j max_i S_{ij} / |R|`
- `P = Σ_i max_j S_{ij} / |C|`
- `F = 2·R·P/(R+P)`
优点与局限
实操要点
示例代码
# pip install bert-score
from bert_score import score
cands = ["今天的天气不错，适合外出。"]
refs = ["今天天气很好，适合出门。"]
P, R, F1 = score(cands, refs, lang="zh", rescale_with_baseline=True)
print(f"BERTScore P={P.mean():.3f}, R={R.mean():.3f}, F1={F1.mean():.3f}")
---
3. LLM‑as‑Judge：让大模型给生成打分
什么是 LLM‑as‑Judge？
顾名思义，使用一个强大的 LLM（如 GPT‑4、ChatGLM）直接评估候选答案的质量。典型做法是：
1. **构建评判 Prompt**：
```text
你是评估专家，请对以下答案在**相关性、完整性与安全性**三个维度打分（1-5 分），并给出简要理由。
问：xxx
答：yyy
```
2. **解析模型输出**：提取分数或结构化 JSON。
常见评分范式
| 范式 | 描述 | 适用场景 |
|------|------|----------|
| **单维度评分** | 只输出一个总体分数 | 快速对齐评估 |
| **多维度评分** | 输出多个维度的分数（如相关性、正确性、流畅性） | 需要细分质量时 |
| **对比评估** | 同时提供两条候选答案，模型判定哪个更好 | 消融实验、A/B 测试 |
| **理由生成** | 给出评分背后的解释 | 提升可解释性、调试模型 |
关键挑战与缓解措施
| 挑战 | 解决方案 |
|------|----------|
| **位置偏差**：模型倾向于给靠前的答案更高分 | 随机打乱候选顺序，或使用 **Balanced Pairwise Prompt** |
| **长度偏好**：长答案往往得分更高 | 在 Prompt 中明确「请不因长度而偏袒」或加入长度惩罚项 |
| **模型自我偏好**：评估模型可能偏爱自己的生成 | 使用 **第三方裁判** 或 **多模型投票** |
| **评分漂移**：不同调用间分数尺度不一致 | 采用 **绝对-相对混合**（先给出参考基准，再打分）|
示例代码（使用 OpenAI‑compatible 接口）
import openai, json
def judge_with_llm(question, answer, judge_model="gpt-4"):
prompt = f"""请评估以下回答的质量。评分维度：相关性（1‑5）、完整性（1‑5），并给出简要理由。
问题：{question}
回答：{answer}
输出格式：
{{"相关性": <int>, "完整性": <int>, "理由": "<str>"}}"""
response = openai.ChatCompletion.create(
model=judge_model,
messages=[{"role":"user","content":prompt}],
temperature=0.0,
max_tokens=256
)
try:
return json.loads(response.choices[0].message.content)
except Exception as e:
return {"error": str(e)}
question = "请解释光合作用的主要步骤。"
answer = "光合作用是植物利用光能把二氧化碳和水合成葡萄糖，并释放氧气的过程。"
result = judge_with_llm(question, answer)
print(result)
---
4. 人工对齐评估：从标注到指标
即使有自动化指标，**人工对齐评估**仍是金标准。常见做法：
1. **抽样标注**：从模型输出中随机抽取 200–500 条，由专业标注员给出 **1–5 分** 或 **偏好标签**。
2. **对齐分数（Alignment Score）**：计算自动化指标与人工打分的 **Pearson / Spearman 相关系数**，用于校准模型。
3. **误差分析**：对偏离人工评估的案例进行聚类，定位模型弱点（如生成长度失控、幻觉信息等）。
实操要点
---
5. 综合评估框架建议
| 任