自然语言生成（NLG）的评价指标：从经典到前沿的深度剖析

发表于2025-07-24|更新于2025-07-26|数学

|浏览量:

你好，各位技术与数学的爱好者们！我是 qmwneb946，今天我们将一同踏上一段深度探索之旅，去剖析自然语言生成（Natural Language Generation, NLG）领域中那些至关重要的评价指标。在人工智能，特别是大型语言模型（LLMs）飞速发展的今天，我们每天都在见证着机器生成文本能力的突飞猛进。然而，当我们惊叹于这些模型创造出的流畅、连贯甚至富有创意的文字时，一个核心问题随之浮现：我们如何客观、准确地评价这些生成的文本的质量？

这并非一个简单的问题。毕竟，语言的魅力在于其无限的可能性和微妙的语境，它远非简单的“对”与“错”所能衡量。一篇优秀的生成文本，可能在语法上无可挑剔，在语义上却完全偏离，或者在逻辑上存在漏洞。因此，设计一套全面、鲁棒且能够反映人类感知的评价体系，成为了NLG领域一个持续的、充满挑战性的研究热点。

本文将从NLG评价的根本挑战出发，逐步深入，带你领略从最初基于词汇重叠的经典指标，到利用深度学习模型捕捉语义的新一代指标，再到无需参考文本的创新方法的演变历程。我们不仅会揭示这些指标的数学原理、计算方式，更会探讨它们的优缺点，以及在实际应用中的考量。无论你是一名AI研究者、开发者，还是仅仅对语言模型充满好奇的技术爱好者，我希望这篇文章能为你提供一个全面而深刻的视角，帮助你更好地理解和评估机器的语言创造力。

引言：NLG评价的艺术与科学

自然语言生成（NLG）是自然语言处理（NLP）领域的一个核心分支，其目标是让机器根据给定的数据或输入，生成人类可读的自然语言文本。从简单的摘要生成、机器翻译，到复杂的对话系统、故事创作乃至代码生成，NNLG的应用场景日益广泛。

然而，NLG的评价工作却是一个充满挑战的领域。与自然语言理解（NLU）任务（如情感分析、命名实体识别）通常有明确的“正确答案”不同，NLG生成的文本往往具有开放性和多样性。生成一段文本可能存在多种语法正确、语义准确且表达流畅的方式。例如，将一句英文翻译成中文，可能有多重表达方式都是同样高质量的。这种“多参考”的特性使得传统的基于精确匹配的评价方法难以适用。

评价NLG系统的性能，其重要性不言而喻：

模型迭代与优化： 评价指标是指导模型训练和优化的关键信号。通过量化模型输出的质量，开发者可以理解模型当前的问题，并据此调整模型架构、训练数据或算法。
模型选择与比较： 当有多个NLG模型可供选择时，评价指标提供了一个客观的比较标准，帮助我们选择最适合特定任务的模型。
产品质量保障： 在实际应用中，NLG系统的输出直接影响用户体验。有效的评价能够确保生成内容的准确性、流畅性和安全性。

简而言之，没有有效的评价，我们就像在黑暗中摸索，无法判断模型是否在进步，也无法识别其潜在的风险。因此，深入理解和掌握NLG的评价指标，是每一位NLG从业者和爱好者必备的技能。

NLG评价面临的核心挑战

在深入探讨具体评价指标之前，我们首先要理解NLG评价的固有难度。这些挑战贯穿于整个评价过程，从指标设计到结果解读。

1. 语言表达的多样性与开放性

这是NLG评价最根本的挑战。与分类或回归任务不同，NLG任务的输出往往没有唯一的“标准答案”。即使是同一个意图或信息，也能以多种词汇、句式和风格来表达。例如，摘要生成任务，针对同一篇文章，不同的人可能会写出内容侧重点不同但都同样优秀的摘要。这种多样性使得基于“参考答案”的自动评价变得复杂，因为模型可能生成了一个与参考答案不同但同样有效的文本。

2. 语义理解的复杂性

简单的词汇匹配无法捕捉深层次的语义相似性。机器生成的文本可能使用了与参考文本不同的词语，但表达了相同的语义。反之，词汇上高度相似的文本，在特定语境下也可能语义大相径庭。例如，“苹果很好吃”和“苹果公司很好”中的“苹果”，在语义上完全不同。这要求评价指标能够超越表面形式，深入理解文本的含义。

3. 主观性与语境依赖

语言的质量感知是高度主观的。一个人认为“流畅”的文本，另一个人可能觉得“平淡”。除了客观的语法错误，诸如连贯性、恰当性、创造性等高级属性都带有强烈的主观色彩。此外，文本的质量也高度依赖于其生成时的语境和目标。一篇用于新闻报道的文本，其评价标准与一篇用于诗歌创作的文本截然不同。

4. 高质量参考文本的获取难度

自动评价指标通常需要一个或多个高质量的参考文本作为基准。然而，在许多NLG任务中，尤其是在开放域生成或对话系统中，获取大量高质量、多样化的参考文本是非常昂贵的，有时甚至是不可能的。人工标注成本高昂，且同样受限于主观性。

5. 评价指标与人类判断的一致性问题

理想的自动评价指标应该与人类专家的判断高度相关。然而，许多现有的自动指标，尤其是一些早期指标，在某些情况下可能无法很好地反映人类对文本质量的感知。一个指标分数高，不代表人类就一定认为它好；反之亦然。研究者们一直在努力缩小这种“相关性差距”（correlation gap）。

正是由于这些挑战，NLG的评价不能仅仅依赖单一指标，而需要一套多维度、多层次的综合评估体系，并且往往需要结合人工评价与自动评价的优势。

NLG评价的分类：人工与自动

NLG的评价方法大致可以分为两大类：人工评价 (Human Evaluation) 和 自动评价 (Automatic Evaluation)。它们各有优势和局限性，通常在实际应用中相互补充。

1. 人工评价：金标准但成本高昂

人工评价是指由人类专家或众包工作者对机器生成的文本进行主观判断和评分。它被认为是NLG评价的“金标准”，因为它能够捕捉机器生成文本的细微之处，如语义准确性、逻辑连贯性、语言流畅性、风格恰当性，甚至创造性。这些是自动指标难以完全捕捉的复杂属性。

优点：

高准确性： 能够最真实地反映文本质量，与人类感知高度一致。
全面性： 可以从多个维度（如流畅度、连贯性、语义准确性、信息完整度、安全性等）进行细致的评估。
灵活性： 可以根据特定任务和需求定制评价标准和维度。

缺点：

成本高昂： 需要大量时间和人力，尤其对于大规模数据集或频繁的模型迭代。
耗时： 评价周期长，无法实时反馈，不利于快速开发迭代。
主观性与一致性问题： 不同评价者可能对同一文本有不同看法，导致评价结果存在偏差。需要严格的评价指南和交叉验证来确保一致性。
复现性差： 由于人为因素，完全相同的评价结果难以在不同时间或不同评价者之间复现。

常用的人工评价方法：

多维度 Likert 量表评分： 评价者根据预设的维度（如流畅度、语法正确性、语义准确性、信息完整度、连贯性、吸引力、安全性等），使用 Likert 量表（如 1-5 分制）对文本进行评分。这是最常用的方法之一。
- 流畅度 (Fluency)： 文本的语法是否正确，语句是否通顺自然，是否符合人类语言习惯。
- 连贯性 (Coherence)： 文本的逻辑结构是否清晰，上下文是否紧密衔接，语义上是否一致。
- 准确性/忠实度 (Adequacy/Fidelity)： 文本是否准确地传达了源信息，是否包含了所有必要的信息，没有遗漏或错误信息。
- 相关性 (Relevance)： 文本是否与给定的输入或提示高度相关，没有离题。
- 信息性 (Informativeness)： 文本是否提供了足够的新信息或知识，而非空洞无物。
- 吸引力/参与度 (Engagingness)： 文本是否有趣、吸引人，是否能引起读者的共鸣。
- 新颖性 (Novelty)： 文本是否具有创造性，避免模板化和重复。
- 安全性/无害性 (Safety/Harmlessness)： 文本是否包含偏见、歧视、暴力、色情等有害内容。
A/B 测试/偏好排序： 比较两个或多个模型生成的文本，让人工评价者选择他们更偏好的那一个，或者对它们进行排序。这种方法简单直观，能直接反映用户偏好。
任务完成度评估： 在特定任务背景下（如对话系统），评估模型输出是否成功帮助用户完成任务。这通常涉及更复杂的交互和行为分析。
错误分析： 详细记录并分类模型生成的文本中的错误类型（如语法错误、事实错误、逻辑错误、重复等），这有助于模型开发者进行有针对性的改进。

进行人工评价时，需要精心设计实验流程、准备详细的评价指南、对评价者进行培训，并采用交叉验证、多数投票等策略来提高评价的可靠性和一致性。

2. 自动评价：快速、可复现的代理指标

自动评价是指利用计算程序和数学指标，自动地计算机器生成文本的质量分数。它们通常不需要人工干预（除了准备参考文本），因此速度快、成本低、易于复现。自动指标通常基于生成文本与一个或多个“参考文本”（通常由人工撰写的高质量文本）之间的相似度计算。

优点：

速度快： 可以在短时间内评估大量文本，适用于模型训练过程中的实时反馈。
成本低： 无需大量人工，节省资源。
可复现： 每次运行都会得到相同的结果，便于科学研究和模型比较。
标准化： 结果以数值形式呈现，便于量化比较和统计分析。

缺点：

与人类判断的相关性： 这是最大的挑战。许多自动指标难以完全捕捉人类对语言质量的细微感知，可能出现高分低质或低分高质的情况。
依赖参考文本： 大多数自动指标需要高质量的参考文本，这在某些开放域任务中难以获得。
无法捕捉语义深层含义： 传统的基于词汇重叠的指标尤其如此，它们对同义词、释义、语境变化不敏感。
过度优化风险： 模型可能会为了在某个特定自动指标上得分高，而牺牲文本的整体质量。

自动评价指标可以进一步细分为：

基于词汇重叠的指标 (Lexical Overlap-based Metrics)： 依赖于生成文本和参考文本之间共享的词汇或短语的数量。
基于语义相似度的指标 (Embedding-based/Semantic Similarity Metrics)： 利用词向量或句子向量来衡量语义上的相似性。
无参考文本的指标 (Reference-Free Metrics)： 不依赖参考文本，而是通过评估文本自身的内在属性（如流畅度、语法、一致性）或与其他外部知识源（如知识库）的匹配度来评价。

接下来，我们将详细介绍这些自动评价指标。

自动评价指标：基于词汇重叠的经典

这些指标是NLG评价的基石，主要通过计算生成文本与参考文本之间共享的N-gram（连续的N个词）的数量来衡量相似性。它们计算效率高，是机器翻译、文本摘要等任务中广泛使用的指标。

1. BLEU (Bilingual Evaluation Understudy)

BLEU 是机器翻译领域最著名的自动评价指标，由 IBM 在 2002 年提出。它的核心思想是，机器翻译的质量越高，其输出与人类翻译的参考译文之间的词汇重叠程度就越高。

工作原理：
BLEU 主要衡量精确率 (Precision)，即机器译文中与参考译文重叠的N-gram所占的比例。为了避免机器翻译只生成少数频繁词以获得高精确率，BLEU 引入了“修改的N-gram精确率”和“简短惩罚因子”。

修改的N-gram精确率 (Modified N-gram Precision)：
- 计算机器译文中的每个 N-gram 在参考译文中出现的次数。
- 如果一个 N-gram 在机器译文中出现了多次，但在参考译文中只出现一次，那么它只能被计算一次。这避免了过度重复的N-gram获得高分。
- 公式为：
  P_n = \frac{\sum_{C \in \text{Candidates}} \sum_{\text{n-gram} \in C} \min(\text{Count}(\text{n-gram}), \text{Max_Ref_Count}(\text{n-gram}))}{\sum_{C' \in \text{Candidates}} \sum_{\text{n-gram}' \in C'} \text{Count}(\text{n-gram}')}
  其中：
  - $n$ 代表 N-gram 的长度（通常取 $n=1, 2, 3, 4$ ）。
  - $\text{Count}(\text{n-gram})$ 是某个 N-gram 在候选译文（机器译文）中出现的次数。
  - \text{Max_Ref_Count}(\text{n-gram}) 是某个 N-gram 在所有参考译文中出现的最大次数。
  - 分母是候选译文中所有 N-gram 的总数。
简短惩罚因子 (Brevity Penalty, BP)：
- 为了惩罚机器译文过短的情况（过短的译文通常精确率很高但信息量不足），BLEU 引入了 BP。
- 它比较候选译文的总长度 $c$ 和参考译文中最接近的长度 $r$ 。如果 $c > r$ ，则 BP 为 1；如果 $c \le r$ ，则 BP 随着 $c$ 的缩短而减小。
- 公式为：
  $\text{BP} = \begin{cases} 1 & \text{if } c > r \\ e^{(1 - r/c)} & \text{if } c \le r \end{cases}$
  其中 $c$ 是候选译文的总词数， $r$ 是参考译文集合中与 $c$ 最接近的词数（通常取大于等于 $c$ 的最短参考译文长度）。
最终 BLEU 分数：
- BLEU 将不同长度 N-gram 的修改精确率加权几何平均，然后乘以简短惩罚因子。通常使用 $N=4$ 的 N-gram（即 unigram, bigram, trigram, 4-gram）。
- 公式为：
  $\text{BLEU} = \text{BP} \cdot \exp\left(\sum_{n=1}^{N} w_n \log P_n\right)$
  其中 $w_n$ 是 N-gram 的权重（通常取 $w_n = 1/N$ ）。

优点：

计算效率高： 易于实现和计算。
广泛认可： 是机器翻译领域最常用的标准指标，便于跨模型的比较。
多参考支持： 可以处理多个参考译文。

缺点：

不考虑语义： 仅仅基于词汇重叠，无法捕捉同义词、句法结构差异、语义理解等深层次问题。例如，“好坏”和“坏好”可能BLEU分数接近，但语义相反。
对N-gram长度敏感： 较长的N-gram（如4-gram）精确率低时，会导致分数急剧下降。
与人类判断相关性有限： 在某些情况下，BLEU分数高的翻译，人类可能认为质量一般，反之亦然。尤其是在创意性、流畅性方面表现不佳。
依赖参考译文： 如果参考译文质量不高或数量不足，BLEU分数可能不准确。

Python 代码示例 (使用 nltk 库):

from nltk.translate.bleu_score import sentence_bleu, SmoothingFunction

# 参考译文可以有多个，每个参考译文是一个词列表
# 这里为了演示，我们用一个参考译文，实际上可以是一个列表的列表
reference = [['this', 'is', 'a', 'test']]
candidate = ['this', 'is', 'a', 'test']

score = sentence_bleu(reference, candidate)
print(f"Perfect match BLEU: {score:.4f}") # 1.0

candidate = ['this', 'is', 'a', 'bad', 'test'] # 有一个词不同
score = sentence_bleu(reference, candidate)
print(f"One word different BLEU: {score:.4f}")

candidate = ['this', 'test'] # 过短
score = sentence_bleu(reference, candidate)
print(f"Too short BLEU (no smoothing): {score:.4f}")

# 当 n-gram 不存在时，P_n 可能会为 0，导致 log(0) 错误，所以通常需要平滑处理
# SmoothingFunction().method1 是一个常用的平滑方法
smoothie = SmoothingFunction().method1
candidate = ['this', 'is', 'not', 'a', 'good', 'test']
score = sentence_bleu(reference, candidate, smoothing_function=smoothie)
print(f"Smoothed BLEU: {score:.4f}")

# 多个参考译文
references_multi = [['the', 'cat', 'sat', 'on', 'the', 'mat'],
                    ['there', 'was', 'a', 'cat', 'on', 'the', 'mat']]
candidate_multi = ['a', 'cat', 'was', 'on', 'the', 'mat']
score_multi = sentence_bleu(references_multi, candidate_multi, smoothing_function=smoothie)
print(f"Multi-reference BLEU: {score_multi:.4f}")

2. ROUGE (Recall-Oriented Understudy for Gisting Evaluation)

ROUGE 是专门为文本摘要和机器翻译评价设计的指标，它与 BLEU 类似，但更侧重于召回率 (Recall)，即参考摘要中被机器摘要捕捉到的 N-gram 的比例。这在摘要任务中尤为重要，因为我们希望机器摘要能够包含参考摘要中的关键信息。

ROUGE 家族包含多种变体：

ROUGE-N： 基于 N-gram 的重叠。
- ROUGE-1： 基于 unigram (单字或单词) 的重叠。
- ROUGE-2： 基于 bigram (二元词组) 的重叠。
- 以此类推。
- 公式：
  $\text{ROUGE-N} = \frac{\sum_{\text{sentence}_i \in \text{Ref}} \sum_{\text{n-gram} \in \text{sentence}_i} \text{Count}_{\text{match}}(\text{n-gram})}{\sum_{\text{sentence}_j \in \text{Ref}} \sum_{\text{n-gram}' \in \text{sentence}_j} \text{Count}(\text{n-gram}')}$
  其中 $\text{Count}_{\text{match}}(\text{n-gram})$ 是候选文本和参考文本中共有的 N-gram 的数量， $\text{Count}(\text{n-gram}')$ 是参考文本中 N-gram 的总数。这实际上是召回率。通常也会计算 F1 分数 (结合精确率和召回率的调和平均)。
ROUGE-L： 基于最长公共子序列 (Longest Common Subsequence, LCS) 的重叠。
- LCS 是一种不要求 N-gram 连续的重叠，它捕捉了文本的整体结构和词序相似性，对语序变化具有一定的鲁棒性。
- 公式：
  $R_{LCS} = \frac{\text{LCS}(\text{Candidate}, \text{Reference})}{\text{len}(\text{Reference})}$
  
  $P_{LCS} = \frac{\text{LCS}(\text{Candidate}, \text{Reference})}{\text{len}(\text{Candidate})}$
  
  $F_{LCS} = \frac{(1 + \beta^2) R_{LCS} P_{LCS}}{R_{LCS} + \beta^2 P_{LCS}}$
  通常取 $\beta=1$ ，即 F1 分数。
ROUGE-S (Skip-gram ROUGE)： 基于跳跃 N-gram 的重叠，允许 N-gram 中间的词被跳过。这可以捕捉更灵活的短语匹配。

优点：

对摘要任务特别有效： 召回率导向使其能够很好地衡量机器摘要是否包含参考摘要中的关键信息。
ROUGE-L 对语序变化有一定容忍度： 相较于 N-gram 完全匹配，LCS 更灵活。
易于计算和理解。

缺点：

与 BLEU 类似，不考虑语义： 仍然是基于词汇重叠，无法理解同义词或释义。
依赖参考文本： 高质量的参考摘要是计算的基础。
ROUGE-N 对语序变化敏感： 尤其是 N 较大时。

Python 代码示例 (使用 rouge_score 库):

from rouge_score import rouge_scorer

# 初始化 ROUGE 评估器
# metrics='rouge1', 'rouge2', 'rougeL' 表示计算这些指标
scorer = rouge_scorer.RougeScorer(['rouge1', 'rouge2', 'rougeL'], use_stemmer=True)

reference_text = "The quick brown fox jumps over the lazy dog."
candidate_text = "The quick brown fox jumps over the dog."

scores = scorer.score(reference_text, candidate_text)

print(f"ROUGE-1: Precision={scores['rouge1'].precision:.4f}, Recall={scores['rouge1'].recall:.4f}, Fmeasure={scores['rouge1'].fmeasure:.4f}")
print(f"ROUGE-2: Precision={scores['rouge2'].precision:.4f}, Recall={scores['rouge2'].recall:.4f}, Fmeasure={scores['rouge2'].fmeasure:.4f}")
print(f"ROUGE-L: Precision={scores['rougeL'].precision:.4f}, Recall={scores['rougeL'].recall:.4f}, Fmeasure={scores['rougeL'].fmeasure:.4f}")

# 另一个例子，语义相似但词汇不同
reference_text_2 = "Artificial intelligence is a fascinating field."
candidate_text_2 = "AI is an amazing area." # 词汇重叠少，但语义相似

scores_2 = scorer.score(reference_text_2, candidate_text_2)
print("\n--- Semantic but low overlap example ---")
print(f"ROUGE-1: Precision={scores_2['rouge1'].precision:.4f}, Recall={scores_2['rouge1'].recall:.4f}, Fmeasure={scores_2['rouge1'].fmeasure:.4f}")

3. METEOR (Metric for Evaluation of Translation with Explicit Ordering)

METEOR 是另一个机器翻译评价指标，旨在解决 BLEU 的一些局限性，特别是它对同义词和词形变化的敏感性不足。METEOR 结合了精确率和召回率（ROUGE 倾向召回，BLEU 倾向精确），并通过引入词形还原 (stemming)、同义词匹配 (synonymy matching) 以及短语匹配 (phrase matching) 来提高其与人类判断的相关性。

工作原理：

对齐 (Alignment)： METEOR 首先在候选译文和参考译文之间进行一种特殊的对齐操作。这种对齐是基于以下优先级的匹配：
- 精确匹配 (Exact match)： 词语完全相同。
- 词形匹配 (Stem match)： 词语经过词形还原后相同（例如 ‘runs’ 和 ‘running’ 都会还原为 ‘run’）。
- 同义词匹配 (Synonym match)： 词语是同义词（使用 WordNet 等词汇资源）。
- 释义匹配 (Paraphrase match)： （可选，较少用）
  在多个参考译文存在时，METEOR 会选择与候选译文对齐数量最多的那个参考译文进行计算。
分块 (Chunking)： 在对齐完成后，会将连续的匹配项形成“块”（chunks）。例如，“this is a book” 和 “this book is good” 中，“this”是一个块，“book”是一个块。
分数计算：
- 加权 F1 分数： 结合了单字精确率和召回率的调和平均，对召回率赋予了更高的权重（通常是 9 倍）。
  P = \frac{\text{matched_words}}{\text{len}(\text{Candidate})}
  
  R = \frac{\text{matched_words}}{\text{len}(\text{Reference})}
  
  $F_{mean} = \frac{10 P R}{9 R + P}$
- 碎片惩罚因子 (Fragmentation Penalty, FP)： 惩罚机器译文中匹配词语的“不连续性”或“无序性”。碎片越多，惩罚越大。
  $\text{FP} = 0.5 \times (\text{number of chunks} / \text{number of matched words})^3$
- 最终 METEOR 分数： 将加权 F1 分数乘以 (1 - FP)。
  $\text{METEOR} = F_{mean} \times (1 - \text{FP})$

优点：

与人类判断相关性更高： 引入了词形、同义词匹配和碎片惩罚，使其在某些方面比 BLEU 和 ROUGE 更能反映人类感知。
同时考虑精确率和召回率。
支持多参考译文。

缺点：

计算成本较高： 需要词形还原器和同义词词典。
仍然依赖词汇匹配： 无法完全捕捉深层次的语义相似性。
依赖外部语言资源： 需要 WordNet 等资源，对于某些语言可能不完善。

Python 代码示例 (使用 nltk 库):

from nltk.translate.meteor_score import meteor_score
from nltk.stem import PorterStemmer
from nltk.corpus import wordnet

# NLTK 的 METEOR 需要下载 'wordnet' 和 'punkt'
# import nltk
# nltk.download('wordnet')
# nltk.download('punkt')

# 参考文本可以是多个
references = [['this', 'is', 'a', 'test', 'sentence']]
candidate = ['this', 'is', 'a', 'test', 'phrase'] # 'phrase' vs 'sentence'

# 默认会使用 WordNet 进行同义词匹配
score = meteor_score(references, candidate)
print(f"METEOR score: {score:.4f}")

references_synonym = [['the', 'cat', 'sat', 'on', 'the', 'mat']]
candidate_synonym = ['the', 'kitty', 'sat', 'on', 'the', 'rug'] # 'kitty'是'cat'的同义词，'rug'是'mat'的同义词

# METEOR 会尝试匹配同义词
score_synonym = meteor_score(references_synonym, candidate_synonym)
print(f"METEOR score with synonyms: {score_synonym:.4f}")

# 注意：NLTK 的 meteor_score 函数的实现可能不完全一致，
# 且默认使用了 WN-Stemmer，但并不直接展示分块和惩罚的内部过程。
# 在实际研究中，通常会使用专门的 METEOR 命令行工具或更完备的第三方库。

4. CIDEr (Consensus-based Image Description Evaluation)

CIDEr 是专门为图像描述生成 (Image Captioning) 任务设计的评价指标。它的核心思想是，一个好的图像描述应该与人类共识的描述（即多个参考描述）在N-gram层面上高度一致，并且对高频、不那么重要的 N-gram 赋予较低的权重（通过 TF-IDF）。

工作原理：

TF-IDF 加权 N-gram：
- 与 BLEU/ROUGE 不同，CIDEr 为每个 N-gram 分配一个 TF-IDF 权重。TF-IDF 权重可以降低那些在语料库中普遍存在但信息量不大的 N-gram（如停用词）的重要性，同时提升那些特定于描述内容的 N-gram 的权重。
- TF (Term Frequency)： N-gram 在当前句子中出现的频率。
- IDF (Inverse Document Frequency)： N-gram 在整个语料库中出现的频率的倒数对数，用于衡量其稀有度或信息量。
余弦相似度：
- 将候选描述和参考描述表示为 TF-IDF 加权的 N-gram 向量。
- 计算这些向量之间的余弦相似度，以衡量它们的重叠程度。
- 公式：
  $\text{CIDEr}_n(c, S) = \frac{1}{|S|} \sum_{s \in S} \frac{\mathbf{g}^n(c) \cdot \mathbf{g}^n(s)}{||\mathbf{g}^n(c)|| \cdot ||\mathbf{g}^n(s)||}$
  其中：
  - $n$ 是 N-gram 的长度。
  - $c$ 是候选描述。
  - $S$ 是参考描述集合。
  - $\mathbf{g}^n(c)$ 和 $\mathbf{g}^n(s)$ 分别是候选描述和参考描述的 TF-IDF 加权 N-gram 向量。
  - $\cdot$ 表示向量点积， $||\cdot||$ 表示向量的 L2 范数。
不同 N-gram 长度的组合： 最终的 CIDEr 分数通常是不同 N-gram 长度（例如 $n=1, 2, 3, 4$ ）的 CIDEr 分数的加权平均。

优点：

针对图像描述任务效果好： TF-IDF 权重能有效区分描述中重要的概念和常见词汇。
对共识性敏感： 通过计算与多个参考描述的相似度，更好地捕捉了人类对图像描述的共识。
与人类判断相关性较高： 在图像描述任务中表现出比 BLEU 等更高的相关性。

缺点：

依赖于大规模语料库： TF-IDF 权重需要从包含大量图像描述的语料库中计算，这对于新的、小规模的数据集可能不适用。
仍然是基于 N-gram 的重叠： 无法完全捕捉深层语义关系，例如同义词或句法结构的变化。
不适用于通用 NLG 任务： 其 TF-IDF 加权策略是为图像描述的特点设计的，不一定适用于机器翻译或文本摘要等任务。

5. SPICE (Semantic Propositional Image Caption Evaluation)

SPICE 也是为图像描述生成设计的指标，但它超越了简单的 N-gram 重叠，尝试在语义层面评估描述的质量。它通过将图像描述和参考描述解析成语义图（或“场景图”），然后比较这些图的匹配程度。

工作原理：

语义解析： 使用语义解析器（例如 Stanford Scene Graph Parser）将候选描述和所有参考描述解析成一组结构化的语义三元组（或“命题”），通常包括对象 (objects)、属性 (attributes) 和关系 (relations)。例如，“A cat is sitting on a mat”可能解析为 (cat, on, mat)。
F1 分数计算： 将候选描述的语义三元组集合与参考描述的语义三元组集合进行比较，计算 F1 分数。F1 分数是精确率和召回率的调和平均。
- 精确率： 候选描述中正确提取的语义元素比例。
- 召回率： 参考描述中被候选描述捕捉到的语义元素比例。

优点：

语义层面的评估： 能够捕捉描述中对象、属性和关系是否被正确识别和描述，而不仅仅是词汇重叠。
与人类判断相关性更高： 在图像描述任务中通常比 CIDEr 甚至更高的相关性，因为它更接近人类对“描述了什么”的理解。
对句法变化鲁棒： 即使使用不同的词汇或句法结构，只要语义正确，也能得到高分。

缺点：

计算成本高： 需要复杂的语义解析器，计算开销大。
依赖解析器性能： 解析器的准确性直接影响 SPICE 分数。如果解析器本身性能不佳，可能导致不准确的评价。
通用性差： 专为图像描述设计，不适用于其他 NLG 任务。且语义解析器需要针对特定领域和语言训练。

自动评价指标：基于语义相似度的前沿

随着词向量和深度学习模型的发展，研究者们意识到，仅仅依靠词汇重叠是远远不够的。新的评价指标开始利用文本的语义表示，以更好地捕捉生成文本的真实质量。

1. BERTScore

BERTScore 是一个基于预训练语言模型（如 BERT）的评价指标，旨在利用上下文相关的词嵌入来衡量生成文本与参考文本之间的语义相似性。它解决了传统指标无法识别同义词、释义的缺陷。

工作原理：

获取上下文嵌入： 使用一个预训练的语言模型（例如 BERT、RoBERTa 等）为生成文本（候选文本）和参考文本中的每个 token（词或子词）生成上下文相关的嵌入向量。
计算相似度矩阵： 构建一个相似度矩阵 $M$ ，其中 $M_{ij}$ 表示候选文本中的第 $i$ 个 token 的嵌入向量与参考文本中第 $j$ 个 token 的嵌入向量之间的余弦相似度。
M_{ij} = \text{cosine_similarity}(\text{embedding}(c_i), \text{embedding}(r_j))
软对齐： 对于候选文本中的每个 token $c_i$ ，找到在参考文本中与其最相似的 token $r_j$ （即 $M_{ij}$ 值最大的那个）。反之亦然。
计算精确率、召回率和 F1 分数：
- 精确率 ( $P$ )： 候选文本中的每个 token 贡献其在参考文本中找到的最佳匹配相似度。
  $P = \frac{1}{|C|} \sum_{i=1}^{|C|} \max_{j=1}^{|R|} M_{ij}$
- 召回率 ( $R$ )： 参考文本中的每个 token 贡献其在候选文本中找到的最佳匹配相似度。
  $R = \frac{1}{|R|} \sum_{j=1}^{|R|} \max_{i=1}^{|C|} M_{ij}$
- F1 分数： 精确率和召回率的调和平均。
  $F_1 = 2 \cdot \frac{P \cdot R}{P + R}$
为了避免高频词对分数的主导，BERTScore 通常会对词嵌入向量进行 IDF 加权。

优点：

捕捉语义相似性： 利用上下文相关的嵌入，能够识别同义词、释义和语义上的等价性，即使词汇不同。
与人类判断相关性更高： 在许多NLG任务中，BERTScore 比 BLEU/ROUGE 等传统指标表现出更高的与人类判断的一致性。
无需精确的 N-gram 匹配： 对语序变化和句法结构差异具有更好的鲁棒性。
支持多参考： 可以通过取所有参考文本的最高分数来支持多参考。

缺点：

计算成本高： 需要加载和运行大型预训练模型，计算速度比词汇重叠指标慢。
依赖预训练模型的质量： 模型的语言理解能力直接影响 BERTScore 的表现。
仍然是基于 token 级别的匹配： 尽管是语义匹配，但它仍然是基于 token 最佳对齐，可能无法完全捕捉文本的全局连贯性和逻辑结构。
对“幻觉”不敏感： 如果模型生成了语法流畅、语义合理但事实错误（幻觉）的内容，BERTScore 可能仍然给出高分，因为它只看与参考文本的相似性。

Python 代码示例 (使用 bert_score 库):

from bert_score import score

# 假设已经安装了 `bert_score` 库和所需的transformers模型

candidates = ["The cat was on the mat.", "The dog jumped over the fence."]
references = ["A cat sat on the mat.", "A dog leaped over the barrier."]

# 'bert-base-uncased' 是一个常用的预训练模型
# 可以选择其他模型，例如 'roberta-large', 'bert-base-chinese' 等
P, R, F1 = score(candidates, references, lang="en", model_type='bert-base-uncased', verbose=True)

print(f"Precisions: {P}")
print(f"Recalls: {R}")
print(f"F1 Scores: {F1}")

# 可以比较语义相似但词汇不同
candidates_2 = ["The machine learning model generates text."]
references_2 = ["The AI system produces written content."]

P2, R2, F1_2 = score(candidates_2, references_2, lang="en", model_type='bert-base-uncased', verbose=True)
print("\n--- Semantic but low overlap example (BERTScore) ---")
print(f"F1 Scores: {F1_2}")

2. MoverScore / BARTScore

MoverScore 是 BERTScore 的一个扩展，它借鉴了词语移动距离 (Word Mover’s Distance, WMD) 的思想，结合了 BERT 的上下文嵌入。WMD 衡量将一个文本中的词语“移动”到另一个文本中的词语以使两者匹配所需的最小“代价”（即词嵌入之间的距离）。MoverScore 将这种思想应用于 BERT 嵌入，通过寻找最佳匹配来计算文本间的语义相似度。它尝试在全局层面找到文本中所有词语的最佳对齐，而不仅仅是简单的逐词匹配。

BARTScore 则更进一步，它利用预训练的序列到序列模型（如 BART）作为评价模型。BARTScore 评估的是一个预训练模型将候选文本视为输入，生成参考文本的概率，或者反过来。它本质上是利用大型语言模型内部的知识和生成能力来判断文本的质量。

工作原理 (BARTScore 简化)：

将候选文本作为 BART 模型的输入，计算其生成参考文本的对数概率 $P(\text{Reference} | \text{Candidate})$ 。
将参考文本作为 BART 模型的输入，计算其生成候选文本的对数概率 $P(\text{Candidate} | \text{Reference})$ 。
通常还会考虑 $P(\text{Candidate})$ 和 $P(\text{Reference})$ 等。
组合这些概率来得到最终分数，例如，可以取 $P(\text{Reference} | \text{Candidate})$ 作为召回率， $P(\text{Candidate} | \text{Reference})$ 作为精确率，然后计算 F1。

优点 (MoverScore / BARTScore):

更深层次的语义理解： 相比 BERTScore，MoverScore 考虑了更全局的词语移动和匹配，BARTScore 则直接利用了生成模型的内部语义表示。
可能与人类判断相关性更高： 在某些任务和数据集上表现出优于 BERTScore 的相关性。
捕捉长距离依赖： 基于 Transformer 模型的特性，能更好地捕捉文本中的长距离语义关联。

缺点 (MoverScore / BARTScore):

计算成本极高： 需要运行大型序列到序列模型或复杂的匹配算法。
难以解释： 分数背后的具体原因不如词汇重叠指标直观。
依赖模型偏差： 评价结果会受到所使用的预训练模型本身的偏见和知识限制。

3. LLM-as-a-Judge (使用大型语言模型作为评价者)

近年来，随着 GPT-3、GPT-4 等超大规模语言模型的兴起，一种新的评价范式出现了：将大型语言模型本身作为评价者。这种方法利用 LLMs 强大的语言理解、推理和评估能力，模拟人类专家的评价过程。

工作原理：

设计提示 (Prompt Engineering)： 核心在于构建一个清晰、详细的提示，指导 LLM 如何评价文本。提示通常包括：
- 任务描述：生成任务的背景和目标。
- 评价维度：明确要求 LLM 从哪些方面（如流畅度、准确性、连贯性、安全性、创造性等）进行评价。
- 评分标准：提供量化评分的标准和示例，例如 1-5 分的 Likert 量表含义。
- 对比信息：如果需要比较多个模型的输出，提供所有候选文本，并要求 LLM 进行偏好排序或打分。
- 解释要求：要求 LLM 不仅给出分数，还要给出评价理由或详细分析。
- Few-shot 示例：提供少量高质量的示例，以引导 LLM 理解评价任务。
LLM 评估： 将提示和待评估的生成文本输入给 LLM。LLM 会根据提示生成一个评价结果，可能是一个分数、一个排名、一段详细的评价理由，或者这些的组合。
聚合与分析： 收集 LLM 的评价结果，进行统计分析。由于 LLM 的随机性，通常会进行多次运行并取平均值。

优点：

强大的语义理解能力： LLMs 能够理解复杂的语义、语境和语言的细微之处，这是传统自动指标无法比拟的。
接近人类判断： 在许多任务中，LLM 作为评价者的结果与人类专家的判断高度一致，甚至在某些情况下能够达到或超越普通人类评价者的水平。
灵活多维度： 可以通过提示轻松地定制评价维度和标准，适应各种NLG任务。
生成评价理由： LLM 不仅能给出分数，还能提供详细的解释，这对于模型调试和错误分析非常有价值。
无需参考文本： LLM 可以作为无参考的评价者，这对于开放域生成任务至关重要。

缺点：

计算成本极高： 调用大型 LLM 的 API 或部署它们需要大量的计算资源和费用，尤其是在大规模评价时。
提示工程的挑战： 提示的设计对评价结果有显著影响，需要经验和调试。
可解释性与透明度问题： LLM 的决策过程是黑箱的，有时难以理解其评分依据。
偏见和幻觉风险： LLM 本身可能存在偏见，或产生幻觉，导致评价结果不准确。需要仔细验证。
非确定性： 即使使用相同的提示和输入，LLM 的输出也可能存在一定的随机性。

LLM-as-a-Judge 是当前NLG评价领域一个非常热门且有前景的方向，它在一定程度上弥补了传统自动指标的不足，并为大规模、高质量的评价提供了新的可能。然而，它仍然处于发展初期，需要更多的研究来提高其鲁棒性、可靠性和成本效益。

自动评价指标：无参考文本的评估

在许多NLG任务中，尤其是在开放域对话、故事生成、创意写作等场景下，获取高质量的参考文本是极其困难甚至不可能的。因此，开发不依赖参考文本的评价指标变得至关重要。这些指标通常关注生成文本自身的内在质量属性。

1. 流畅度/语法正确性 (Fluency/Grammatical Correctness)

这些指标评估生成文本在语法、拼写和语言表达上的正确性与自然程度。

困惑度 (Perplexity, PPL)：
- 困惑度是一个语言模型评估其在测试集上预测下一个词的能力的指标。一个模型对文本的困惑度越低，说明它对该文本的建模能力越强，也可以间接说明该文本越符合语言模型的预期，即越“流畅”和“自然”。
- 公式： $PPL(W) = P(w_1, w_2, ..., w_N)^{-1/N} = \sqrt[N]{\prod_{i=1}^N \frac{1}{P(w_i | w_1, ..., w_{i-1})}}$
- 优点： 易于计算，能衡量文本的整体流畅度和语法符合度。
- 缺点： 困惑度低不代表语义正确或信息量大；它更多反映模型自身对文本的建模能力，而不是文本的“好坏”。高困惑度的文本一定是差的，但低困惑度的文本不一定是好的。
语法错误修正 (Grammatical Error Correction, GEC) 工具：
- 利用专门的 GEC 模型来检测并计数生成文本中的语法、拼写、标点错误。
- 优点： 直观反映语法质量，可以细致分类错误类型。
- 缺点： 无法评估语义或逻辑问题，GEC 工具本身可能不完美。
语言模型分数 (Language Model Score)：
- 使用一个单独的、高质量的语言模型来计算生成文本的对数概率。概率越高，通常认为文本越流畅。这与困惑度类似，但更侧重于特定文本的评分而非模型整体。

2. 连贯性与一致性 (Coherence and Consistency)

这些指标旨在评估文本的逻辑结构、内部一致性以及与输入信息的一致性。

语义一致性 (Semantic Consistency)： 评估生成文本在不同部分之间语义是否一致，是否存在自相矛盾。例如，在对话系统中，模型回答的内容是否与之前对话轮次中的信息保持一致。这通常需要更复杂的语义推理或利用知识图谱进行事实核查。
推理能力 (Reasoning)： 对于需要逻辑推理的任务，评估模型能否根据输入进行正确的逻辑推断。
信息完整性 (Information Completeness)： 在摘要或信息生成任务中，评估生成文本是否包含了所有必要的信息。
事实准确性 (Factuality)： 评估生成文本中陈述的事实是否准确无误，没有“幻觉”（hallucinations）。
- 这通常是最难的无参考评估，可能需要外部知识库、搜索引擎或专门的事实核查模型。例如，FActScore、Faithfulness Score 等通过抽取生成文本中的事实三元组，并与源文档或知识库进行比对来评估。
对话一致性 (Dialogue Consistency)： 在对话系统中，评估模型的回答是否符合对话历史、角色设定和用户意图。

3. 多样性与新颖性 (Diversity and Novelty)

在开放式生成任务中，模型输出的“多样性”和“新颖性”是重要考量，避免生成重复、模板化或平庸的内容。

Distinct-N： 计算生成文本中唯一 N-gram 的数量，或唯一 N-gram 占总 N-gram 的比例。
- Distinct-1: 衡量唯一 unigram 的数量。
- Distinct-2: 衡量唯一 bigram 的数量。
- 优点： 简单易算，能快速识别重复性问题。
- 缺点： 高 Distinct-N 不一定意味着高质量，可能只是生成了大量无意义的词语组合。
Self-BLEU / Self-ROUGE：
- 计算一组生成文本中，每个文本与其余所有文本的平均 BLEU/ROUGE 分数。分数越低，说明生成文本之间的差异越大，多样性越高。
- 优点： 可以衡量整个生成语料库的多样性。
- 缺点： 同样不考虑语义，可能被不连贯的文本误导。
语义多样性： 利用词向量或句子嵌入来计算生成文本之间的语义距离，距离越大表示多样性越高。
新颖度 (Novelty)： 评估生成文本是否包含训练数据中未出现的新颖表达或信息。这通常比多样性更难衡量，可能需要与训练语料库进行大规模比对。

4. 特定属性/可控性评估 (Attribute-based / Controllability Evaluation)

在可控生成任务中（例如，要求生成情感为积极、风格为幽默、主题为科技的文本），需要评估模型输出是否符合特定的属性要求。

分类器/回归器：
- 训练一个单独的分类器或回归器来预测生成文本的属性（如情感、主题、风格等）。然后，比较模型的预测结果与期望属性的一致性。
- 优点： 直观量化，能评估特定属性的实现程度。
- 缺点： 依赖分类器/回归器的准确性；如果属性定义模糊，则评估困难。
Prompting with LLM： 同样可以利用大型语言模型来评估生成文本是否符合指定的属性。通过提示 LLM 来判断文本的情感、风格或主题，并给出评分或分类。

5. 基于学习/模型辅助的评估 (Learning-based / Model-Assisted Evaluation)

这些方法尝试训练一个专门的评估模型来预测人类对生成文本的评分。

回归模型： 收集大量人类评分数据，训练一个回归模型，输入是生成文本和（可选的）参考文本，输出是预测的人类评分。
判别器/分类器： 在生成对抗网络 (GANs) 中，判别器可以作为一种评估器，判断文本是否“真实”或“高质量”。
强化学习 (Reinforcement Learning) 奖励函数： 在 RL 训练中，可以设计奖励函数来指导生成模型，这些奖励函数本身就是一种评估机制。例如，一个奖励函数可以惩罚语法错误，另一个奖励函数可以奖励信息量。
基于排序的模型 (Ranking-based Models)： 训练模型来预测多个候选文本的相对排名，而不是绝对分数。

这些无参考和基于学习的指标极大地拓展了 NLG 评价的范围，尤其适用于那些传统基于参考的指标失效的开放性任务。

选择合适的评价指标与最佳实践

面对如此众多的评价指标，如何选择和组合它们是关键。没有一个“放之四海而皆准”的完美指标，最佳实践是根据具体的任务、数据和目标来综合运用。

1. 明确任务目标和评价维度

不同的 NLG 任务关注点不同：

机器翻译： 强调忠实度、流畅度。BLEU、METEOR、BERTScore 是常用选择。
文本摘要： 强调信息完整性、忠实度、连贯性。ROUGE 是首选，BERTScore 也能提供语义层面的洞察。
对话系统： 强调流畅度、连贯性、一致性、任务完成度、安全性、情感/个性。无参考指标和 LLM-as-a-Judge 更为关键。
图像描述： 强调描述的准确性、完整性。CIDEr、SPICE 是专门设计。
创意写作： 强调新颖性、创造性、流畅性。更依赖人工评估和无参考的多样性指标。

2. 结合人工评价和自动评价

即使最先进的自动指标也无法完全替代人类判断。最佳策略是：

使用自动指标进行快速迭代和初步筛选： 在模型训练和开发阶段，频繁运行自动指标以获得快速反馈。
定期进行高质量的人工评价： 在关键节点（如发布前、重大模型改进后）投入资源进行细致的人工评价，作为最终的“金标准”，并验证自动指标的有效性。
通过人工评价来指导和校准自动指标： 比较自动指标分数与人工评分的关联性，选择与人类感知相关性最高的自动指标。

3. 组合多种自动指标

单一指标的局限性决定了我们需要多角度审视。

词汇重叠 + 语义相似度： 同时使用 ROUGE/BLEU (衡量词汇重叠和关键信息捕捉) 和 BERTScore/MoverScore (衡量语义相似度)。
有参考 + 无参考： 在有参考的情况下，考虑添加一些无参考指标来评估文本的内在质量（如困惑度、Distinct-N）。
特定任务指标： 对于图像描述等，使用 CIDEr、SPICE。

4. 考虑模型的幻觉和安全性

对于大型语言模型，幻觉（生成事实错误信息）和安全性（生成有害内容）是越来越受关注的问题。传统的相似度指标对此无能为力。需要：

结合事实核查机制： 利用外部知识库或专门的事实核查模型。
进行安全性/偏见检测： 使用分类器或人工审查来识别有害、偏见或歧视性内容。
LLM-as-a-Judge： 可以通过提示 LLM 来评估文本的事实准确性和安全性。

5. 确保评价数据集的质量和多样性

参考文本应由多个高质量的人工撰写，以捕捉语言的多样性。
评价数据应具有代表性，覆盖模型可能遇到的各种场景和语言现象。
对于人工评价，确保评价者经过良好培训，并有清晰一致的评分标准。

6. 统计显著性分析

在比较不同模型的性能时，仅仅看指标分数的差异是不够的。应使用统计显著性检验（如配对 t 检验、引导重采样）来确认观察到的差异是否具有统计意义，而非随机波动。

未来趋势与展望

NLG 的评价仍在不断演进，尤其在大型语言模型时代，新的挑战和机遇并存。

1. 更鲁棒的语义和事实性评估

目前的语义相似度指标仍然无法完美捕捉所有语义细微之处。未来的研究将致力于开发：

端到端的可解释语义相似度模型： 不仅仅提供分数，还能指出语义差异的具体原因。
统一的事实性评估框架： 能够可靠地识别和量化模型生成的幻觉，并与各种知识源集成。
意图和目标导向的评估： 评估生成文本是否满足用户的深层意图或达成特定目标，而非仅仅表面相似度。

2. LLM-as-a-Judge 的普及与标准化

LLM 作为评价者的潜力巨大，但需要解决其成本、透明度和鲁棒性问题：

更有效的提示工程： 自动化或半自动化地生成高质量评价提示。
LLM 评价的可靠性与校准： 开发方法来验证 LLM 评价的可靠性，并对其潜在偏见进行校准。
降低成本： 探索更小、更高效的评价专用 LLM，或优化调用策略。

3. 统一评价框架与基准

目前NLG评价指标种类繁多，缺乏一个统一的、全面的框架。未来可能会出现：

多维度、可配置的评价工具包： 允许用户轻松组合不同的指标和评价策略。
更广泛的、多语言的评价基准： 包含更多样化的任务和高质量的多参考/无参考数据集。

4. 评估伦理与安全性

随着NLG模型的影响力越来越大，对其伦理和社会影响的评估将变得日益重要：

偏见检测与量化： 评估生成文本中存在的性别、种族、文化等偏见。
有害内容（toxic content）检测： 识别和量化攻击性、仇恨言论、歧视等内容。
隐私和版权： 评估模型输出是否泄露隐私数据或侵犯版权。

5. 任务导向的交互式评估

对于对话系统、具身智能等交互式NLG应用，静态的文本相似度评估可能不足。未来将更多地转向：

在线 A/B 测试： 在实际用户环境中进行实时效果评估。
模拟用户交互： 使用模拟器或代理来评估模型在复杂交互场景下的表现。
用户满意度与行为分析： 通过用户反馈和行为数据来衡量NLG系统的最终价值。

结论

自然语言生成是一个充满活力且快速发展的领域，其评价机制同样处于持续的进化之中。从早期基于词汇重叠的 BLEU 和 ROUGE，到利用深度学习模型捕捉语义的 BERTScore，再到将大型语言模型本身作为评价者的创新范式，我们见证了评价方法从简单、高效向复杂、精确、更接近人类感知的演变。

然而，我们也必须清醒地认识到，没有任何一个指标是完美的。语言的复杂性、开放性以及评价的主观性，决定了NLG评价是一门艺术与科学的结合。最佳实践是采取一种务实而全面的策略：将快速、可复现的自动指标与耗时但准确的人工评价相结合，并根据具体的任务需求和模型特性，灵活选择和组合多维度的评价方法。

作为技术爱好者和从业者，我们需要持续关注NLG评价领域的前沿进展，积极探索新的评价范式，特别是那些能够解决幻觉、偏见和安全性问题的创新方法。只有不断完善我们的评价工具和理解，我们才能更好地指导AI模型生成更高质量、更安全、更符合人类期望的语言，真正释放自然语言生成的巨大潜力。

希望今天的深度剖析能让你对NLG评价指标有了更全面的认识。我是 qmwneb946，感谢你的阅读，我们下次再见！

文章作者: qmwneb946

文章链接: https://qmwneb946.dpdns.org/2025/07/24/2025-07-24-173520/

2025 数学自然语言生成的评价指标