1. 论文基本信息

1.1. 标题

中文标题：CCL24-Eval 任务3 系统报告：基于上下文学习与思维链策略的中文空间语义理解 英文标题：System Report for CCL24-Eval Task 3: Chinese Spatial Semantic Understanding Based on In-Context Learning and Chain of Thought Strategy

论文的核心主题是介绍一个为第四届中文空间语义理解评测（SpaCE2024）构建的系统。该系统利用大语言模型，并结合了上下文学习 (In-Context Learning) 和思维链 (Chain of Thought) 等先进的提示工程策略，来解决中文文本中的空间语义理解问题。

1.2. 作者

• 作者列表: Shiquan Wang, Weiwei Fu, Ruiyu Fang, Mengxiang Li, Zhongjiang He, Yongxiang Li, Shuangyong Song

• 隶属机构: Institute of Artificial Intelligence (TeleAI), China Telecom Corp Ltd (中国电信人工智能研究院)

  该团队来自中国电信的核心人工智能研究机构，专注于前沿AI技术的研发与应用。

1.3. 发表期刊/会议

• 会议: CCL24-Eval Task 3 (第四届中文空间语义理解评测) 的技术报告。
• 声誉与影响力: CCL (China National Conference on Computational Linguistics) 是中国计算语言学学会的旗舰会议，也是国内自然语言处理（NLP）领域最权威、最具影响力的学术会议之一。其中的评测任务（Eval Task）旨在推动特定技术领域的发展，吸引了国内顶尖的学术机构和企业参与，获得第一名的成绩代表了在该任务上的领先水平。

1.4. 发表年份

2024年。论文是为2024年的SpaCE评测任务撰写的技术报告。

1.5. 摘要

本技术报告详细介绍了参赛团队在第四届中文空间语义理解评测（SpaCE2024）中所使用的方法和取得的成果。SpaCE2024评测旨在全面考察机器在五个不同子任务上理解中文空间语义的能力，包括：空间信息实体识别、空间信息实体消歧、空间信息异常检测、空间方位推理和空间异形同义词识别。该团队通过精心设计的提示（Prompts）与模型微调（fine-tuning）相结合的方法，增强了大语言模型的空间语义理解能力，构建了一个高效的系统。最终，该系统在五个任务上的准确率分别为0.8947、0.9364、0.8480、0.3471和0.5631，总测试集准确率为0.6024，并获得了评测第一名的优异成绩。

1.6. 原文链接

• 链接: /files/papers/6917c5cb110b75dcc59ae0de/paper.pdf

• 发布状态: 本文是一份竞赛技术报告，通常在会议论文集中发布或作为预印本公开。

  ---

2. 整体概括

2.1. 研究背景与动机

• 核心问题: 机器如何准确、深入地理解人类语言中蕴含的复杂空间关系？空间语义理解是自然语言理解（NLU）的一个关键分支，它要求机器不仅能识别地点、物体等实体，还要能理解它们之间的方位、距离、拓扑关系以及动态变化。
• 重要性与挑战: 空间信息是人类认知世界的基础。让机器具备这种能力，对于智能导航、人机交互、地理信息系统（GIS）和机器人技术等应用至关重要。然而，中文空间语义理解面临诸多挑战：
  1. 表达多样性: 同一个空间关系可以用多种方式表达（如“在...上面”、“位于...之上”）。
  2. 歧义性: 空间词汇（如“旁边”）的含义常常依赖于上下文。
  3. 推理复杂性: 某些任务（如方位推理）需要基于常识和逻辑进行多步推理。
• 现有研究空白 (Gap): 传统方法通常为每个子任务设计专门的模型，开发周期长且难以泛化。近年来，大语言模型 (Large Language Models, LLMs) 展现了强大的通用语言理解和推理能力，为解决这一问题提供了新的范式。然而，如何有效激发和引导LLM的空间语义理解能力，特别是在一个包含多个异构子任务的复杂评测中，仍然是一个有待探索的问题。
• 本文切入点: 本文的创新思路是，不为每个任务构建独立的复杂模型，而是以强大的预训练LLM为核心，通过先进的提示工程（Prompt Engineering）策略——即上下文学习（ICL）和思维链（CoT）——来统一解决所有五个子任务。这种方法旨在最大化地利用LLM的内置知识和推理能力，并通过少量示例和推理步骤引导，使其适应具体的空间任务。

2.2. 核心贡献/主要发现

• 核心贡献:
  1. 方法论贡献: 成功地将上下文学习 (ICL) 和思维链 (CoT) 策略应用于复杂的中文空间语义理解任务中，并结合模型微调 (fine-tuning) 和集成投票 (Voting)，构建了一个统一且高效的解决方案。
  2. 实践贡献: 提出了一套在SpaCE2024评测中被验证为极其有效的系统。该系统在五个子任务上均取得了出色的表现，最终以0.6024的总准确率获得第一名，为该领域提供了当前最先进的 (state-of-the-art) 基准。
• 主要发现:

  1. 大语言模型（如 Qwen1.5-72B-Chat）本身就具备了强大的空间语义理解潜力，通过恰当的引导可以被有效激发。

  2. 上下文学习 (ICL)，即在提示中提供少量示例（few-shot），能显著提升模型在特定任务格式上的表现。

  3. 思维链 (CoT) 策略对于需要逻辑推理的任务尤其重要，它通过引导模型输出推理步骤，提高了最终答案的准确性。

  4. 模型微调 (fine-tuning) 和集成 (ensembling) 仍然是提升模型性能、增强鲁棒性的关键补充手段。

     ---

3. 预备知识与相关工作

3.1. 基础概念

• 大语言模型 (Large Language Model, LLM): LLM是一种基于深度学习，特别是Transformer架构的超大规模语言模型。它们在海量的文本数据上进行预训练，从而学习到丰富的语言知识、世界常识和一定的推理能力。LLM的核心能力是根据给定的上文（即提示 prompt）来预测下一个最可能的词元（token）。通过这种方式，它们可以执行各种自然语言任务，如文本生成、翻译、问答和摘要等。本文使用的 Qwen1.5-72B-Chat 就是一个拥有720亿参数的大语言模型。

• 上下文学习 (In-Context Learning, ICL): ICL是大语言模型特有的一种学习范式。它指的是在不更新模型任何参数（即不进行梯度下降）的情况下，仅通过在模型的输入提示中提供一些任务示例（称为 shots），来让模型“学会”如何完成一个新任务。

  • Zero-shot: 不提供任何示例，直接给出任务指令和问题。
  • Few-shot: 提供几个完整的示例（输入+输出），然后再给出真正的问题。 ICL的强大之处在于，它使得LLM能够快速适应新任务，而无需进行耗时耗力的模型微调。

• 思维链 (Chain of Thought, CoT): CoT是一种增强LLM推理能力的提示策略。它不是让模型直接给出最终答案，而是引导模型首先输出一系列中间的、逻辑连贯的推理步骤，最后再基于这些步骤得出结论。这种方法模仿了人类解决复杂问题的思考过程，通过将一个大问题分解为多个小步骤，显著提高了LLM在算术、常识和符号推理等任务上的准确性。

3.2. 前人工作

本文提及了空间语义理解评测任务的演进历史，这为理解SpaCE2024的背景提供了重要线索。

• SemEval系列评测:
  • SemEval-2012 和 SemEval-2013 举办了名为 Spatial Role Labeling (SpRL) 的任务。这个任务的核心是识别文本中的空间关系三元组，即 (Trajector, Landmark, Spatial_Indicator)。例如，在句子“书在桌子上”中，“书”是移动体 (Trajector)，“桌子”是地标 (Landmark)，“在...上”是空间指示词 (Spatial_Indicator)。这是早期结构化空间信息提取的代表性工作。
• SpaCE系列评测:
  • SpaCE 是专门针对中文空间语义理解的评测，至今已举办四届。它继承并扩展了早期SemEval任务的理念，设计了更丰富、更贴近中文语言习惯的子任务。
  • SpaCE2021 和 SpaCE2022 奠定了该系列评测的基础。
  • SpaCE2023 和 SpaCE2024 在前几届的基础上进一步深化，考察模型更全面的能力，如本文提到的五个子任务。

3.3. 技术演进

该领域的技术演进路线清晰地反映了NLP范式的变迁：

1. 早期 (传统机器学习): 依赖于人工设计的特征工程和SVM、CRF等经典模型来完成实体识别、关系抽取等任务。
2. 深度学习时代: 采用循环神经网络（RNN/LSTM）和卷积神经网络（CNN）等模型，自动学习文本特征。后来，以BERT为代表的预训练语言模型成为主流，通过在特定任务的数据集上进行微调来解决问题。这种方法通常需要为每个子任务训练一个专用模型。
3. 大语言模型时代 (当前): 以GPT-3、Qwen等为代表的LLM出现，带来了新的解决范式。研究者们发现，通过精心设计的提示 (Prompt)，无需修改模型参数，就可以引导一个通用的LLM完成各种特定任务。本文的工作正是处在这一技术脉络的最前沿，探索如何将LLM的通用能力高效地应用于专业的空间语义理解领域。

3.4. 差异化分析

• 与传统微调方法的区别: 传统方法通常是“模型为任务服务”，即针对空间实体识别、关系推理等任务分别训练专用模型。而本文的方法是“任务适应模型”，即利用一个统一的、强大的LLM，通过不同的提示来解决所有五个不同的子任务。这大大提高了开发效率和系统的通用性。

• 与简单LLM应用的差异: 本文并非简单地将问题抛给LLM。其核心创新在于策略的组合与优化。他们系统地研究了ICL的示例数量（0-shot vs 5-shot）、是否使用CoT、是否结合微调以及是否进行模型集成投票等策略对最终性能的影响，并找出最优组合。这是一种更加工程化和系统化的LLM应用方法。

  ---

4. 方法论

4.1. 方法原理

该系统的核心思想是充分利用大语言模型 (LLM) 强大的语言理解和生成能力，将其作为一个统一的、可编程的推理引擎，来解决五个异构的中文空间语义理解子任务。为了引导LLM准确地完成任务，团队采用了两种关键的提示工程（Prompting）策略：上下文学习 (In-Context Learning, ICL) 和 思维链 (Chain of Thought, CoT)。

• ICL 的直觉: 对于LLM来说，直接理解一个抽象的任务指令可能很困难。但如果给它看几个具体的“输入-输出”范例，它就能更好地领会任务的意图和输出格式。这就像教一个学生解题，与其反复讲理论，不如带他做几道例题效果更好。

• CoT 的直觉: 对于复杂的推理任务，直接得到答案容易出错。CoT引导模型模仿人类的思考过程，先把问题分解成一步步的逻辑推导，每一步都基于前一步的结果，最后汇总得出结论。这使得推理过程更加透明和可靠，也更容易发现和修正错误。

  下图（原文 Figure 1）生动地展示了CoT策略在一个具体的空间实体识别任务中的应用。模型被要求识别“中国历史博物馆”的 Trajector (TR, 移动体) 和 Landmark (LM, 地标)。

  该图像是一个关于实体验识的单选题，包含题本、问题、选项与答案的推理过程。内容涉及中国历史博物馆与天安门城楼的关系，问题引导读者选择正确的答案，选项含A至D，正确答案为C。

在上图中，模型并没有直接给出答案 $C$。相反，它首先进行了一系列分析：

1. 分析问题: "中国历史博物馆位于天安门城楼的什么方向？"，关键实体是“中国历史博物馆”和“天安门城楼”。

2. 定义角色: 问题询问“中国历史博物馆”相对于“天安门城楼”的位置，所以“中国历史博物馆”是需要定位的物体，即 Trajector (TR)；“天安门城楼”是参照物，即 Landmark (LM)。

3. 得出结论: 基于以上分析，得出 TR 是“中国历史博物馆”，LM 是“天安门城楼”，对应选项 $C$。

   这个过程就是典型的思维链，它将隐式的推理过程显式化，从而提升了答案的准确性。

4.2. 核心方法详解 (逐层深入)

该研究将所有五个子任务都统一建模为一个条件生成任务。下面我们融合讲解其方法流程与数学表示。

融合讲解 (Integrated Explanation)

整个流程可以分为以下几个步骤：

步骤 1: 问题形式化 首先，将每个子任务的输入实例定义为 $x$。模型的任务是从一个预定义的候选答案集合 $Y = \{ y_1, y_2, \dots, y_m \}$ 中选择一个最正确的答案 $\hat{y}$。例如，在选择题中，$Y$ 就是选项 {A, B, C, D}。

步骤 2: 构建上下文提示 (Context Prompt) 这是方法的核心。团队为模型构建一个精心设计的上下文提示 $C$，它包含了完成任务所需的所有信息。这个提示 $C$ 主要由两部分组成：

• 任务指令 (Instruction, $I$): 一段清晰的自然语言描述，告诉模型需要做什么。例如，“请阅读以下文本，并回答关于空间实体识别的问题。”

• 示例 (Shots): $k$ 个任务示例，每个示例都是一个输入输出对 $s(x_i, y_i)$。这就是上下文学习 (ICL) 的体现。当 $k=0$ 时，就是 0-shot；当 $k>0$ 时，就是 few-shot（实验中使用了 5-shot）。

  因此，一个完整的上下文提示 $C$ 可以表示为： $C = \{ I, s(x_1, y_1), \dots, s(x_k, y_k) \}$

对于需要复杂推理的任务，每个示例 $s(x_i, y_i)$ 中不仅包含问题 $x_i$ 和答案 $y_i$，还包含了详细的推理过程，这就是思维链 (CoT) 的应用。

步骤 3: 模型推理与概率计算 将构建好的上下文提示 $C$ 和当前需要解决的问题 $x$ 拼接起来，一起输入到大语言模型 $M$ (如 Qwen1.5-72B-Chat) 中。模型会计算出候选集合 $Y$ 中每一个答案 $y_j$ 在给定上下文 $C$ 和问题 $x$ 的条件下的生成概率。这个过程可以用下面的公式来表示： $$P ( y _ { j } | x ) \overset { \triangle } { = } f _ { M } ( y _ { j } , C , x )$$

• 符号解释:
  • $P(y_j | x)$: 在给定问题 $x$ 的情况下，模型预测答案为 $y_j$ 的概率。
  • $f_M(\cdot)$: 表示大语言模型 $M$ 的生成函数。它接收候选答案 $y_j$、上下文提示 $C$ 和当前问题 $x$ 作为输入，并输出一个概率值。

步骤 4: 最终答案选择 最后，系统会选择概率最高的那个候选答案作为最终的预测结果 $\hat{y}$。这个决策过程由以下公式描述： $$\hat{y} = \arg \operatorname* { m a x } _ { y _ { j } \in Y } P ( y _ { j } | x )$$

• 符号解释:
  • $\arg \max_{y_j \in Y}$: 这个操作符表示寻找一个能使后面表达式 $P(y_j | x)$ 最大化的 $y_j$。
  • $\hat{y}$: 最终被选定的预测答案。

补充策略: 除了上述核心流程，团队还使用了另外两种策略来进一步提升性能：

• 模型微调 (Fine-tuning): 使用训练集数据对 Qwen1.5-7B-Chat 模型进行微调，使其更适应空间语义理解任务的特定数据分布和问题形式。

• 集成投票 (Voting): 对多个不同策略（或不同模型）得出的结果进行投票，选择得票最多的答案作为最终输出，以提高系统的鲁棒性和准确性。

  ---

5. 实验设置

5.1. 数据集

• 数据集名称: SpaCE2024

• 描述: 这是第四届中文空间语义理解评测的官方数据集，专门用于评估机器在中文环境下对空间语义的理解能力。数据集涵盖了五个不同的子任务，旨在从多个维度全面考察模型的能力。下图（原文 Figure 2）提供了一个数据样本可能涉及的场景示例，描述了天安门广场周边的空间布局，这类文本是模型需要处理的典型输入。

  该图像是插图，描述了中国人民大会堂和中国历史博物馆的天安门广场。图中提到北有庄严的天安门城楼，南有雄伟的人民英雄纪念碑及毛主席纪念堂，总面积达44公顷。

• 五个子任务:

  1. 空间信息实体识别: 从文本中识别出与空间信息相关的实体，如移动体 (Trajector)、地标 (Landmark) 等。
  2. 空间信息实体消歧: 当文本中出现指代不明的空间实体时，确定其具体指代对象。
  3. 空间信息异常检测: 判断文本描述的空间关系是否存在逻辑或常识上的异常。
  4. 空间方位推理: 基于给定的文本信息，进行空间方位和布局的逻辑推理。
  5. 空间异形同义词识别: 判断两个具有不同字面形式的空间词汇是否在特定语境下表示相同的含义。

• 数据规模: 实验使用了官方提供的训练集 (Train)、开发集 (Dev) 和测试集 (Test)。详细的数据分布如下表所示。

  以下是原文 Table 1 的结果：

  任务		Train	Total		Dev	Total		Test	Total
  实体识别	937	161	1098	226	24	250	513	27	600
  实体消歧	1074	19	1093	186	4	190	776		800
  异常检测	1077		1077	40	0	40	530	0	530
  方位推理	909	301	1210	468	207	675	1533	537	2070
  异形同义词识别	4	1	5	44	11	55	541	139	680

5.2. 评估指标

• 指标名称: 准确率 (Accuracy)
• 详细说明:
  1. 概念定义 (Conceptual Definition): 准确率是评估分类任务性能最直观和常用的指标。它衡量的是模型预测正确样本数占总样本数的比例。在本次评测中，无论是选择题还是判断题，都可以看作是分类任务，因此准确率是衡量系统整体性能的核心标准。
  2. 数学公式 (Mathematical Formula): $$\text{Accuracy} = \frac{\text{Number of Correct Predictions}}{\text{Total Number of Predictions}} = \frac{TP + TN}{TP + TN + FP + FN}$$
  3. 符号解释 (Symbol Explanation):
     • Number of Correct Predictions: 模型预测结果与真实标签（Ground Truth）一致的样本数量。
     • Total Number of Predictions: 所有测试样本的总数量。
     • TP (True Positive): 真正例，即真实为正类，预测也为正类。
     • TN (True Negative): 真负例，即真实为负类，预测也为负类。
     • FP (False Positive): 假正例，即真实为负类，但预测为正类。
     • FN (False Negative): 假负例，即真实为正类，但预测为负类。

5.3. 对比基线

• 基线模型 (Baselines): 论文在最终结果（Table 3）中提供了一个官方 Baseline 系统的性能数据。这个基线代表了评测任务的一个基础水平，本文提出的方法需要显著超越该基线才能证明其有效性。该基线的总准确率为 0.4792。

  ---

6. 实验结果与分析

6.1. 核心结果分析

实验分为两个主要部分：在开发集上的策略探索（消融实验）和在测试集上的最终性能评估。

消融实验/参数分析 (在开发集上)

团队在开发集 (SpaCE24_dev) 上系统地比较了不同策略组合的效果，以找到最优配置。基础模型为 Qwen1.5-72B-Chat。

以下是原文 Table 2 的结果：

分析:

1. ICL (0-shot vs 5-shot): 对比第一行 (0-shot) 和第四行 (5-shot)，在不使用 CoT 且使用微调模型 (w/ Train) 的情况下，5-shot ICL 的总准确率 (0.5686) 略高于 0-shot (0.5570)。这表明提供少量示例有助于模型更好地理解任务。
2. CoT (w/ vs w/o): 对比第二、三行 ($w/ CoT$) 和第四行 (w/o CoT)，在 5-shot 设置下，不使用CoT (w/o) 的效果反而更好 (总准确率 0.5686 vs 0.4330/0.4240)。这是一个非常有趣的发现，可能意味着对于这个特定的开发集，CoT 引导的推理过程可能引入了噪声或导致模型偏离正确答案，或者 CoT 的提示模板设计还有优化空间。
3. Train (w/ vs w/o): 对比第二行 (w/ Train) 和第三行 (w/o Train)，在 5-shot 和 CoT 设置下，使用微调模型 ($w/$) 和不使用 (w/o) 的效果差距不大 (0.4330 vs 0.4240)，说明在这种配置下微调带来的增益有限。然而，在最优配置（第四行）中，微调 (w/ Train) 是一个关键组成部分。
4. 最佳组合: 在开发集上，5-shot ICL + 无CoT + 模型微调 的组合取得了最佳的总体性能（总准确率 0.5686）。

6.2. 数据呈现 (表格)

核心结果分析 (在测试集上)

团队在测试集 (SpaCE24_test) 上提交了多个版本的预测结果，并与基线进行了对比。

以下是原文 Table 3 的结果：

分析:

1. 显著超越基线: 团队所有提交版本的性能都远超 Baseline。最优结果 $TeleAI_test_6$ 的总准确率达到 0.6024，相比基线的 0.4792，提升了约 25.71%，这是一个巨大的进步。

2. 各子任务表现:

   • 在实体消歧 (0.9364)、实体识别 (0.8947) 和异常检测 (0.8480) 这三个任务上，模型表现非常出色，准确率均超过84%。这表明LLM在识别和判断相对明确的语义信息方面能力很强。
   • 在异形同义词识别 (0.5631) 任务上表现尚可。
   • 在空间方位推理 (0.3471) 任务上表现最差，准确率仅有34.71%。尽管如此，相比基线的21.96%，仍有显著提升。这说明复杂的空间逻辑推理仍然是当前LLM面临的主要挑战。

3. 集成投票 (Vote) 的作用: 对比 $TeleAI_test_1$ (0.5991, w/o Vote) 和 $TeleAI_test_6$ (0.6024, w/ Vote)，可以看出集成投票策略带来了微小但关键的性能提升，帮助系统获得了最终的最高分。

   ---

7. 总结与思考

7.1. 结论总结

该论文报告了一个在 SpaCE2024 中文空间语义理解评测中获得第一名的系统。其核心成功要素可以总结为：

• 强大的模型基础: 选用了先进的大语言模型 Qwen1.5-72B-Chat 作为核心引擎。
• 精巧的策略组合: 系统地结合了上下文学习 (ICL)、思维链 (CoT)、模型微调和集成投票等多种策略，并通过实验找到了在不同任务上的最优组合。
• 卓越的性能表现: 系统在全部五个子任务上均大幅超越官方基线，最终以 0.6024 的总准确率夺冠，为中文空间语义理解领域树立了新的技术标杆。

7.2. 局限性与未来工作

尽管论文本身未明确指出局限性，但我们可以从实验结果中进行分析：

• 推理能力瓶颈: 系统在“空间方位推理”任务上表现最弱（准确率仅0.3471），这揭示了当前大语言模型在处理需要多步、严密逻辑链条的复杂空间推理问题时，仍然存在明显的短板。
• CoT 策略的不稳定性: 在开发集上的实验表明，CoT 并非万能钥匙，在某些情况下甚至会降低性能。这表明如何设计稳定且高效的 CoT 提示，使其能稳定地引导模型进行正确的推理，是一个亟待解决的问题。

未来工作方向可能包括：

1. 增强推理能力: 探索更先进的推理增强技术，例如结合外部知识库、引入符号推理模块或开发专门用于空间推理的训练方法。
2. 优化提示工程: 深入研究自动化提示设计（Prompt Engineering）技术，为不同类型的任务自动生成最优的 ICL 示例和 CoT 路径。
3. 细粒度错误分析: 对模型在推理任务上的错误案例进行深入分析，归纳失败模式，从而有针对性地改进模型架构或训练策略。

7.3. 个人启发与批判

• 启发:

  1. 范式转变的力量: 本文是LLM时代“大模型+精提示”范式优越性的又一力证。它表明，通过巧妙地利用LLM的通用能力，可以高效地解决传统上需要多个专用模型的复杂领域问题。
  2. 系统工程的重要性: 取得SOTA（最先进）的成果往往不依赖于单一的技术突破，而是源于对多种现有技术的系统性整合、实验和优化。本文在ICL、CoT、微调、集成等策略间的权衡与选择，充分体现了这一点。
  3. 数据与任务的重要性: 像SpaCE这样的高质量评测数据集，对于推动领域技术发展至关重要。它不仅为研究者提供了公平的竞技场，其多任务的设计也迫使研究者开发更通用、更鲁棒的模型。

• 批判性思考:

  1. 缺乏深度分析: 作为一篇技术报告，本文侧重于“做什么”和“结果如何”，但在“为什么这么做”以及“为什么某种策略有效/无效”方面的分析较为有限。例如，为什么 CoT 在开发集上表现不佳？具体的提示（prompt）是如何设计的？这些细节的缺失使得其他研究者难以完全复现或从中获得更深层次的洞见。
  2. 可解释性问题: 尽管 CoT 在一定程度上提高了推理过程的透明度，但LLM的内在决策机制仍然是一个“黑箱”。模型在空间推理上的失败，其根本原因是什么，仍然难以捉摸。这可能是未来研究的一个重要方向。