1. 论文基本信息

1.1. 标题

SensorMCP: 用于创建定制传感器工具的模型上下文协议服务器 (SensorMCP: A Model Context Protocol Server for Custom Sensor Tool Creation)

1.2. 作者

• Yunqi Guo

• Guanyu Zhu

• Kaiwei Liu

• Guoliang Xing

  所有作者均隶属于香港中文大学 (The Chinese University of Hong Kong)。

1.3. 发表期刊/会议

第3届网络AI系统国际研讨会 (3rd International Workshop on Networked AI Systems (NetAISys '25))，2025年6月23日至27日，美国加利福尼亚州阿纳海姆 (Anaheim, CA, USA)。该会议是计算机科学领域，特别是网络化人工智能系统方向的国际研讨会，具有一定的学术影响力。

1.4. 发表年份

2025年

1.5. 摘要

定制传感器系统（如野生动物和城市监控）日益增长的需求凸显了对可扩展、AI驱动解决方案的需求。模型上下文协议 (Model Context Protocol, MCP) 使得大语言模型 (Large Language Models, LLMs) 能够与外部工具进行交互，但目前缺乏自动化传感器工具生成的能力。为此，本文提出了 SensorMCP，一个新颖的 MCP 服务器框架，它通过一种工具-语言协同开发流水线 (tool-language co-development pipeline)，使 LLMs 能够动态地生成和操作传感器工具。本文的贡献包括：(1) 一个用于自动化工具和语言协同演进的 SensorMCP 架构；(2) 一个能够生成定制工具的自动化传感器工具箱 (automated sensor toolbox)；(3) 能够生成工具描述和语言模块的语言资产 (language assets)。使用真实的动物园数据集进行的初步评估表明了 SensorMCP 的实用性和效率，在动物监控等场景中工具成功率高达95%。这项工作通过开创 LLMs 和传感器工具的协同演进，推动了传感器系统的发展，为移动系统中的定制感知提供了可扩展的框架。源代码和数据集已公开发布。

1.6. 原文链接

/files/papers/69094df2f0a966faf968f522/paper.pdf。根据上下文判断，这篇论文已作为会议论文正式发表，并提供了 ACM 数字图书馆的 DOI 链接：https://doi.org/10.1145/3711875.3736687。

2. 整体概括

2.1. 研究背景与动机

当前，从野生动物保护到智能基础设施等领域，对定制化传感器系统的需求正迅速增长。这些系统需要针对特定用例进行定制，例如，在茂密的丛林中监测濒危野生动物需要具有精确运动检测和弱光能力智能摄像机，而城市环境传感器部署则需要适应城市或乡村环境的温度或湿度监测器。然而，开发此类系统仍然劳动密集，通常需要为每种传感器类型和应用场景手动设计软件和工具，这限制了其可扩展性和灵活性。现有方法依赖手动调优或固定的软件堆栈，缺乏适应新应用的灵活性。

近年来，大语言模型 (LLMs) 在与基本操作工具交互方面的进步，为简化传感器系统定制提供了机会。LLMs 善于理解自然语言命令，这使得复杂系统的控制变得更加容易。模型上下文协议 (Model Context Protocol, MCP) 通过一个开放、标准化的框架增强了 LLMs 的这一能力，使其能够动态调用外部工具，例如查询 API 或控制设备。尽管 MCP 已在代码解释器和应用操作中展现潜力，并且一些 MCP 工具能够操作传感器系统（如 Home Assistant），但这些实现是通用的，缺乏对定制传感器系统的优化。它们既不支持传感器特定工具的自动化生成，也未整合对传感器数据的语义理解（例如，区分野生动物运动和背景噪声，或解释时间序列环境信号）。此外，它们无法根据用户特定需求（如跟踪宠物喂食频率）构建处理器。因此，将 LLM 生成的工具集成到物理系统中仍需大量手动工作。

这一空白促使作者提出了核心研究问题：我们能否让 LLM 智能体 (LLM agents) 动态地生成和操作针对特定需求定制的传感器工具？解决这个问题面临多重挑战：

1. 工具自动化创建： 如何为从相机到环境传感器等多种传感器硬件自动化创建工具，需要一个灵活、可扩展的流水线。
2. 传感器上下文理解： LLMs 必须理解传感器特定上下文，例如解释图像数据进行野生动物检测或时间序列信号进行环境趋势分析，以生成相关工具。
3. 无缝集成： 将这些工具无缝集成到当前的 MCP 客户端-服务器模型中，需要一个强大的处理框架和灵活的适应性。

2.2. 核心贡献/主要发现

为了解决上述挑战，本文提出了 SensorMCP，一个创新的 MCP 服务器框架，它通过工具-语言协同开发流水线，使 LLMs 能够动态地创建和操作传感器工具。

本文的主要贡献包括：

1. 提出新颖的 SensorMCP 框架： 首次提出了一个支持传感器工具与语言模型自动化协同开发的 SensorMCP 框架，旨在简化传感器系统的定制过程。

2. 开发自动化传感器工具箱： 开发了一个自动化传感器工具箱 (automated sensor toolbox)，能够根据用户特定需求和上下文（例如，野生动物追踪）按需生成定制工具。

3. 设计自动化语言资产系统： 设计了一个自动化语言资产 (automated language assets) 系统，负责生成工具描述和语言模块，使 LLMs 能够与传感器无缝交互。

4. 原型实现与评估： 实现了原型系统，并使用真实世界的动物园数据集进行了初步评估，展示了系统在实际场景中的可行性，例如在动物监控场景中实现了高达 95% 的工具成功率。

   这些贡献通过开创传感器工具和语言在移动感知系统中的协同演进，与瓦雷拉 (Varela) 的具身实用主义哲学 (enactivist pragmatism philosophy) 相契合，该哲学认为认知产生于智能体 (agents) 及其环境的双向耦合。

3. 预备知识与相关工作

3.1. 基础概念

为了理解 SensorMCP，初学者需要了解以下核心概念：

• 传感器系统 (Sensor Systems)： 指由一个或多个传感器、数据采集单元、数据传输模块和数据处理分析模块组成的系统。它用于监测物理世界中的各种现象，例如温度、湿度、光照、运动、声音或图像。在本文中，特别强调了定制化传感器系统，即针对特定应用场景（如野生动物监测、城市环境监测）进行配置和优化的系统。

• 大语言模型 (Large Language Models, LLMs)： 是一种基于深度学习的语言模型，通过在海量文本数据上进行训练，学习语言的模式、语法和语义。它们能够理解自然语言指令、生成文本、进行问答，并具备一定的推理和知识整合能力。例如，GPT-3、GPT-4、Claude 等都属于 LLMs。

• 模型上下文协议 (Model Context Protocol, MCP)： 是 Anthropic 于 2024 年提出的一种开放、标准化的框架。它允许 LLMs 以结构化的方式（例如通过 JSON-RPC）与外部工具或应用程序进行接口交互。MCP 的目标是使 LLMs 能够动态地调用函数、查询 API 或控制设备，从而扩展其能力，使其能够执行超越纯文本生成的任务。JSON-RPC 是一种远程过程调用协议，使用 JSON 格式进行数据传输，常用于客户端和服务器之间的通信。

• LLM 智能体 (LLM Agent)： 指的是一个能够利用 LLM 的能力来感知环境、做出决策并采取行动的软件实体。这些智能体通常能够理解用户指令，调用外部工具来完成任务，并通过不断地交互和学习来改进其性能。在 SensorMCP 中，LLM 智能体扮演着理解用户需求、生成工具指令和操作传感器工具的角色。

• 协同演进 (Co-evolution)： 在生物学中指两个或多个物种相互影响、共同进化的过程。在本文中，它被引申为传感器工具和 LLMs 之间的一种动态、迭代的关系。即传感器工具的生成和优化反过来会影响 LLMs 对传感器上下文的理解和操作能力，同时 LLMs 的能力提升又会促进更复杂、更精细的工具生成，二者共同发展、相互促进。这与瓦雷拉 (Varela) 的具身实用主义哲学 (enactivist pragmatism philosophy) 强调的“认知产生于智能体及其环境的双向耦合”思想相呼应。

• 物联网 (Internet of Things, IoT) 设备： 指嵌入了传感器、软件和其他技术，用于连接和交换数据与网络上其他设备和系统的物理对象。例如，智能摄像头、温度传感器、湿度传感器等。

• 物体检测 (Object Detection)： 计算机视觉领域的一项任务，旨在识别图像或视频中特定物体的位置（通常用边界框表示）和类别。常见的模型包括 YOLO 系列 (YOLOv8, YOLOv10 等)、Grounding DINO、YOLO-World 等。

3.2. 前人工作

论文将 SensorMCP 的工作与以下几类相关研究进行了对比：

• 传感器系统定制 (Sensor Systems Customization)：

  • HomeAssistant 等 IoT 框架支持摄像机和环境传感器的定制自动化，但其手动配置限制了动态任务的可扩展性。
  • 近期边缘 IoT 框架优化了传感器部署以实现活动跟踪等任务，提升了硬件效率，但缺乏 LLM 驱动的工具生成能力。
  • 差异化分析： 现有工作依赖手动配置或缺乏 LLM 驱动的自动化，而 SensorMCP 通过 LLM 智能体动态生成和操作定制传感器工具，解决了这一限制。

• LLM-工具交互框架 (LLM-Tool Interaction Frameworks)：

  • ToolLLM、HuggingGPT、TaskMatrix.AI、LLMind 等框架通过提示和 API 调用链使 LLM 智能体能够操作工具。LangChain 提供了便利的实现。
  • TaskSense 提出了一种传感器语言，用于通过 LLM 交互操作传感器工具，但其工具是预定义的。
  • Open-source LLMs (如 LLaMA、DeepSeek) 也面临类似的集成挑战。
  • ToolFormer 将函数调用视为特殊类型的 token 来训练模型，但这限制了可扩展性，因为有训练开销。
  • Anthropic 的 Model Context Protocol (MCP)、OpenAI 的 Function Calling API 和 Google 的 $Agent2Agent (A2A)$ 协议标准化了 LLM-工具通信。
  • 差异化分析： 尽管这些框架实现了 LLM 与工具的交互，但它们是通用目的的，缺乏传感器特有的自动化或针对 IoT 和移动感知的特定数据语义。它们主要处理预定义工具，而 SensorMCP 的核心创新在于自动化地生成针对特定传感器应用场景的工具。

• AI 驱动的感知 (AI-Driven Sensing)：

  • CLIP 等基础模型（如视觉-语言模型 VLMs）在传感器数据中的物体识别等通用任务上表现出色。
  • 用于 IoT 的多模态 LLMs 集成了视频和音频等数据流，但其高计算需求使其不适用于边缘设备或长期感知任务。
  • AutoGen 等智能体系统协调代码生成等任务，但它们缺乏生成可执行传感器工具的流水线。
  • 差异化分析： 现有 AI 驱动感知主要关注数据分析或任务编排，但未能提供从需求到可执行传感器工具的完整自动化生成流水线。SensorMCP 弥补了这一空白，通过整合标准化的 MCP 和协同开发流水线，实现了传感器特定工具的自动化生成和语言资产开发。

3.3. 技术演进

该领域的技术演进可以概括为：

1. 传统传感器系统： 早期传感器系统主要依赖手动配置和固定软件堆栈，灵活性和可扩展性差。
2. IoT 框架的兴起： HomeAssistant 等 IoT 框架通过提供一定的自动化和集成能力，提升了传感器系统的易用性，但仍需大量手动配置。
3. LLM 与工具交互的萌芽： 随着 LLM 技术的发展，研究人员开始探索 LLM 与外部工具的结合，通过 API 调用链实现更复杂的任务。LangChain 等库的出现进一步简化了这一过程。
4. 标准化协议的出现： MCP、OpenAI Function Calling 等协议的提出，标志着 LLM 与外部工具交互走向标准化和规范化。
5. AI 驱动的感知： 基础模型（如 VLMs）和多模态 LLMs 使得 AI 在传感器数据分析方面取得了显著进展。
6. SensorMCP 的创新： SensorMCP 在此背景下，进一步将 LLM 与工具交互的能力深化到自动化传感器工具生成的层面，并通过工具-语言协同演进，解决了定制化传感器系统开发中的关键挑战，实现了从自然语言需求到可执行传感器工具的端到端自动化。

3.4. 差异化分析

SensorMCP 与现有工作的主要区别和创新点在于：

• 自动化工具生成： 现有 LLM-工具交互框架主要依赖预定义工具或通用工具集。SensorMCP 则引入了一个自动化工具箱，能够根据用户的自然语言需求，动态地生成针对特定场景（如“监控老虎”）的定制化传感器工具，包括训练模型和部署库。
• 工具-语言协同演进： SensorMCP 提出了一个独特的协同开发流水线，不仅生成工具，还生成和优化语言资产（工具描述、操作模式），使 LLM 智能体能够更好地理解和操作这些工具，并通过反馈循环持续改进。这实现了工具和 LLM 知识的共同发展。
• 传感器特定语义理解： 现有通用 LLM-工具交互框架缺乏对传感器数据语义的深度理解。SensorMCP 的语言资产系统通过整合传感器数据样本和性能反馈，使 LLM 能够理解传感器特定的上下文，从而更精确地生成和操作工具。
• 端到端定制化： SensorMCP 提供了一个从自然语言指令到可执行传感器工具的端到端自动化框架，显著降低了定制传感器系统的开发门槛和工作量，提高了可扩展性。

4. 方法论

SensorMCP 框架利用模型上下文协议 (MCP)，使 LLM 智能体能够动态生成和操作针对特定传感器应用（如野生动物监测、智慧城市和家庭护理系统）定制的传感器工具。其设计包含四个关键组件：1) 具有协同开发流水线的系统架构，2) 自动化传感器工具箱 (automated sensor toolbox)，3) 自动化语言资产系统 (automated language asset system)，以及 4) MCP 服务器-客户端模型。这些组件协同工作，实现工具的自动化创建和操作，使 LLM 智能体能够解释用户需求并生成合适的传感器工具集，并将工具与传感器硬件无缝集成。该设计优先考虑可扩展性和适应性。

4.1. 方法原理

SensorMCP 的核心原理是实现 LLM 智能体与传感器工具的协同开发。传统 MCP 框架依赖预定义的工具，而 SensorMCP 引入一个动态流水线，使得工具和 LLM 能够同步演进。当 LLM 收到一个提示（例如，“监控老虎”）时，SensorMCP 会触发生成一个定制工具（例如，tiger_tracker）。该工具会提供反馈（例如，性能指标）来增强 LLM 智能体的理解，并改进未来的工具设计。这种迭代过程确保了工具符合用户要求，并且 LLM 能够有效地操作它们。

4.2. 核心方法详解 (逐层深入)

4.2.1. 系统架构

SensorMCP 采用四层系统架构，如下图（原文 Figure 2）所示：

该图像是图2，SensorMCP架构示意图，展示了Host端的MCP客户端与Sensor-MCP服务器的交互，以及服务器与传感器工具箱和传感器语言资产模块之间更新工具和词典的流程。

Figure 2: SensorMCP architecture.

1. 宿主与 MCP 客户端 (Host with MCP Client)：

   • 这是一个 LLM 应用程序（例如 Claude Desktop 或 Cursor），负责发出自然语言提示，如“监控老虎”。
   • 集成的 MCP 客户端将这些提示转换为结构化的 JSON-RPC 请求。
   • 它通过查询服务器的工具注册表来管理工具发现。

2. SensorMCP 服务器 (SensorMCP Server)：

   • 这是 SensorMCP 的核心，负责协调工具生成和语言资产创建，通过控制传感器工具箱 (Sensor Toolbox) 和语言资产系统 (Language Asset system)。
   • 它处理工具调用，处理反馈，并通过 API（如 create_tool 和 invoke_tool）确保与传感器硬件的无缝集成。

3. 传感器工具箱 (Sensor Toolbox)：

   • 这个模块负责自动化生成特定场景的工具，例如老虎追踪器。
   • 它根据 MCP 请求生成训练好的模型和函数描述。
   • 通过与现有传感器平台（如 Home Assistant 和 Mi-Home）的兼容性，支持扩展，实现与多样化 IoT 生态系统的集成。

4. 传感器语言资产 (Sensor Language Asset)：

   • 维护一个动态的工具描述和模式 (schemas) 存储库，增强 LLM 对工具能力的理解。

   • 它根据性能反馈更新这个传感器工具“菜单”，确保智能体能够准确调用和解释工具功能。

     这种架构实现了整个工具创建过程的自动化，消除了手动操作，并支持针对多样化感知场景的快速部署。协同开发流水线是 SensorMCP 创新的核心，确保工具既具有功能性，又可被 LLMs 理解，这是实际移动感知应用的关键要求。

4.2.2. 传感器工具箱 (Sensor Toolbox)

SensorMCP 服务器中的传感器工具箱是一个自动化流水线，能够根据用户和 MCP 宿主请求按需生成传感器工具，无需用户提供数据或标签。它处理结构化的 MCP 请求（例如 JSON 对象 {"goal": "object monitor", "subject": "tigers"}），以生成一个功能齐全的工具，例如一个带有训练模型、部署库和函数描述的老虎追踪器，作为返回输出。该流水线无需人工干预即可运行，确保了在不同传感器类型和应用之间实现可扩展性。此外，它还维护一个预定义和生成工具以及机器学习模块的存储库，允许用户高效地访问和重用它们。

该流水线包含四个顺序步骤，如下图（原文 Figure 3）所示：

该图像是图3，展示了SensorMCP服务器工具箱中的自动工具生成流程，包括自动获取训练集、利用大模型自动标注数据、训练定制化传感器工具及打包成可部署库的步骤。

Figure 3: Automated tool generation pipeline.

1. 数据引擎 (Data Engine)：

   • 数据引擎根据请求检索用于创建工具的相关数据。
   • 例如，一个老虎监控工具会从 Roboflow 和 Unsplash 等公共数据集获取老虎图像，确保领域特定的训练材料。

2. 基于基础模型的标注 (Foundation Model-Based Labeling)：

   • 该模块使用大型机器学习模型（例如 YOLO-World、Grounding DINO）对收集到的数据进行标注，以识别相关特征（例如图像中的老虎），从而生成用于训练的标注数据集。

3. 工具生成 (Tool Generation)：

   • 流水线训练一个紧凑、高效的模型，例如 YOLOv8、YOLOv10 和 YOLOv11，这些模型针对资源受限的传感器硬件（例如 Raspberry Pi）上的实时性能进行了优化。

4. 工具打包 (Tool Packaging)：

   • 训练好的模型与元数据一起打包，包括函数描述（例如，“老虎追踪器：检测老虎，通过 track_video 调用”），从而实现 MCP 兼容的调用。

     流水线的动态生成能力确保了工具是针对特定场景（例如基于动物园的野生动物监测）量身定制的，而无需预定义模板。

以下是传感器工具箱的一些输入和输出示例（原文 Table 1）：

以上是原文 Table 1 的结果：

4.2.3. 传感器语言资产 (Sensor Language Asset)

除了工具生成，SensorMCP 还维护一个传感器语言资产，这是一个专门的词典，帮助 LLM 智能体理解工具及其功能。该资产自动生成和完善工具描述和模式 (schema)，使 LLM 智能体能够与生成的工具无缝交互。它解决了一个关键挑战：确保 LLMs 理解传感器特定上下文，例如老虎追踪器的操作限制。具体来说，传感器语言资产由三个核心组件组成：

• 词形构成 (Word Formation)：

  • 以自然语言定义工具的“可供性 (affordances)”和特征。
  • 例如，“tiger_tracker：使用摄像头输入实时检测老虎”。

• 语法构成 (Grammar Formation)：

  • 生成指定工具行为的操作模式 (operational schemas)。
  • 例如，“[tiger_tracker] 如果 $[motion > threshold during daytime]$ 则激活”。

• 嵌入知识 (Embedded Knowledge)：

  • 整合传感器数据样本，例如图像元数据，以增强 LLM 的上下文理解。

  • 例如，将“老虎”与特定视觉模式关联起来。

    生成和完善过程始于传感器工具箱生成工具时。系统根据工具的模型、训练数据和元数据信息自动创建描述和模式。例如，老虎追踪器的模型输出（例如，边界框）会通知一个模式，如“[tiger_tracker] 在 [timestamp] 报告 [detection]”。LLMs 使用这些资产来调用工具并解释其输出，例如“在 14:00 检测到老虎”。一个反馈循环不断完善这些资产——工具性能指标（例如，误报）会触发对描述和模式的更新，从而随着时间提高准确性。这些语言元素与传感器开发模块直接相关，如下表（原文 Table 2）所示：工具功能影响词形构成，模式与语法对齐，性能指标塑造上下文叙述。

    Sensor Mod- ule	Linguistic Element	Enactivist Relation
    Tool	Word	Sensor tools shape metaphors:
    Functions	Formation	"tracking" tigers mirrors visual detection tasks.
    Operational	Grammar	Tool sequences inform syntax:
    Schemas	Formation	tool-action-object mirrors prompt-tool-output.
    Tool	Contextual	Tool successes/failures drive
    Performance	Narratives	descriptions: e.g., "tiger detected" logs refine usage.
    Embedded	Pragmatic	Tool metadata creates jargon;
    Knowledge	Context	jargon guides tool invocation (e.g., "track_video").

以上是原文 Table 2 的结果：

4.2.4. MCP 服务器和客户端 (MCP Server and Client)

SensorMCP 服务器和客户端构成了工具生成和调用的骨干，将工具箱和语言资产集成到一个内聚的系统中。服务器通过 MCP 的 JSON-RPC 接口公开这些组件，支持两种主要操作：

1. 工具生成 (Tool Generation)：

   • 处理请求，例如 create_tool(goal="monitor", subject="tigers")，以触发传感器工具箱流水线。

2. 工具调用 (Tool Invocation)：

   • 执行命令，例如 invoke_tool("tiger_tracker")，在传感器硬件上。

     服务器支持本地传感器（通过 stdio）和远程传感器（通过带有服务器发送事件 (Server-Sent Events, SSE) 的 HTTP），确保跨部署场景的灵活性。它维护一个动态工具注册表，当新工具生成时实时更新，并强制执行安全范围以限制 LLM 访问，例如，使传感器数据只读。

客户端将 LLM 提示转换为服务器请求，通过将自然语言命令（例如“监控老虎”）转换为结构化 API（例如 create_tool）。它通过查询工具注册表动态发现可用功能。

下表（原文 Table 3）展示了这两类服务器 API：

以上是原文 Table 3 的结果：

这种设计确保了生成工具和语言资产的无缝集成，使 LLMs 能够以最小的开销操作传感器。服务器-客户端模型，结合自动化流水线和语言系统，将 SensorMCP 定位为移动感知应用的可扩展框架。

5. 实验设置

为了展示 SensorMCP 的可行性，作者开发了一个原型实现，并使用从动物园收集的真实世界数据进行了初步评估。本节将描述原型设置，包括生成的工具和工作流程，然后评估工具生成准确性和传感器有效性。

5.1. 数据集

为了收集真实世界数据，作者在一个动物园部署了三台智能摄像机，持续一个月。这些数据集包含三台智能摄像机在一个月内，在不同条件（例如白天和夜晚）下，从动物园捕获的视频片段。

5.2. 评估指标

评估指标包括：

1. 工具成功率 (Tool success rate)： 提示生成功能性工具的百分比。

   • 概念定义： 该指标衡量 SensorMCP 根据用户自然语言提示，成功生成符合预期功能的传感器工具的比例。高成功率表明系统能够准确理解用户意图并自动化地完成工具创建。
   • 数学公式： $$\text{工具成功率} = \frac{\text{成功生成的工具数量}}{\text{总测试提示数量}} \times 100\%$$
   • 符号解释：
     • 成功生成的工具数量：指系统根据用户提示，生成并正确实现所请求功能的工具数量。
     • 总测试提示数量：指用于评估工具生成任务的总用户提示数量。

2. 精确率 (Precision) 和 召回率 (Recall)： MCP 服务器生成的工具的性能。

   • 概念定义： 这两个指标常用于评估分类或检测模型的性能。
     • 精确率 (Precision) 衡量模型识别出的正例中，有多少是真正的正例。它关注的是模型“不误报”的能力。
     • 召回率 (Recall) 衡量所有真正的正例中，有多少被模型正确识别出来。它关注的是模型“不漏报”的能力。
   • 数学公式： $$\text{Precision} = \frac{\text{TP}}{\text{TP} + \text{FP}}$$ $$\text{Recall} = \frac{\text{TP}}{\text{TP} + \text{FN}}$$
   • 符号解释：
     • TP (True Positives)：真阳性，正确识别为正例的样本数（例如，正确检测到老虎）。
     • FP (False Positives)：假阳性，错误识别为正例的样本数（例如，将其他动物误检测为老虎）。
     • FN (False Negatives)：假阴性，未能识别出的正例样本数（例如，未能检测到真正的老虎）。

3. 延迟 (Latency)： MCP 服务器生成和调用工具所需的时间。

   • 概念定义： 该指标衡量从用户发出请求到工具生成完成或工具被调用并返回结果所需的时间。它反映了系统的响应速度和实时性。
   • 数学公式： 通常以时间单位（秒、分钟）直接报告，没有通用公式。
   • 符号解释： 无。

5.3. 对比基线

为了评估传感器工具定制化的影响，作者将 SensorMCP 生成的定制工具与预训练模型 (Pre-trained models) 进行了比较。

• 预训练模型： 这是一个在通用数据集 Open Image 上训练的 YOLO 模型。
• SensorMCP： SensorMCP 生成的工具是在任务特定数据（即动物园的真实老虎和狮子图像）上训练和优化的 YOLOv10 模型。

5.4. 实现细节

• 服务器实现： SensorMCP 服务器使用 Python 实现，并利用开源 MCP SDK 处理通过 HTTP 上的 JSON-RPC 进行的客户端-服务器通信。

• 宿主 LLM： 使用开源工具 FastAgent，通过 MCP 客户端将自然语言提示转换为服务器请求。

• SensorMCP 服务器 API： 自动化工具生成，公开了基于 FastMCP 构建的 create_tool 和 invoke_tool 接口。

• 传感器硬件： 三台部署在动物园的智能摄像机。

• 生成的工具示例： 验证系统生成了两个示例工具：老虎追踪器 (tiger tracker) 和狮子追踪器 (lion tracker)，两者均基于物体检测。这些追踪器使用经过真实动物园图像训练的精简版 YOLOv10 模型处理摄像机视频流。每个工具都持续分析传入帧以实时检测和追踪老虎或狮子。

• 工作流程： 遵循提示驱动的流水线：用户输入请求（例如，“监控老虎”或“监控狮子”），LLM 生成工具规范，SensorMCP 服务器生成工具（包括检测模型、元数据和 Python 环境中的部署设置），然后将工具部署到硬件上执行。

  下图（原文 Figure 4）展示了 SensorMCP 的原型工作流程：

  该图像是图4，展示了SensorMCP的原型工作流程。用户通过指令发起“监控老虎”请求，MCP客户端将请求转化为工具生成命令，SensorMCP服务器生成检测模型并更新传感器工具集，摄像头模块执行老虎跟踪和运动记录。

Figure 4: Prototype workflow of SensorMCP: a "monitor tigers" or "monitor lions" prompt triggers tool generation, delivering an object detection model to a programmable smart camera. The camera processes live feeds and visualizes detected tiger or lion events.

6. 实验结果与分析

作者从两个维度评估了 SensorMCP：工具生成成功率和传感器有效性，并使用从动物园收集的真实世界数据来确保真实性。评估方法侧重于老虎和狮子监控的两个测试案例。

6.1. 核心结果分析

6.1.1. 工具生成成功率与延迟

以下是原文 Table 4 的结果：

分析：

• 老虎追踪 (Tiger Tracking)： 在 40 个提示中，SensorMCP 实现了 95% 的工具成功率，其中 38 个老虎追踪工具正确匹配了用户意图（即老虎追踪器按指定检测运动）。这表明 SensorMCP 在理解用户需求并自动生成相应工具方面表现出色。
• 狮子追踪 (Lion Tracking)： 狮子追踪的工具成功率为 90%。虽然略低于老虎追踪，但仍表现出较高的自动化水平。
• 延迟： 工具生成平均耗时 26 分 52 秒，工具调用平均耗时 21 秒。虽然工具生成时间相对较长（可能是因为模型训练过程），但对于一次性的工具创建来说是可接受的，而工具调用时间则适合实时应用。

6.1.2. 传感器有效性 (精确率和召回率)

从原文 Table 4 中可以看出：

• 老虎追踪： 精确率为 96.9%，召回率为 85.8%。
• 狮子追踪： 精确率为 93.9%，召回率为 86.7%。

分析： 这些结果表明 SensorMCP 生成的定制工具在实际动物园场景中具有很高的检测准确性。高精确率意味着模型误报较少，能准确识别出目标动物。高召回率意味着模型漏报较少，能有效地捕捉到大部分目标动物。这些性能指标验证了 SensorMCP 在真实世界移动感知应用中的实用性。

6.1.3. 工具定制化的影响

为了评估 SensorMCP 启用的传感器工具定制化的影响，作者将预训练模型与系统自动生成的工具进行了比较。预训练模型是一个在通用 Open Image 数据集上训练的 YOLO 模型，而 SensorMCP 方法在工具生成过程中利用了任务特定数据。

以下是原文 Table 5 的结果：

以上是原文 Table 5 的结果：

分析：

• 老虎追踪： SensorMCP 相较于仅使用预训练模型，精确率提高了 8.2% (96.9% vs 88.7%)，召回率提高了 16.9% (85.8% vs 68.9%)。
• 狮子追踪： SensorMCP 相较于仅使用预训练模型，精确率提高了 11.8% (93.9% vs 82.1%)，召回率提高了 38.8% (86.7% vs 47.9%)。

结论： 这些结果强有力地验证了定制化模型的有效性，特别是在结合特定上下文的传感器观测数据时。通过在任务特定数据上进行训练，SensorMCP 能够生成显著优于通用预训练模型的工具，尤其是在召回率方面有巨大提升，这对于确保不遗漏关键事件（例如野生动物监控中的动物出现）至关重要。这表明 SensorMCP 的核心优势——自动化生成定制工具——确实能够带来显著的性能改进。

7. 总结与思考

7.1. 结论总结

本文介绍了 SensorMCP，一个新颖的框架，它利用模型上下文协议 (MCP) 使大语言模型 (LLM) 智能体能够动态地生成和操作传感器工具。通过集成自动化传感器工具箱和传感器语言资产，SensorMCP 简化了各种应用场景下定制工具的创建。原型系统验证了这种方法的可行性，在老虎追踪等场景中取得了 95% 的工具成功率的良好结果。SensorMCP 简化了定制传感器系统的开发，其协同开发流水线确保了工具与 LLMs 共同演进，从而提高了实时感知任务的适应性和精确性。

7.2. 局限性与未来工作

论文作者指出了以下未来可能的研究方向：

• 与现有传感器操作平台的集成： 未来工作将侧重于与现有传感器操作平台（如 Home Assistant）集成，以支持更复杂的命令，例如“帮我监控我的狗的饮食”。
• 硬件定制请求： 促进硬件定制请求，例如“帮我建造一个看起来像玩具鸭的宠物伴侣”，这可能意味着系统将能够指导用户进行硬件选择、组装甚至定制设计。

7.3. 个人启发与批判

7.3.1. 个人启发

1. 开创性的协同演进范式： SensorMCP 提出的工具-语言协同开发流水线是一个非常具有启发性的概念。它超越了简单的 LLM 调用工具的模式，而是让工具与 LLM 的理解能力相互促进、共同发展。这为未来 AI 系统与物理世界交互提供了一个更动态、适应性更强的框架，可能在机器人、智能制造等领域有广泛应用。
2. 降低定制化门槛： 自动化生成定制传感器工具的能力极大地降低了非专业用户开发复杂传感器系统的门槛。用户只需用自然语言表达需求，系统就能自动完成数据收集、模型训练、工具打包等一系列复杂任务，这对于推动 AI 在各行各业的普及具有重要意义。
3. 具身智能的实践： SensorMCP 的工作与瓦雷拉的具身实用主义哲学相呼应，强调认知（LLM 的理解）与环境（传感器和工具）的交互作用。这为具身智能 (Embodied AI) 的发展提供了一个具体的实现路径，即通过不断地感知、行动和学习，智能体能够更好地理解和适应物理世界。
4. 长尾应用场景的潜力： 现有的 AI 模型往往针对通用任务优化，但在特定、小众的长尾应用场景中效果不佳。SensorMCP 的定制化工具生成能力恰好能解决这个问题，使其能够高效地适应各种特定需求，例如针对特定物种的野生动物监测、特殊环境的工业监测等。

7.3.2. 批判与潜在改进

1. 工具生成时间的效率： 论文提到工具生成平均耗时 26 分 52 秒。虽然对于一次性部署来说可能可接受，但如果用户需要频繁调整工具参数或进行快速迭代开发，这个时间可能会成为瓶颈。未来可以探索更高效的模型训练和部署策略，例如利用元学习 (meta-learning) 或知识蒸馏 (knowledge distillation) 加速定制模型的生成。
2. 数据引擎的鲁棒性与合规性： 数据引擎从 Roboflow 和 Unsplash 等公共数据集获取数据。这些数据的质量、多样性和版权合规性可能存在问题。在更严格的应用场景（例如医疗、军事）中，需要更强大的数据管理和隐私保护机制。如何确保数据引擎获取的数据是高质量、无偏见且符合伦理规范的，是一个值得深入研究的问题。
3. LLM 理解的深层语义挑战： 尽管语言资产系统旨在增强 LLM 对传感器上下文的理解，但 LLM 对复杂、抽象或隐性用户需求的理解仍然是一个挑战。例如，“帮我建造一个看起来像玩具鸭的宠物伴侣”这种请求可能涉及到设计、材料选择、机械结构等深层知识，LLM 能否准确理解并指导工具生成，可能需要更强大的多模态推理能力和通用世界知识。
4. 反馈循环的质量与自动化程度： 论文提到工具性能反馈会触发语言资产的更新。但这种反馈循环的自动化程度和有效性需要进一步评估。例如，当工具性能下降时，LLM 如何诊断问题、识别根本原因，并主动调整工具生成策略或语言描述，这需要复杂的因果推理能力。如何构建一个更智能、更自动化的反馈和自适应机制是未来的关键。
5. 安全性和伦理考量： 动态生成和操作传感器工具可能带来潜在的安全和伦理风险。例如，恶意用户可能会通过 LLM 生成具有潜在危害的工具，或者系统可能在未经授权的情况下访问或处理敏感数据。未来工作需要加强对工具生成过程中的安全审查、权限管理和数据隐私保护。
6. 硬件层面的泛化性： 论文提及与 Home Assistant 等平台的兼容性，但实际部署到各种异构传感器硬件（特别是资源受限的边缘设备）时，工具的部署和优化可能面临挑战。如何确保生成的工具能在各种硬件平台上高效、稳定运行，需要更强的硬件抽象层和跨平台部署能力。