首页美国地下管线施工企业 ARUtility 的产品起源于一次真实的施工事故。创始人 Joe Eastman 曾在安装供水主管道时发现，一条地下燃气管线被意外切断。由于现场缺少准确的管线标记，施工人员没能提前识别风险，项目因此受到影响。
地下管线施工有一个长期存在的问题：水管、电缆、燃气管道埋在地面以下，现场人员很难仅凭地表情况判断它们的位置。ARUtility 的解决办法是将地下管线的地理数据、三维可视化和实时音视频结合起来。工作人员打开手机摄像头，就能在现场画面上查看虚拟管线位置；遇到不确定的问题，可以发起远程视频协作，让办公室里的专家查看同一现场，并通过标注指出需要注意的位置。该产品使用 Unity 开发 AR 功能，并集成 Agora SDK，实现实时语音、视频和消息交互。现场与远端人员可以在共享画面中添加注释，让标记与真实物体的位置关联。
这类应用通常称为 AR 远程协作（Augmented Reality Remote Assistance）。它不仅用于地下管线施工，也适用于工业设备维修、远程巡检、现场安装、技术培训和医疗设备维护等场景。
AR 负责让数字信息与现实环境对应，实时通信则负责把现场画面、语音指导和协作数据传递给远端人员。两者需要在同一应用中协同工作。
一. 从 ARUtility 看 AR 远程协作如何解决现场问题
1. 将地下管线数据叠加到真实施工现场
传统地下管线管理依赖二维图纸、地理信息系统（GIS）和现场测绘数据。施工人员需要根据已有记录，判断地下设施与当前作业区域之间的位置关系。
ARUtility 将地下管线的空间数据引入移动端 AR 应用。当现场人员移动手机时，系统根据设备定位、姿态和相关空间数据，将虚拟管线显示在实时摄像头画面中。
例如，工作人员可以查看当前位置附近是否存在供水管道、燃气管线或电缆，并对照现场情况进行进一步检查。
需要注意，AR 画面显示的地下管线位置来自已有的地理数据，并不是手机摄像头直接探测到了地下设施。数据精度、坐标配准误差和现场环境都会影响显示结果。
因此，这类 AR 可视化应作为施工辅助信息，不能代替必要的地下管线探测、现场核验和安全施工流程。
2. 远端专家通过视频查看现场并添加标注
ARUtility 的另一项能力是实时远程协助。
当现场工作人员发现管线位置异常时，可以通过应用与办公室里的专家进行视频通话。
专家能够查看现场摄像头画面及相关 AR 信息，并通过画线、添加注释等方式指出需要检查的区域。
这种方式减少了双方仅靠语言描述位置的困难。例如，专家可以直接标记某个阀门、管线交叉点或设备连接部位，而不必反复解释“左边第二根管子”或“靠近底部的接口”。
Agora 官方案例明确提到，ARUtility 使用了实时语音、视频与消息功能，并基于 Unity 开发允许现场和办公室人员共同标注的工具。
但该案例没有公开完整的网络拓扑，也没有披露空间定位误差、端到端视频延迟或节省现场出差费用的具体比例。
3. ARUtility 为什么选择现成的实时音视频 SDK？
ARUtility 的核心开发工作是地下管线数据可视化、位置匹配和现场 AR 交互。
如果同时自建实时音视频通信系统，还需要处理音视频采集、编码、网络连接、弱网适配、多人通信和跨平台兼容等工程问题。
ARUtility 在客户案例中解释，团队选择声网的重要原因，是它提供了可集成到 Unity 应用中的实时通信 SDK，使团队可以将更多研发资源投入自身的 AR 功能。
这一选择也反映了 AR 远程协作产品的技术分工：空间识别与三维渲染属于 AR 应用层，实时音视频和消息传输属于通信层，两者通过应用逻辑连接。
二. AR 远程协作和普通视频通话有什么区别？
普通视频通话可以让专家看到现场，也能通过语音说明操作步骤。但当问题涉及多个外观相似的零部件、复杂线路或精细装配位置时，仅靠语音沟通容易产生歧义。
AR 远程协作增加了空间信息处理能力，让专家能够直接在现实设备上指出需要检查的位置。
1. 屏幕标注与空间标注是两种不同的技术
最简单的视频标注，是在当前画面上绘制箭头、圆圈或文字。这些标记通常使用二维屏幕坐标。
例如，专家在视频画面中的某个按钮上画了一个圆圈。如果摄像头保持不动，这个标记能够清晰表达意思。
但当现场人员移动手机，原来的按钮离开画面中心时，二维标记可能仍然停留在之前的屏幕位置。
真正的 AR 空间标注需要建立标记与现实场景之间的空间关系。
系统可以使用相机位姿估计、平面检测、特征点跟踪、深度数据或空间锚点等技术，把标记关联到现实环境中的某个位置。
这样，在空间跟踪有效的情况下，现场人员改变观察角度时，标记仍能显示在对应设备附近。
2. 专家标注的位置需要转换到现场空间坐标
AR 远程协作系统通常涉及至少两个坐标空间：
- 屏幕坐标：远端专家点击视频画面的具体位置。
- 世界坐标：AR 系统建立的三维空间参考位置。
假设专家在远端视频中点击一台设备上的螺丝，系统需要根据对应视频帧的相机姿态、投影参数和场景几何信息，估计该点击位置在现实空间中的对应点。
在具备深度信息或可靠平面检测的情况下，可以进一步计算三维位置，并创建空间标记。
随后，系统将标记的坐标、标识和相关元数据发送给现场设备，由现场 AR 应用完成渲染。
实际实现中，远端专家并不一定拥有完整的三维场景模型。部分系统会将标注输入发回现场设备，由掌握本地 AR 跟踪信息的一端执行空间定位。
3. 多人协作还需要统一标记和操作状态
如果一场维修会话中有现场工程师、远端专家和设备厂商技术人员共同参与，系统还需要管理不同人员的操作权限。
例如，谁可以绘制标记，谁可以删除标记，哪条注释已经完成，以及哪些标记需要保留到下一次维修。
这些信息可以由应用层通过实时消息、状态同步和业务数据库进行管理。
对于需要跨会话保留的标记，还应保存设备标识、坐标参考、标记内容和版本信息。仅存储一张截图，通常不足以在下一次会话中恢复完整的三维空间关系。
三. 实时音视频在 AR 远程协作中承担哪些任务？
1. 实时视频：把现场画面传给远端专家
视频是远端专家判断现场情况的基础。
典型的视频链路包括：
现场摄像头采集 → 编码 → RTC 网络传输 → 远端解码 → 专家工作台显示。
在 AR 远程协作中，系统可以根据业务设计选择传输原始摄像头画面，或者传输已经叠加部分 AR 信息的合成画面。
如果需要让远端专家直接看到虚拟管线、三维模型或设备标记，应用可以将合成后的画面作为视频源发送。但视频合成会增加渲染与处理开销，需要测试实际性能。
另一种架构是传输视频与独立的空间数据，让远端客户端自行完成 AR 渲染。它有利于保留结构化信息，但对双方空间坐标的一致性和数据同步提出了更高要求。
2. 双向语音：让现场人员及时获得指导
AR 标注能帮助定位问题，但许多操作仍然需要语音解释。
例如，远端专家可能需要告知现场人员先断开设备电源，再检查某个接线端子。现场人员则需要反馈仪表读数、设备声音或执行状态。
工业现场往往存在风噪、机械运转声和多人交谈，对音频采集和处理有较高要求。
开发者需要根据终端设备配置回声消除、降噪、自动增益等音频处理能力，并评估蓝牙耳机、头戴式设备或工业耳麦的实际效果。
对于涉及安全的操作，语音指导还应配合明确的操作确认流程，不能仅凭一段可能被噪声遮盖的语音判断任务已经完成。
3. 实时消息：让标注和协作状态在不同终端之间同步
远端专家画出一个箭头后，系统并不一定需要把这个箭头直接编码进视频。
一种可行的方式是通过实时消息发送标注对象的数据，由现场终端进行渲染。
例如，业务层可以定义包含以下字段的消息：
{
"type": "ar_annotation",
"annotation_id": "mark_001",
"anchor_id": "anchor_07",
"coordinate_system": "session_world",
"position": [0.42, 1.15, -0.30],
"label": "检查此连接点",
"version": 3
}上述 JSON 只是业务协议示意，坐标数值为虚构示例，不是声网 RTM SDK 的固定消息格式。
应用接收消息后，应根据共享坐标系或本地锚点映射关系确定标注位置，再渲染对应的箭头、文字或三维模型。
如果消息只包含二维坐标，也可以实现屏幕标注，但不能因此获得真正的三维空间锚定能力。
4. 视频与标注还需要考虑时间同步
假设专家在远端视频中看见一个阀门，并点击相应位置添加标记。
但专家看到的画面可能已经经过采集、编码、网络传输和播放缓冲。如果系统直接使用现场设备当前的相机姿态解释这次点击，摄像头在此期间发生移动，就可能产生定位误差。
因此，精确的 AR 标注应该关联到专家实际看到的视频帧，使用该帧对应的相机姿态及空间信息进行坐标计算。
开发者可以通过帧时间戳、相机姿态缓存、标注序列号以及必要的确认机制管理这种关联。
这一点容易在技术实现中被忽略。视频看起来流畅，并不代表标注一定能够准确落在对应的物体上。
四. AR 远程协作为什么需要重点优化延迟和弱网？
AR 远程协作一般不需要像高速机器人控制那样，在极短时间内完成动作闭环，但视频和空间标注如果持续滞后，会明显影响指导效率。
1. 视频延迟影响现场判断
当现场人员移动摄像头查看设备时，远端专家需要根据最新画面指导下一步操作。
如果视频延迟明显，专家看到的可能是几秒前的设备位置。现场人员已经移动到另一处，专家仍然在解释之前的画面。
因此，系统需要关注视频采集到显示的端到端延迟，而不是只查看网络传输耗时。
编码、渲染、设备性能和播放缓冲同样会影响用户实际看到的画面。
2. 高画质与低延迟需要根据任务平衡
工业远程维修可能需要查看螺丝、接线端子、设备铭牌或仪表读数。
画面分辨率不足，会影响专家识别细节；如果长期维持高码率，网络条件较差时又容易出现卡顿。
实际应用可以结合任务调整视频参数，例如在巡检过程中采用相对稳定的连续视频，在检查细小零件时切换高清近距离画面，必要时补充高分辨率静态照片。
对于不需要持续查看现场的阶段，也可以降低视频发送频率或暂停部分视频流，减少带宽和设备功耗。
3. 弱网下要避免视频和标注相互拖累
室外施工现场、地下空间和大型厂房可能存在无线网络覆盖不足、信号遮挡及网络切换等情况。
当带宽下降时，系统需要优先保证关键语音沟通，并根据网络状态调整视频质量。
标注消息通常比视频数据小得多，但可靠投递、操作顺序和版本一致性仍然重要。
例如，专家先创建标注，再修改其文字。如果第二条更新先于第一条到达，应用应通过对象 ID 和版本信息进行处理，避免出现旧标记覆盖新内容的问题。
同时，视频与标注不应该无限制地等待彼此。如果标注失去对应的空间定位或视频帧参考，系统应提示用户重新定位，而不是继续显示可能误导现场操作的标记。
4. 网络恢复后，空间状态也可能需要重新校准
网络断开不仅会影响音视频，还可能导致多人协作中的数据状态不一致。
现场人员在断线期间可能移动了设备，AR 跟踪也可能重新定位。恢复连接后，远端专家此前绘制的标注不一定仍然对应当前空间位置。
因此，系统应在重连后检查 AR 跟踪状态、空间锚点有效性、标注版本和设备当前状态。
对于精度要求较高的场景，可以要求现场人员重新确认关键标注位置。
五. AR 远程协作适合哪些行业？
1. 工业设备维修与远程运维
设备出现故障后，现场技术人员通过手机、平板或 AR 眼镜共享设备画面。远端专家根据实时视频查看设备状态，并通过空间标注指出需要检查的零部件。
这种方式适合分布式工厂、专用机械设备和专业维修人员不足的场景。
如果进一步集成工单系统，企业还可以将维修过程中的照片、标注和处理记录关联到设备档案。
2. 能源、电力与地下管线施工
ARUtility 代表了这一类应用。
现场工作人员可以通过 AR 查看相关设施的空间位置，并在需要时与远端工程师协作。
对于电力设备、通信线路和工业管网，类似技术也可以用于施工核验、设备巡检和远程指导。
但这些应用通常对基础地理数据和定位精度要求较高。AR 标注属于辅助信息，重要施工决策仍需要符合行业规范的现场验证。
3. 医疗设备维护与技术支持
医院使用的影像设备、检测仪器和其他专业医疗设备，通常需要制造商或专业工程师提供技术支持。
远程协作可以帮助设备厂商查看故障位置，指导现场人员进行允许范围内的检查，并共享操作文档。
此类系统需要特别重视设备权限、医疗环境信息保护和维修操作规范，不能让远程标注替代必要的专业安全流程。
4. 智能眼镜与第一视角远程协作
与手持手机相比，AR 眼镜适合需要双手操作的工作场景。
佩戴者可以通过第一视角摄像头共享正在操作的设备，使用语音与远端专家沟通，并在视野中查看相关提示。
但眼镜终端的处理器性能、摄像头能力、散热和电池容量通常受到更严格的限制。
开发时需要在 AR 渲染、视频编码、网络传输和续航之间分配资源。对于长时间运行的远程协助应用，功耗与发热可能比短时 Demo 更难处理。
5. 远程培训与操作指导
AR 远程协作也适合需要示范操作步骤的培训任务。
远端培训人员可以结合视频和空间标注，指导学员识别工具、零件和操作位置。
如果将培训过程中的关键操作与设备模型关联，还可以进一步开发交互式操作指南。
不过，现场实时协作与预先制作的 AR 操作教程属于不同的产品能力，需要分别考虑内容制作、空间定位和数据同步。
六. 声网如何支持 AR 远程协作？
ARUtility 的案例提供了一个已经公开验证的技术组合：使用 Unity 开发 AR 应用，通过集成声网的服务 实现实时音视频与消息交互。
对于希望搭建类似产品的开发团队，可以将系统分为 RTC 通信层、实时消息层、AR 空间处理层和企业业务层。
1. RTC SDK：连接现场人员与远端专家
声网 Unity RTC SDK 支持在 Unity 应用中集成实时音视频通信。
现场人员可以使用手机、平板或适配终端采集摄像头和麦克风数据，通过 RTC 将画面与声音传递给远端专家。
远端专家也可以通过实时语音指导操作，并根据业务需要加入视频或多人协作。
声网官方的 Unity 快速入门文档提供了 SDK 集成、频道连接、远端视频显示等开发流程。
如果产品需要传输已经合成的 AR 画面，还需要结合相应平台的视频采集与自定义视频源能力评估具体实现方式。
2. RTM：传递标注、操作指令与协作状态
AR 标注通常需要传输位置、文字、颜色、对象 ID、创建者和版本等结构化信息。
开发者可以通过声网 RTM设计标注数据的收发与状态同步机制。
对于需要与音视频同步的数据，声网融合版 RTC + RTM SDK 还提供共频道传输和消息与媒体同步相关能力。
开发者可以在适用的 Stream Channel 中配置 syncWithMedia，将相关消息与订阅的音视频进行同步处理。
不过，启用媒体同步会引入一定的消息等待时间。不是所有 AR 协作数据都适合开启这一机制。
例如，依赖具体视频帧进行空间定位的标注输入，可以评估同步传输；权限撤销、操作状态和普通聊天消息，则可以根据各自的实时性要求分别设计。
3. Unity、ARKit、ARCore：负责空间理解与 AR 渲染
声网 RTC 和 RTM 负责实时通信，AR 空间定位和渲染仍需要 Unity、AR Foundation、ARKit、ARCore 或其他适用的 AR 技术实现。
这些工具负责处理摄像头位姿、空间跟踪、平面检测、锚点管理及虚拟物体渲染等任务。
在构建多人 AR 协作时，开发者还需要建立空间坐标共享或映射机制，确保不同参与者看到的标记对应同一现实位置。
不能仅通过实时消息发送三维坐标，就认为已经完成了跨设备空间定位。
4. 企业业务系统：管理设备、权限与协作记录
工业级 AR 远程协作通常需要与设备管理、工单、知识库及人员权限系统连接。
例如，远程维修任务可以从企业工单系统发起。现场人员扫描设备二维码后，系统加载相应设备档案，再邀请有权限的技术专家加入协作会话。
通话结束后，应用可以保存相关截图、标注和任务处理结果，并关联到原始工单。
这部分业务能力需要开发者自行建设或对接现有平台，不能视为 RTC SDK 自带功能。
七. AR 远程协作系统真正需要保证什么？
ARUtility 展示了实时音视频与空间数据结合后的一种实际应用方式。施工人员通过 AR 查看地下管线信息，需要专家协助时，再通过视频、语音和标注共同判断现场情况。
这套系统的技术价值可以拆分为三个层次：实时通信让远端人员获得现场信息，AR 空间定位让指导内容对应现实设备，业务系统负责将协作结果纳入施工、维修或管理流程。
对于开发者，最需要优先验证的是视频延迟、标注准确性和多人状态同步。尤其是在摄像头持续移动或网络不稳定的情况下，错误的空间标注可能比没有标注更容易造成误判。
声网 RTC 和 RTM 可以承担实时音视频与消息传输部分；Unity、ARKit、ARCore 等技术负责空间感知和标注渲染；设备管理与维修业务则由应用层完成。
将这几个部分的职责和数据接口设计清楚，才能让 AR 远程协作真正服务于工业维修、现场施工和远程技术支持。
