实时互动系列标准及工具扩展
实时互动音视频通用标准:形成通用实时音视频通信能力和用户体验测评框架、覆盖音视频体验、主客观测评、网络适应能力、结合实际应用,建立多重网络模拟场景贴合用户体验,覆盖端到端体验的评价,引入声网自研语音、视频质量算法。

软件应用视频体验
适用于利用声网SDK开发并通过声网视频认证标准要求的软件应用程序
规定了实时互动软件应用程序的技术要求和测试方法,以评估实时互动软件对视频体验的影响,并帮助开发者全面深入地了解应用程序的视频性能,特别是实时互动中视频信号的处理能力。

软件应用音频体验
适用于通过声网软件应用音频体验标准的软件应用程序,通过电接口进行测试并获得测试结果。
规定了内置声网SDK的应用程序音频体验质量的测试方法和技术要求,帮助开发者全面深入地了解应用程序的音频性能,特别是实时音频通信的音频信号处理发能力。

视频终端硬件性能
适用于符合声网视频认证标准要求以及申请声网认证的硬件设备。
规定了内置声网SDK的应用程序的硬件设备在各种不同互动场景下视频体验的技术要求和测试方法,使制造商和算法提供商能够实现高性能的端到端视频质量。

音频终端硬件性能
适用于符合声网音频认证标准要求以及申请声网认证的硬件终端设备,可用于内置声网SDK的成品软件性能评估验证,需要在不同典型设备和常用的操作系统下进行验证。
规定了内置声网SDK的应用程序的硬件终端设备在各种不同互动场景下声学音频性能的技术要求和测试方法。
通用标准体系的特点和适用范围

场景标准
实时互动场景标准聚焦在成熟的视频会议和智能门铃门锁的创新场景上,这两个场景标准也得到了声网生态伙伴金山办公与乐鑫的大力支持

视频会议
关注重点:多人并发、多端接入、屏幕共享、音频抗干扰、超高清视频、低码高清能力
适用性:全场景覆盖的视频会议软硬结合解决方案
场景特殊性:在实时音视频基础音视频体验测试标准基础上,添加了行业重点使用场景下的专项测试项。除了在测试会议软件和硬件之外,后续还会有会议室声学/光学环境的测试标准以及会议方案交付的测试标准供大家参考使用

智能门铃/门锁场景
关注重点:接入成功率、预览成功率、端到端延迟、低功耗唤醒、首帧出图、断网重连
适用性:面向视频门铃门锁的硬件的端到端场景体验
场景特殊性:在实时音视频基础音视频体验测试标准基础上,添加了行业重点使用场景下的专项测试项。如双讲场景下的音频体验,和各种网络条件下可靠性等。
实时互动工具扩展
VQA2.0 基于深度学习的方法,预测人对给定视频的质量评分(MOS,mean opinion score)。VQA属于深度学习回归任务,在模型训练阶段,每条视频的MOS分标定均由25人的opinion产生(ITU标准规定大于15人)。
在模型预测阶段:
详情 | |
输 入 | 视频文件(支持.mp4/.mov/.avi/.yuv等格式) |
输 出 | 质量得分,范围在[1,5]区间内,精确到0.1 |
操作说明 https://agoramedialab.com/videoTools
同时支持:上传单个文件/上传文件夹 两种方式,报告可批量下载
分值解读:
1-5分代表主观体验如下:
分数 | 体验 | 量化 |
5 | Excellent | 体验很好 |
4 | Good | 可感知,但不影响(体验) |
3 | Fair | 轻微的影响 |
2 | Poor | 有影响 |
1 | Bad | 非常影响 |
1)单条视频的主观匹配度
由于视频质量感知存在主观性,作为训练标签的MOS或可与您的个人感知存在一定差异,因此建议将VQA±0.3作为预测区间。如您个人给出的评价不在此区间内,欢迎上报问题。
2)一组视频序列的排序一致性
VQA或许在存在细微差别的相同视频内容序列之间,不能取得和主观评价完全一致的排序。如遇此类场景,欢迎上报问题。
场景限制:
受所收集数据内容的限制,目前VQA支持/不支持的范围如下表所示:
类目 | 区别说明 | 支持 | 暂未支持 |
解码分辨率 | 区别于渲染分辨率(有缩放拉伸),不同的设备/播放窗口大小会造成主观评分的显著差异 | 仅支持评估固定以原始尺寸播放的视频,该解码分辨率由ipad(或与其ppi近似的一类设备)定义 | 暂不支持手机/TV端 暂不支持缩放 |
空间维度 | 主要评估编解码和传输过程带来的损伤。 | 主播场景下的画质清晰度 |
不支持CG内容,例如: 1、会议或教学场景中的PPT内容。 |
时间维度 | / | 建议单个视频时长为4-8s | 如视频过长应采取分段打点。 暂不支持评估时域(卡顿、丢帧等)损伤。 |
声网参与标准:
国标《信息安全技术 网络音视频服务数据安全指南》
团标《移动应用程序(APP)服务感知提升测评规范》
团标《软件开发包(SDK)个人信息处理规范》
团标《电信和互联网个人信息保护能力审计规范》
团标《智能手表用户权益保护测评规范》
团标《智能电视用户权益保护测评规范》
团标《应用分发平台APP审核规范》
团标《移动直播视频体验质量指标与评测方法》