12 月 19 日,声网 RTC Native SDK 的 4.1.0 版本正式上线官网。开发者们可以在 官网->开发者->SDK 下载 中获取新版 SDK。该版本现已全面支持 4K 60fps 超高清分辨率。同时,4.1.0 版针对多种场景下的屏幕共享体验,进行了大幅优化,并新增多项与之相关的新功能。另外,新版本还增加二级均衡器、AI AEC、多路径接入等功能。
体验提升
视频支持 4K 60fps 超高清分辨率
随着用户对于视频体验要求的不断提升,更多用户会开始期望看到更高清的视频画面。4.1.0 版声网 RTC Native SDK 现已全面支持 4K 分辨率,并优化了 FEC 算法,可根据视频帧包数与帧率进行自适应分辨率切换,在保证提供高质量的互动体验体验同时,提供适合用户当前网络、设备情况的高清甚至超高清画质。
屏幕共享体验大幅升级
4.1.0 版声网 RTC Native SDK 围绕屏幕共享体验进行的多项升级。目前声网 SDK 的屏幕共享功能相对于其他同类产品,画质更优,声网屏幕共享延时,在各类弱网 Case 下体验更好。
首先,该版本的屏幕共享支持全屏共享、多屏共享、应用窗口共享,以及指定区域共享。其中支持窗口共享的应用包括:WPS Office、Microsoft Office PowerPoint、Visual Studio 、 Photoshop、Windows Media Player、Scratch 等。而且支持了更多的系统与设备,包括:Window 8 系统、无独立显卡的设备、双显卡设备、外接屏幕设备。
该版本的屏幕共享还增加多项新功能:
- 勾边
- 支持多屏幕采集
- 去遮挡窗口
- 窗口最小化、从最小化恢复时回调
- 获取屏幕、窗口缩略图
- 获取共享程序图标、屏幕名称、窗口标题、窗口所属进程路径
虚拟背景效果升级
在新版本中,我们升级了虚拟背景的自研算法。在人物静止的情况下,人物画面边缘平滑不闪烁;在人物有动作时,新算法也可保证虚拟背景的画面稳定,不会漏出真实背景。声网的虚拟背景适用于多种场景,包括白天、夜间的办公室,以及室外环境。而且,针对多种姿态、人物状态进行了调优,例如半身人像静止状态,也能辨别手指,还有手部摆动、身体晃动等。

新一代音频技术智能引擎上线
声网新一代音频技术智能引擎“声网凤鸣 AI 引擎”,现已上线 4.1.0 版声网 RTC Native SDK。该引擎包含了AI 降噪、AI 回声消除、空间音频等核心组件,全方位提升音频互动体验。
值得一提的是,该版本基于 AI 方法重构了 AEC 算法,相比传统 AEC 算法,新的算法可以在较恶劣的回信比 (echo-to-signal) 条件下保存完整、清晰、流畅的近端人声,显著提高系统的回声消除和双讲性能,能为会议、语聊、K 歌等场景下的用户提供更舒适的通话和直播体验。
新增耳机均衡器
声网率先将空间音频应用到了实时互动领域。空间音频的体验不仅与接口参数相关,也与用户的设备相关。由于有不少用户会选择使用头戴式耳机,而这类耳机发声单元有独有的 EQ 策略,这种策略会修改声网空间音频原始的 EQ,进而影响最终体验效果。为了保证用户体验,我们在 4.1.0 版本中新增了setHeadphoneEQParameters 方法,用于调节耳机均衡器的低频和高频参数,主要应用于空间音效场景。该方法可抵消头戴式耳机 EQ 策略带来的影响,增强空间音频的体验。详细参数说明可在声网文档中心搜索该方法获取。
多链路传输 MPUDP
大多数的移动设备都支持在连接 Wi-Fi 的同时,利用移动网络来改善通信质量,比如应急指挥、在线教育、户外直播等。这就是多链路传输能力。通常来讲,如果你希望自己的 App 可以使用该能力来改善用户的通话体验或 App 使用体验,一方面需要用户的系统支持该能力,另一方面需要 App 支持该传输策略。
4.1.0 版声网 RTC Native SDK 基于自研的 AUT 传输协议,为开发者提供多链路传输能力。也就是说,基于声网 SDK 开发的 App 可以通讯时利用 Wi-Fi 和 4G/5G 为用户提供更稳定的互动体验。我们也为开发者提供了两种传输策略:
1.动态切换:根据弱网策略,自动在 Wi-Fi 或 4G/5G 链路上选择更优线路进行切换,带宽消耗和单一链路传输(即仅适用 Wi-Fi 或 4G/5G)一样。
2.冗余传输:采用多个网络链路同时传输,即 Wi-Fi 和 4G/5G 同时进行传输,带宽消耗是单一链路传输的两倍。
性能与指标提升
相较上一个版本,4.1.0 版的延时得到了大幅的优化。弱网场景下的延时降低了 100ms。视频的丢包边界从之前的 70%,提升至了 80%,可以在弱网情况下,提供更稳定的视频互动体验。同时,首帧出图时间全面低于 300ms,在推荐配置下,可达到150ms,大幅提升了直播、视频会议等场景的用户体验。