实时音视频RTC

声网是全球实时互动云服务开创者和引领者，开发者只需简单调用声网API，即可在应用内构建多种实时音视频互动场景。

超低延时 | 超分辨率 | 抗弱网 | 全球服务高可用

什么是实时音视频

实时音视频，即RTC（Real-Time Communication），是一种实时通信技术，它允许计算机、网络设备或移动设备之间进行音频、视频或数据交换。RTC的核心是交流，强调对语义信息进行高质量和高效率的传递。借助RTC，用户可以进行基本的音视频通话，实现线上交流的目的。

相比泛指的通信，RTC 更加聚焦实时性，可以在极短的时间内传输音频、视频、数据等信息，从而实现实时交流和互动。

接入的实时性

用户接入的高登录成功率，保证用户不受连接设备、网络情况、地域环境等因素限制，随时随地接入网络、触达业务。

传输的实时性

音视频数据传输的低延时和低卡顿，通过网络实时动态路由规划，以最优边缘节点接入，降低端到端的延时，保证传输流畅进行。

交互的实时性

除基础音视频外，图像、声音、音效等多种交互方式反馈的实时性，需要AI算法、边缘计算等技术综合处理。

渲染的实时性

最终画面 (尤其是3D画面)、多维场景展示的实时性，需要大量的场景计算能力，使用户获得逼真流畅感受。

实时音视频技术的演变与发展

实时音视频技术发展历程可以概括为 1999年GIPS、2011年WebRTC、2014年 RTC PaaS化、2020年 RTE实时互动融合能力四个阶段

RTC PaaS化促使实时音视频走向繁荣

构建一个基于WebRTC的应用非常复杂，且需要处理不同平台的兼容性等问题，因此RTC PaaS化应运而生。RTC PaaS化是将实时通信技术作为一种服务提供给开发者，开发者无需关心底层音视频技术细节，只需要调用API接口即可在应用中实现实时音视频互动功能，极大地降低了开发门槛和成本。RTC PaaS化的典型代表就是声网，它是第一个将实时音视频作为PaaS服务提供给开发者和企业客户使用的服务商，也是目前全球最大的RTC PaaS化服务商之一。

RTE实时互动融合能力

RTC PaaS化虽极大简化了开发难度和成本，但随着实时音视频技术的普及和应用的多样化，开发者对于实时音视频技术的需求也越来越高，不再满足于简单的音视频通话功能，而是希望能够提供更加丰富和个性化的实时互动体验，例如美颜滤镜、变声变调等。2020年声网提出了RTE（实时互动）的全新概念，它是在RTC PaaS化的基础上进一步提供更丰富和灵活的实时互动能力。开发者可以根据不同的场景需求，灵活选择和组合各种实时互动能力，打造更加个性化和差异化的实时互动体验。

实时音视频技术原理

实时音视频技术的工作流程相当复杂，想要实现一段完整的音视频通话，在技术架构中需要包含采集、前处现音视频编码、传输、音视频解码、后处理、渲染等很多环节。每一个环节，还有更细分的技术模块，例如，前后处理环节有噪声抑制、回声消除、美颜、锐化、超分等，传输有后台传输、客户端传输等等。通过不同的技术组件实现音视频的实时传输和处理，形成一个完整的通话流程。

1 音视频采集

音视频采集是指从设备（如麦克风、摄像头）中获取音频和视频数据。在移动设备上，可以通过调用操作系统提供的API（如Android的MediaRecorder和Camera）来实现媒体采集。

● 音频采集
在实时音视频通话中，首个环节就是音频的采集。音频采集是指将声音信号转换成数字信号的过程，使其能够在计算机和网络上传输和处理。
● 视频采集
视频采集使用专用设备或软件，通过摄像头或摄像机将现实世界中的视频信号转换为数字信号。

2 音视频前处理

在音视频采集后，需要对采集的音视频进行处理，例如音频部分需要进行降噪和回声消除处理，以提高音频的质量。降噪技术可以去除噪声，使语音更清晰。回声消除技术可以消除因扬声器和麦克风之间的信号反馈而产生的回声。视频部分需要进行美颜、滤镜、视频去噪等等。

在前处理环节，涉及噪声抑制、回声消除、增益控制、美声、美颜、视频去噪、人像分割等技术。

3 音视频编码

音视频编码是将原始音频和视频信号转换为一系列数字编码的过程。整个编码的过程需要在实时性要求下完成，以保证低延迟和良好的用户体验。不同的音视频编码标准和算法可以根据需求进行选择和优化，以平衡编码的效率和质量。

● 音频编码
音频通过麦克风采集、预处理、采样量化后，用编码器压缩并打包，以便传输和解码。
● 视频编码
通过摄像头采集、预处理、分帧后，用编码器压缩打包成合适格式，与音频数据一起传输和解码。

4 音视频传输

经过编码压缩后的音视频数据需要进一步传输到接收端，再进行解码处理，这其中在传输阶段分为后台传输与客户端传输两个传输阶段。

● 后台服务器传输
音视频数据在云端或服务器之间进行传输，而客户端传输则是指音视频数据在用户设备和服务端之间进行传输。
● 客户端传输
在客户端传输中，发送端的音视频数据通过流媒体协议发送给接收端，常用的协议比如RTMP，RTSP，RTP等。

5 音视频解码

音视频解码是将接收到的编码音频和视频数据转换回原始的可播放音频和视频信号的过程。这一过程需要高效的算法和硬件支持，以保证解码的及时性和质量，确保用户体验的流畅性和清晰度。

● 音频解码
接收并解包音频数据包，提取编码后的音频数据，使用解码器将其还原为数字音频信号。经过后处理如增益调节、去噪，音频信号输出到扬声器播放。
● 视频解码
接收和解包视频数据包，使用解码器将其还原为数字视频信号，并进行色彩校正和去噪处理，最后输出到显示设备。

6 音视频后处理

实时音视频的后处理是指在实时音视频流传输过程中对音频和视频数据进行处理、修正和优化的过程。音频部分常见的后处理技术有空间音频；视频部分常见的后处理技术包括视频锐化、超分算法。

● 音频后处理
进行噪声抑制、回声消除和自动增益控制，保持音量稳定。通过空间音频处理增强沉浸感，并进行音质优化，使声音更清晰自然。
● 视频后处理
进行去噪处理和视频锐化，增强图像边缘和细节。利用超分辨率算法提升分辨率，通过色彩校正确保图像色彩逼真。最后，进行帧率转换，平滑视频播放，减少卡顿和抖动。