音视频通信完整流程有如下几个环节:采集、编码、前后处理、传输、解码、缓冲、渲染
等。
每一个细分环节,还有更细分的技术模块。比如,前后处理环节有美颜、滤镜、回声消除、噪声抑制等,采集有麦克风阵列等,编解码有H.263,H.264、H.265等。
流媒体协议一般分成:传输控制报文的协议
、传输媒体数据的协议
。
传输控制报文的协议一般用于协商流媒体通信建立的参数等,如:SIP,RTSP等协议。
传输媒体数据报文一般用于传输音视频媒体数据,如:RTP/RTCP/SRTP/SRTCP等协议。
此外,也有部分协议将控制信令和媒体信令放在一个连接里传输的,如:RTMP等协议。