视频采集推流直播工作原理流程图
2021-09-18 16:13:09 0 举报
简要说明网络视频推流播放（直播、视频会议）的流程及技术
作者其他创作
大纲/内容
分发
用户1
用户3
冗余类型
处理方法
空间冗余
同一帧内压缩同区域内相近或相同的像素
时间冗余
规律动画下跟据前一帧及变化量推测后一帧的时间冗余
视觉冗余
排除掉人类视觉不敏感的地方
编码冗余
编码方式不同导致压缩的图像二进制长度跟实际有差异产生的冗余
视频格式：YUV音频格式：PCM
RTMP/webRTC/私有协议
美颜/滤镜/锐化/换脸等图像处理
视频编码：h.264/h.265/vp8/9音频编码：aac/mp3
封装
将音视频封装，打上元数据、时间戳
流媒体接收
注：目前最主流是h.264 + aac的编码方案
采集
压缩冗余信息，压缩编码（GOP）
rtmp/http-flv/hls
处理
用户2
网络视频推流
推流协议
优缺点
基于TCP的RTMP
优点：成本低，支持CDN，适合直播缺点：对弱网环境不友好
基于UDP的webRTC
优点：基于UDP能对弱网情况做丢包策略缺点：CDN支持不良，适合视频会议
基于UDP的私有协议
优点：适合大公司根据业务自行定制缺点：CDN支持不良，技术要求高
说明
RTMP/http-flv
均为flv格式，延迟2~4秒，都不支持web播放；RTMP存储在服务端，fttp-flv存储在客户端
hls
支持h5播放，延迟4~10s，格式是ts + m3u8视频被切割成n个.ts文件，通过m3u8文件的索引去播放，段数越多延迟越高，实时性相对较差
编码
推流
收藏
0 条评论
回复 删除
下一页
