直播涉及到的知识点
2017-11-22 19:47:07 113 举报AI智能生成
从音视频采集到客户端渲染这一过程中所涉及到的知识点
作者其他创作
大纲/内容
服务端
转码
为适应不同的网络带宽、不同终端处理能力和不同用户需求微直播平台提供很多增值服务
录制、截图
录制用于回放、截图用于封面
鉴黄
基于深度学习的图片识别技术，对直播流晶型控制
播放
拉流
常见的拉流协议
RTMP
HTTP-FLV
HLS
使用场景
RTMP、HTTP-FLV：及时性比较高，有互动需求
HLS：有回放需求、或跨平台需求
解码
编码的逆过程
从音视频数据中提取原始数据
渲染
视频画面的显示
声音的播放
直播开发辅助工具
推流工具
https://obsproject.com/download
播放端
http://www.cutv.com/demo/live_test.swf
转换为 acc 音频
Softe AAC Converter
分析h264格式
H264BSAnalyzer
分析 FLV 文件
flvPaser
播放 YUV 文件
yuvplayer
采集
音频采集
采样率
位宽
声道数
音频帧
视频采集
分辨率
采样频率
采集格式
YUV
传输通道
采集源
摄像头
屏幕录制
文件推流
前处理
视频处理
美颜
美白
识别皮肤，调整色值
磨皮
模糊处理--均值模糊、高斯模糊、中值模糊
滤镜
GPUImage
水印
图像和水印图片的合并
音频处理
混音
音频信号的叠加，采样值溢出处理
降噪
傅里叶变换
特效
音色、音调 SoundTouch
编码
重要性
压缩数据存储空间，减少传输时间
视频
编码的原理
空间沉余
相邻像素之间的相关性
时间沉余
相邻图片之间内容相似
编码沉余
像素值出现概率不同
视觉沉余
视觉对细节不敏感性
常见的图像编码器
H264
主流编码方式
编码知识
NALU--网络提取层单元
SPS--包括了一个图像序列的所有信息
PPS--包括了一个图像所有片的信息
I 帧--帧内编码帧
P 帧--前向预测编码帧
B 帧--双向预测编码帧
GOP--两个I帧之间的图像组
H265
VP8
VP9
音频
常见音频编码器
ACC
PCM
WAV
OGG
常见封装格式
FLV
TS
AVI
推流
RTMP
优点
CDN 支持良好
协议简单易实现
缺点
基于 TCP ，传输成本较高
不支持 浏览器推流
Adobe 私有协议
WebRTC
优点
W3C标准
基于 UDP
缺点
CDN 支持较差
UDP自定义协议
优点
定制化空间大
缺点
开发成本高
CDN 不友好
优化思路
保证音频传输
调整码率、FPS、分辨率
FPS：每秒采集的帧数
减少传输的数据
收藏
收藏
0 条评论
下一页
