Adaptive Forward Error Correction in Video Streaming

评价指标

像所有算法优化一样，在开始之前，需要进行评价指标的确定。

VMAF

VMAF（视频多方法评估融合） 是根据源视频和传输/转码后视频画面本身对比评估画面质量的工具，比帧率、码率、分辨率这些指标更贴近观看体验。

帧率、码率、分辨率

Frame rate, bit rate, resolution.

视频固有参数

PSNR

Peak signal-to-noise ratio，峰值信噪比。

Average Frame Recovery Rate

平均帧恢复率

在丢包率和丢包分布同样的网络下，这个指标能够直接反映出 FEC 调控和编码算法的性能。

算法思路

查表：静态规则

• WebRTC 中的冗余率表：根据当前时刻的 RTT、丢包、吞吐量等信息结合帧类型（关键帧、非关键帧）给出一个相应的冗余率。
• MaxFilter: Calculates the maximum packet loss rate in the received network reports in a fixed size window and chooses it as the prediction result.
• KalmanFilter: Applies Kalman Filter to the sequence of packet loss rate, considering the difference of importance between packet loss rates in network reports.

基于学习的动态算法

一种实现方式是将过去一段时间的丢包、RTT、吞吐量、反馈时间间隔等信息作为机器学习算法的输入， 其输出为对未来丢包分布趋势的预测。 其所使用的机器学习模型可以是离线训练好的神经网络， 也可以是强化学习模型。

• DeepRS: A recently proposed deep-learning-based prototypical AFEC algorithm. It applies Long-Short Term Memory (LSTM) neural networks to make sequence predictions on packet loss rate.