h.264又out了,英伟达老黄用神经网络代替传统的h.264视频编解码器 - petapixel

20-10-08 banq

NVIDIA Research发明了一种使用AI的方法,可以显着减少视频通话带宽,同时提高质量。研究人员已经取得了令人瞩目的成果:通过用神经网络代替传统的h.264视频编解码器,他们设法将视频通话所需的带宽减少了一个数量级。在一个示例中,所需的数据速率从97.28 KB /帧下降到仅0.1165 KB /帧-降至所需带宽的0.1%。

AI辅助视频会议的机制非常简单。该技术通过用神经数据代替传统的完整视频帧而起作用。通常,视频通话通过向接收者发送h.264编码的帧来工作,而这些帧的数据量非常大。在AI辅助的视频通话中,首先,发送方发送呼叫方的参考图像。然后,它不发送像素打包的图像流,而是在图像上围绕眼睛,鼻子和嘴巴发送特定的参考点。

然后,接收方的生成对抗网络(或GAN,一种神经网络)将参考图像与关键点结合使用,以重建后续图像。由于关键点比全像素图像小得多,因此发送的数据少得多,因此Internet连接速度可能会慢很多,但仍可以提供清晰而实用的视频聊天功能。

在研究人员的最初示例中,他们表明,使用传统方法和新神经网络方法,快速的Internet连接都可以产生几乎相同的流质量。但是,最令人印象深刻的是他们的后续示例,其中使用传统方法的互联网速度显示出质量显着下降,而神经网络能够产生极其清晰且无伪影的视频源。

即使受试者戴着口罩,眼镜,耳机或帽子,神经网络也可以工作。

使用这种神经网络将对现代劳动力产生巨大的影响,这些劳动力不仅将缓解网络压力,而且还为用户提供远程工作时的更多自由。但是,由于这项技术的工作方式,几乎肯定会对其如何部署产生疑问,并导致“深层伪造”的问题变得更加可信和难以发现。

    

猜你喜欢