您的位置: 主页 > 视频会议不用再刻意梳妆打扮 , NVIDIA 藉 AI 技术把体面的照片跟邋遢的自己进行即时影像合成

视频会议不用再刻意梳妆打扮 , NVIDIA 藉 AI 技术把体面的照片跟邋遢的自己进行即时影像合成

在目前由于全球疫情使得在居家办公时通过视频会议需求提高,不过有时会议来的突然,或是时间过早过晚想穿得比较轻松一点,但又不得不由于正式的会议而需要梳妆打扮,像是先前也曾出现上半身穿西装、下半身穿短裤拖鞋却不小心曝光的逗趣短片;而 NVIDIA 研究人员进日在 CVPR 2021 大会展示他们通过 AI 对抗生成网络的研究成果,打造一套名为 NVIDIA Maxine 的云端 AI 视频串流 SDK ,其中一项应用 Vid2Vid Cameo 即可将一张平面的照片或是卡通图片与当前视频镜头的影像进行立体合成,纵使是穿着睡衣一头乱发,对方看到的也会是西装笔挺的你。

▲ Vid2Vid Cameo 可将倾斜的视角进行重新定向,宛如面对摄影机进行视频

▲ Vid2Vid Cameo 亦可将卡通形象与真人进行即时合成

▲由于技术原理不须发送完整的连续影像,能省下近 10 倍频宽

Vid2Vid Cameo 利用对抗 AI 的生成网络技术,在 NVIDIA DGX 系统使用达 18 万个高品质对话头像进行训练, AI 将识别影像当中包括眼睛、嘴巴与鼻子等 20 个关键点,不须人类手动进行标注,即可针对脸部动作建构模型,可将一张平面静态照片与自视频相机采集的影像进行 3D 合成,意味着只要上传一张真实的照片或是动画人物, Vid2Vid Cameo 即可进行进行动态合成;除此之外,一般人使用视频相机时不一定会正对镜头,对方看到的影像就会是歪一侧,而 Vid2Vid Cameo 还能够将人物影像进行重新定向,使对方看起来像是正对镜头与之进行会议。

同时在 AI 的执行方式仅需进行压缩与来回发送头部位置与关键点,不须发送完整视频串流内容,使用 Vid2Vid Cameo 还能将视频会议影像频宽节省约十倍,降低影像抖动与延迟,使低频宽下也有流畅的视频会议体验; NVIDIA 将在近日把 Vid2Vid Cameo 导入 NVIDIA Video Codec SDK ,作为 AI Face Codec 的一环。

值得一提的是, Vid2Vid Cameo 的论文作者当中,包括 Arun Mallya 和两位来自台湾的研究人员,分别为 Ting-Chun Wang 与 Ming-Yu Liu ; NVIDIA 也请到 Netflex 影集为教授进行英语佩瑛的演员 Edam Mose 与三位论文作者拍摄一段介绍短片。

上一篇:微软 Windows 11 高度「致敬」苹果操作系统?应说更靠拢行动使用体验
下一篇:微软 Windows 11 支持直接执行 Android App 但仍有许多未知限制

您可能喜欢

回到顶部