当前，人工智能技术已经在人脸识别、语音处理、自然语言处理等领域取得了巨大突破，而如何将这些技术最快地应用于哪些行业和业务场景以及朝着哪些方向重点发展，则是行业共同关心的问题。
10月12日，以“智启非凡”为主题的2021中国人工智能大会（CCAI 2021）在成都正式开幕，作为我国人工智能领域的顶级盛会，本次大会设置了8场主题报告、1场院士尖峰对话、9大专题论坛以及6个同期活动面，由23位中外院士领衔、近百位学术技术精英齐聚一堂，通过一系列主题报告和专题论坛深刻呈现人工智能学术前沿、技术动态、产业趋势，反映了产学研各界对产业数智化发展的前沿探索和前瞻思考，引领智能科技在进步中与多领域融合发展，激发传统行业变革活力。在本次CCAI2021中，腾讯优图实验室研究总监汪铖杰受邀出席了智能创意与视觉知识表达专题论坛并发表了以《视觉内容编辑生成技术研究与应用》为主题的演讲，向与会者分享了优图实验室在视觉内容编辑生成技术领域的研究成果与应用实例，为学术研究和技术创新提供了方向创新。
优图实验室研究总监汪铖杰
01 以GAN和3D技术为主研方向 用AI生成更新更好的内容
在智能手机的普及和人们时间碎片化的态势下，以在线音乐、短视频、直播、资讯等为代表的内容逐渐成为用户的主要消费对象。随着用户精神消费品质的不断升级和兴趣面的不断扩展，用户对于内容的生产效率和品质的要求也在不断提高。而AI技术的发展和完善，能够帮助内容生产者在提高内容生产效率的基础上，丰富内容生产的多种类并提供更加动态且可交互的内容，以满足日益增长的内容需求。
1.通过研究生成式对抗网络（GAN）和GAN内部涉及的FCN结构，通过深度图像压缩技术生成不同程度、不同分辨率的图像，以保障图像在高清影视制作场景下的清晰度；
02 深度学习提升3D人像重建效果 技术应用场景越来越广阔
通过融入深度学习和自监督学习机制，不需要再用复杂设备现场采集大量数据，而是通过输入多张人像图片就能够相对轻松地完成对于人像面部的3D建模。
同时，在进行特征融合时，优图实验室的3D重建技术可以接受任意一张图片输入，通过多人脸约束让重建精度变得更高。
以这种方式生成的3D人像的ID丰富度会大幅度提升，因为在生成的过程中会将人像的几何信息和纹理信息一并重建，实现人面部皱纹级的细节还原，最终让人像能够覆盖各个年龄段和各种长相特征。
目前这项3D重建技术已经能够广泛应用在超写实类游戏角色的塑造和低成本3D数字人制作的领域之中。在实际应用场景中，3D重建技术可以通过多视角信息融合功能，仅凭几张照片就可以实现超写实型的角色塑造。
在为游戏《天涯明月刀》进行角色建模时，为了让最终人像符合原作画风，优图实验室在3D重建的人像上基于用户人脸的特征分布以及游戏里面特征分布的差异做细微调整，并基于定位以及细粒度属性的识别结果，对角色进行精细化修正，最终输出人们在游戏中看到的栩栩如生的角色建模。
03 深入研究提升GAN训练模式优化效果 让经典影视作品达到4K标准
近年来,随着文化产业政策的利好推动和居民消费水平的提高,我国影视行业发展较快，催生了海量影视作品图像画质优化的需求：除电影胶片修复外，很多存量经典MV和影视作品也需要去刮痕、去噪，并转换成符合现在用户观影需求的4K品质。
为满足影视行业中广泛存在的AIGC需求，优图实验室在2020年就推出了ReaISR技术。通过构建很多跟现实情况非常接近的低质和高质的图像，再借助pixel-wise loss、discriminative loss生成GAN训练模式，以保障修复后的效果。
但是在这种情况下，画面修复会出现矫枉过正的情况，出现很多高频的artifacts。为解决此类问题，优图实验室以ReaISR技术为基础，通过增加频率密度约束来抑制高频的artifacts，并根据图像状态设计画质评估模块，从而实现模块动态的调整域值的权重，在保证图像真实度的前提下大幅度提升图像优化效果。
在与上海电影学院和上海电影技术厂的合作中，优图实验室的ReaISR技术已经帮助其将胶片电影修复至2K甚至是4K的标准。此外，优图实验室还与一些国外影视制作公司合作，为其提供画质转换、去刮痕、去噪等服务。
除人工辅助外，腾讯云公有云图像超分API和腾讯云媒体AI中台画质优化功能模块中也集成了ReaISR技术，能够帮助用户用较低的成本实现数字内容的高清化。
04 优化技术框架让AI实现“批量换脸“ 在文化传播领域得到广泛应用
如今AI换脸对大众来说已经并不是一项新鲜的技术了，但是现有的人脸合成框架只能支持两个ID间的更换，即只支持A至B间的换脸，如果想将A换成C或是D的脸，则需要重新构建框架。
通过将Src图像ID特征融合到合成框架中，优图实验室可以让框架支持任意ID换脸，提升了AIGC的生产效率。同时，框架还引入Weak Feature Matching Loss高层语义特征匹配、3D人脸信息、图像超分模块等功能，在保障模板人脸中表情、光照的属性特点都迁移到结果上的同时，大幅提升了最终生成人像的真实度和清晰度。
在文化运营、推广活动和影视内容制作领域中， AI换脸技术的应用场景十分广泛。比如，可以将用户的脸与游戏人物融合，以提升用户和游戏的互动性，或者在拍摄需要让同一人物所饰演的不同角色同框出镜的镜头时，使用 AI换脸技术将两个角色都换成同一张脸来减少拍摄成本等。此外，在弘扬当地少数民族文化时，也可以使用这项技术，以各式各样的民族服饰作为背景，引导用户上传照片来生成自己民族服饰艺术照，提高当地少数民族文化的知名度，助力民族文化传承。
而在其他领域中， AIGC技术也得到了广泛应用。比如腾讯会议中能够保护用户隐私的虚拟背景、虚拟光线等功能；通过3D重建技术实现手Q、微视和腾讯会议中的“人物图像全年龄演化”功能；此外，优图实验室正在尝试将这些技术应用到虚拟美妆领域中，通过算法让用户能够在照片上模拟化妆效果。
作为腾讯旗下顶级的人工智能实验室，优图实验室已拥有超过1000件全球 AI专利，300余篇论文被 AAAI、 ICCV等国际顶级 AI会议收录。未来，优图实验室将继续专注人工智能技术发展。通过推进 AI基础设施研发的形式为产业数字化转型提供助力，促进数字经济加速发展。
相关文章
