打造虚实融合的数字人,数字栩生翁冬冬开讲《浪潮元脑精品公开课》

作者/数字栩生 2022-12-29

微信图片_20230119065052.jpg

随着虚拟数字人的不断出圈,人们对于更加智能化的人机交互有了更多想象和需求。从单纯的文字到语音,再到触觉、视觉和听觉的融合,人的天性倾向于多种感官的交互过程。而高逼真虚拟人,可以实现在不同场景下的实时交互和情感交互,恰好满足这一需求。

近日,数字栩生创始人兼CTO翁冬冬受邀开讲“浪潮元脑精品公开课”,带来《以高逼真虚拟人为基础的虚实融合智能交互》为主题的分享,探讨高逼真数字人如何创建以及虚实融合环境下数字人与人的智能交互技术。“浪潮元脑精品公开课”汇聚业内权威专家,利用互联网技术与信息化课程相融合的形式,致力于打造AI产业内最丰富的人工智能系列课程。

为应对产业AI化挑战、加速产业AI化发展进程,浪潮信息提出了“元脑生态计划”。此前,数字栩生与浪潮信息签署了元脑战略合作协议,正式加入元脑生态。为了更好地赋能行业发展,在元脑生态计划加速推进之际,浪潮信息开设了元脑精品公开课AI专场。

微信图片_20230119065057.png

01 从静态到动态,详解高逼真数字人核心技术

数字栩生是一家掌握“光场重建”技术和“数字小脑”技术的数字人垂直领域硬核科技公司,为用户提供最优质的数字人创建,并针对行业配套数字人应用解决方案。数字栩生数字人采用三维引擎支持的实时化渲染技术,可实现超逼真的外貌表现,并可无缝的与现有智能系统连接。

如何让数字人更像“人”?翁冬冬以数字栩生和字节打造的数字人李星澜为例展开自己的思考,他认为数字人是通过先进计算机图形学技术对真实人物的外貌、肤质、表情、服装进行准确还原的新型数字资产,其打造主要包括静态、动态的外貌重建和语音交互、非语音交互、自主意愿等行为再现,也就是让数字人“外貌”和“灵魂”都更像人。

微信图片_20230119065102.png

在静态构建的面部重塑中,数字栩生以三维光场重建+智能结耦技术,对真实演员进行完整的复刻,实现由依赖艺术家到工程师主导的进化。为此,数字栩生自主研发了人脸光照数据采集系统LightBall,该系统搭建了156组可编程LED灯源,对用户多种表情进行采集,得到不同光照,不同视角,不同偏振状态的图像数据,构建个人完整的形象数据集。

而针对动态的面部重塑,在光场采集系统之上,数字栩生单独开发了一套针对连续表情搭建的基于高速相机阵列的面部4D动作捕捉系统,实现密集点云的采集。基于实时引擎的渲染,数字栩生通过开发融合光流与深度学习网络的标记点跟踪算法,大幅提升跟踪稳定性,通过对细节的慎重把控,实现惟妙惟肖的表情变化。

实际上,数字人在制作流程中更加针对性的算法有助于提升工作效率和效果。依托北理工、中科院自动化所、中央戏剧学院高精尖中心等科研机构,数字栩生集合光学、图形学与计算机科学等各领域人才,独家引入“AI小脑”理念,为现有AI大脑平台与数字人的驱动间搭建“桥梁”,全维度丰富数字人的信息灵敏度与范围,攻克数字人感情表达难题。

课上,翁冬冬展示了数字人“千言”,该虚拟人是数字栩生、长沙千博信息技术有限公司与马栏山计算媒体研究院共同开发的手语数字人项目,通过汉语到手语、手语到汉语的双向翻译计算流程,可实现电视转播手语的自动生成,帮助听障人群双向信息无障碍交流。

微信图片_20230119065120.png

02 聚焦人机革命,探讨虚实融合新场景

“数字人作为一种UI的升级,在下一代互联网的发展中具有重要作用”,翁冬冬认为,随着信息量的爆发和信息系统的越发复杂,人机交互必将迎来新的革命。按照用户的接入方式来看,新一代接入设备将把人们从二维的移动互联网带入三维的沉浸式互联网时代,而随着技术的持续发展,数字人能够落地的场景将越来越多,对人类生活的影响也将越来越深刻。

基于此,虚拟现实和混合现实会成为未来数字人的主要交互场景。课程上,翁冬冬介绍了基于实体交互的关联零件组装实验和基于模块化被动实物的混合现实宠物系统等前沿实验研究成果。

关联零件组装实验是一个很早期的应用,搭建了基于被动触觉的虚拟装配培训系统,提供了一种更高沉浸感的可触摸虚拟现实,提出了一种新型的基于深度相机手势与实体交互对象相结合的交互方式,实现了头、手、多实体、世界坐标系统之间的标定与注册,比如室外大范围混合现实漫游系统可以使用头戴式显示器来跟踪用户的姿势,允许用户在超过2000平方米的户外混合现实环境中进行广泛的运动。

微信图片_20230119065123.png

03 同步现实,真正打破真实与虚拟壁垒

除了简单的将真实场景映射到虚拟环境,在同步现实中,用户要生活在一个更加虚实融合的环境。而实体交互对象变化丰富,实体本身也可以由多个模组进行任意组合。在从实到虚的过程中涉及到多源感知的环境同步,从虚到实的过程中真实环境又变得可控编程。

MMRPet是一套虚拟陪伴的系统,支持用户和一个真实的玩具布偶在虚拟环境的互动。基于模块化被动实物的混合现实宠物系统,除了将虚拟宠物叠加在宠物实体之上,还能将宠物实体提供的实体交互与虚拟宠物提供的个性化外观和丰富表现力,MMRPet的关键在于宠物实体上采用的模块化设计。基于三维物体无标跟踪技术,通过让用户佩戴透射式头戴显示器,可以将三维虚拟人物的头部贴叠加在机器人的头部,实现了虚实融合的人脸显示技术。

微信图片_20230119065128.png

借助增强现实技术和虚拟现实的融合,数字人能够引入到真实的环境中,变得真实可交互且能感知。未来,数字人和机器人可以进行融合,让数字人成为“数字-实体融合人”,从而让数字人拥有真实可交互的身体。“未来,数字人不仅出现在屏幕里,更应该出现在真实的环境。”翁冬冬认为,未来,数字人、机器人的情感属性和功能属性会更加丰富,而人机交互界面会转向更加亲和于人的方式,即转向虚拟数字人和真人的实时智能互动。

点击链接查看正文底部小程序,查看公开课回放

相关阅读
>