数字栩生受邀参加2023全球数字经济大会互联网3.0高峰论坛,CTO翁冬冬发表主题演讲

作者/超级管理员 2023-09-25

7月4日至7日,由北京市人民政府、工业和信息化部、商务部、国家互联网信息办公室、中国科学技术协会共同主办的2023全球数字经济大会在京举行。全球数字经济大会自2021年来已成功举办两届,本届大会以“数据驱动发展、智能引领未来”为主题,旨在激发全球数字技术创新活力,推动产业数字化转型,打造数字经济国际交流合作重要平台。

数字栩生联合创始人兼CTO翁冬冬应邀出席2023全球数字经济大会互联网3.0高峰论坛并发表题为《以高逼真虚拟人为基础的虚实融合智能交互》的主题演讲,向与会者分享了数字栩生如何打造高逼真数字人以及如何利用AI和大模型实现虚实融合环境下数字人与人的智能交互。

同时,在本次大会上,数字栩生联合创始人兼CEO宋震还受邀作为“启元计划”优秀企业代表参加2023全球数字经济大会数字文旅论坛,并作为发布嘉宾,参与了“启元数字文旅全球合作伙伴计划”的发布环节,数字栩生也获得了“启元计划”的优秀企业称号。启元计划核心目的是征集元宇宙领域新产品、新技术、新场景解决方案和示范项目,对接政府的政策开展市场化推广应用,吸引社会投资机构推动形成良好的产业发展生态,助力元宇宙相关产业高质量发展。

1

基于智能感知的人机交互

提高工作效率

在当今虚拟数字人不断涌现的背景下,人们对于更加智能化的人机交互有了更多的向往和需要。从文字到语音,再到触觉、视觉和听觉的融合,人们渴望多种感官的交互方式。而高逼真虚拟人,可以实现在不同场景下的实时交互和情感交互。

作为业界领先的数字人垂直领域硬核科技公司,数字栩生一直专注于打造高逼真、可互动的数字人,并坚信数字人是未来连接人类与数字世界的重要接口。随着技术的不断发展,传统的图形化界面(GUI)成功取代了文字界面,提升了工作效率。如今,人们对于沉浸式环境中基于智能感知的交互方式的需求日益增长,拟人化界面(HUI)逐渐取代了传统的图形化界面,进一步提升了工作效率。

在拟人化界面中,数字人能够智能地理解用户行为,并渐进式地学习用户的偏好。当然,实现拟人化界面的前提需要大量数据和场景来训练模型。就像训练自动驾驶技术一样,真实路况数据难以获取,通常需要利用虚拟引擎(如Unity)构建虚拟场景并生成大量测试数据,然后再通过模型训练实现自动驾驶。同样地,我们可以使用大模型假设各种场景,完全利用模型生成一系列数据,然后通过模型训练来不断优化和更新,使其成为一种动态的交互方式。

未来,当我们佩戴舒适的头戴式设备,沉浸在虚实融合的环境中,系统能够全面感知我们身体的各种动作和表情,准确识别任何手势,并匹配相应的工作或操作,从而自然而然地提高工作效率。

2

高度拟人化的虚拟形象提升用户体验

高逼真、智能化的数字人一方面能够提高工作效率,另一方面也在提高用户体验。虚拟世界的本质是真实感,随着人们审美的提升,传统的2D数字人将逐步淘汰,高逼真的3D数字人才是虚拟世界的主流。

动态表情的呈现是数字人构建真实感的核心问题,而面部表情作为人类主要的信息传递方式,在社交等活动中具有重要意义。为了实现逼真的表情变化,数字栩生专门开发了一套基于高速相机阵列的面部4D动态表情采集系统,该系统基于实时引擎的渲染技术,通过开发融合光流与深度学习网络的标记点跟踪算法,极大地提升了跟踪的稳定性,实现了惟妙惟肖的表情变化。

4D动态表情采集系统它每秒可采集60帧数据,仅需10分钟即可记录下演员的常见表情。这意味着,演员本身的存在变得不再重要,因为我们已经完全获取了他们所能做到的各种表情。接着,我们使用同拓扑的模型对数据进行统一结构和标准化处理,使其在后续的虚实融合环境中更易于使用。

也就是说,我们请一个演员来了之后,把他能做的所有表情采集下来,大概花三到五天的时间让机器去运算,就可以生成一个可以直接操作的三维的高写实时的数字人。

3

大小脑融合的数据中台提供情绪价值

在追求外观逼真的同时,我们也重视数字人有趣的灵魂。目前市场上的数字人公司都在接入大模型,接入方式主要分两种。大多数的接入方式都非常简单,比如,直接与GPT对话,你说一句它答一句。而数字栩生走的是另一种接入方式,同样是基于大模型作为底层,但在中间加入了一个数据中台。

数据中台的核心是构建一个能够多次访问大模型的思维框架。简单来说,当你对数字人说话时,他会根据你当前的情况和人物状态进行信息处理,并作出回答,而不仅仅是简单的一问一答。同时,我们还可以在数据中台收集大量的历史信息,例如当前谈论的话题,过去的对话内容以及环境中的变量,将其统一放入大模型中进行加工,然后由大模型回答我们的问题。在这个对话过程中,我们让数字人提取了许多流程化和固定化的信息。最关键的是通过我们混合编程的方式,数字人的理解能力和处理能力将变得越来越强。

除了对话交流等表现,我们还注重数字人的情绪表达。AI小脑侧重于动作、表情、口型动画生成,基于深度学习网络,实现文本输入与数字人多模态表达之间的无缝连接。大小脑融合模式,使得数字人可以具有个性化情绪表达与肢体交互,为用户提供更真实可信的交互体验。

“未来,数字人不仅出现在屏幕里,更应该出现在真实的环境中。”翁冬冬认为借助增强现实技术和虚拟现实的融合,数字人能够引入到真实的环境中,变得真实可交互且能感知。

数字栩生将不断推动数字人技术的发展,为人类的工作效率提供更智能化、更高效的人机交互体验。让我们一起迈向未来,享受更加智能感知的人机交互所带来的便利和创新!


相关阅读
>