超写实数字人生成服务

根据客户需求,提供超写实数字人定制服务,使用数字孪生、实时渲染、智能驱动等技术,实现超写实数字人快速生成及内容快速生产服务,并提供数字人服务的SaaS平台和用于支持用户业务的终端程序。

服务介绍

  • 超写实数字人创造服务

    为行业客户提供完整的超写实数字人创造服务,包括:面部表情光场采集、表情重建与绑定、皮肤纹理生成、模型优化、角色实时化等服务。提供的完整资产可用于后期数字内容制作以及直播互动等实时交互业务。

  • 超写实数字人内容快速生产服务

    基于高质量的实时数字人资产,采用实时动作捕捉、虚拟拍摄等技术可以实现各种线下实时互动场景服务。同时通过采用实时引擎动画生成技术与AI图像替换技术,可实现快速动画及换脸人物视频的生成。

  • 超写实数字人SaaS平台

    针对客户需求,提供完整的软硬件超写实数字人解决方案,包括数字人服务的SaaS平台和用于支持用户业务的终端程序。比如在直播行业,提供完整的数字人资产库供给MCN机构进行定制化使用。

  • 超写实数字人创造服务(toB服务)

    为行业客户提供完整的超写实数字人创造服务,包括:面部表情光场采集、表情重建与绑定、皮肤纹理生成、模型优化、角色实时化等服务。提供的完整资产可用于后期数字内容制作以及直播互动等实时交互业务。

  • 超写实数字人内容快速生产服务(toB服务)

    基于高质量的实时数字人资产,采用实时动作捕捉、虚拟拍摄等技术可以实现各种线下实时互动场景服务。同时通过采用实时引擎动画生成技术与AI图像替换技术,可实现快速动画及换脸人物视频的生成。

  • 支持行业解决方案的超写实数字人SaaS平台(toB平台)

    针对客户需求,提供完整的软硬件超写实数字人解决方案,包括数字人服务的SaaS平台和用于支持用户业务的终端程序。比如在直播行业,提供完整的数字人资产库供给MCN机构进行定制化使用。

核心技术

  • 超写实数字人构建技术

    基于数字孪生、样本解算、实时渲染引擎打造完美数字人资产。项目团队发挥光学测量技术方面积淀,耗时四年研制专用人脸偏振光场采集装置,可实现对人脸毫米级三维重建,并实现表达皮肤物理特性的8K纹理智能解算。

  • 超写实实时渲染技术

    数字栩生团队基于UE5虚幻引擎,采用实时渲染技术,通过对细节的慎重把控,可实现惟妙惟肖的表情变化。所实现的基于实时渲染的内容生产流程,比传统内容生产流程效率提高5倍。

  • 大小脑智能驱动

    团队解决了数字人与现有第三方AI云服务之间的瓶颈,通过训练个性化专属深度学习网络,构造“AI小脑” ,实现语音到表情、语音到口型、语音到动作的自动生成,有效解决了数字人使用现有AI资源的问题。

技术流程

基于光场采集的实时数字人工作流程,如下图所示,其主要是将数字角色制作流程从“雕刻”转为“照相”,去除了生产过程中的大量主观因素,可以实现生产流程的工具化和标准化,排除了生产过程的不确定性,在工序上实现了统一的技术标准和评判规则,提高了高精度数字人的生产质量和效率。
  • 光场采集
  • 数据清理
  • 模型精修
  • 贴图处理
  • 绑定
  • 毛发制作
  • 静态集成
  • 动态测试

通过自主研制的光场采集系统,采集用户的高清原始数据,其中包含用户脸部在各种光照下的高清照片,以及用户52组不同表情的照片。基于上述数据,可以三维重建出一组包含52个用户极限表情的表情序列。

先后通过校色、自动抠像、多视角重建、模型清理等流程,最终获得具有相同拓扑结构的52组表情的三维模型。

再通过收集人物不同角度的生活照片以及参考客户最终想要的效果,针对人物特点做进一步美化的工作。

基于光场图像纹理解算,可重建出用户脸部的漫反射、法线、高光等纹理贴图。之后需要对重建贴图进行清理、美化和UV迁移,按照MetaHuman标准重建diffuse、normal、roughness等贴图,为渲染器提供pbr材质。

再之后,我们采用自动绑定工具,将三维重建得到的面部数据,重新分解绑定为符合MetaHuman标准的动态模型上。

再针对人物头型匹配适合人物特点的发型、睫毛、眉毛等。

把模型、贴图、毛发集成到UE工程里,集成之后在标准光照环境里去调整人物整体的灯光材质。

在最终静态效果确认之后,进入人物动态表情测试及身体动作测试,由此基本完成了数字人生产的核心技术流程。

应用场景