全国首个 | 梅兰芳先生“数字回归”！北理工和中戏联手将打造高精度京剧数字人！

“梅兰芳孪生数字人”项目由中央戏剧学院、北京理工大学共同发起，腾讯公司提供技术支持，受到“北京高校卓越青年科学家”计划资助，并得到了中科院自动化研究所、中央美术学院、北京外国语大学等单位和梅兰芳先生家人及弟子的大力支持，赵沁平院士等专家莅临现场并给出指导意见。在北理工“虚拟数字人”技术的支持下，以梅兰芳先生26岁为原型，对京剧大师梅兰芳先生进行复现，打造在外貌、形体、语音、表演等各方面都接近真人的“梅兰芳孪生数字人”，未来将不断进行模型实时化升级并在多个场景应用落地，力争打造国内第一套真正意义上的可实时交互的“京剧数字人”。本项目的启动，标志着由北京理工大学牵头建立“延河高校人才培养联盟”又取得了新的合作交流成果。

虚拟数字人是存在于数字世界的“人”，利用信息技术与人工智能技术将人体全身及肢体动作全方位的进行数字化、可视化复制，最终达到将现实生活中的人精确的在数字世界中模拟构建出来。

得益于深度学习算法的突破，近年来，虚拟数字人技术发展迅速，虚拟偶像主播、虚拟员工等虚拟人物进入大众视野，由智能驱动的数字人产业渐入佳境。虚拟数字人技术是数字表演的核心支撑技术，在文化技术融合方面具有举足轻重的作用。

高逼真表情光场采集系统

采用光场采集技术，采集真实演员毫米级精度的三维数据，并以计算光学为基础构建物理属性皮肤纹理，从而实现对真实演员的高复原度重建。通过先进的实时渲染技术，将以大量数据为基础的高逼真数字人资产实时呈现给用户。

AI驱动

面向高逼真实时数字人，以自研唇部高精度数据采集为基础，采用新型深度神经网络算法实现语音到唇形的精准控制。结合多模态交互意图理解，构建基于知识图谱的多轮语言对话平台，从而实现在特定封闭领域内高准确率的自然人机对话。

实时交互性

通过摄像头实现对周围场景及真实用户的理解，并通过压力传感器、超声传感器、肌肉电传感器等多模态数据实现对用户意图实时精准理解。人们可以用VR、AR、桌面、全息等多种方式实现与数字人的实时交互。借由与人的互动，可以让用户真切感受到数字人是“活生生”存在于这个世界。

用雕塑替代真人

由于无法采集到梅兰芳先生的真人三维数据源，在收集了大量梅先生的照片作为数字资产构建的参照后，团队邀请中央美术学院的师生以历史照片为依据完成了梅兰芳先生的实体肖像，并通过技术团队与雕塑团队的反复磨合，最终完成了以三维数字化为目标的真人雕像数字人制作。

让雕像真起来

团队用高精度激光扫描仪对雕像进行扫描，从而获得梅先生的基础表情。在得到基本扫描模型后，通过数字化雕刻流程对模型的细节进行处理。因为雕塑艺术本身不够具象，因此团队还需要在在模型骨像、皮肤细节、毛发细节、眼神光等细节进行补充完善。

真人形象不断完善

在不断打磨静态模型后，达到和历史照片一致后，再以真实立体裁剪为基础构建高逼真服饰，以民国留存布样为范本制作逼真服饰材质模拟，最终成功打造出梅兰芳孪生数字人。

北京理工大学光电学院翁冬冬研究员课题组，隶属于王涌天教授领衔的北京市混合现实与新型显示工程技术研究中心，同时依托丁刚毅教授为学科带头人的数字表演与仿真技术高精尖学科，开展了大量文化科技融合的前沿研究。课题组团队当前主要从事虚拟现实、增强现实与人机交互方面的研究工作，团队参与的科研成果《交互式显示关键技术及应用》获得2014年度教育部技术发明一等奖和2017年度国家技术发明二等奖、《头戴式显示技术研究及应用》获得2017年度中国光学工程学会创新技术奖一等奖。

团队组织撰写了本领域多个国家和行业标准，并获得2018年度中国虚拟现实与可视化产业技术创新战略联盟杰出贡献奖。

项目团队研发的“交互式显示关键技术及应用”、“虚实融合显示技术”、“新型显示中的人机交互技术”、“航天员心理舒缓系统”等关键技术和系统应用于航天员训练中心、中科院软件所、中国人民大学附属中学等多个单位，在文物保护、教育科普、文化娱乐等重要行业及应用领域得到成功转化。

点分享