中移(上海)信息通信科技有限公司
C h i n a M o b i l e

1.jpg



“Carbon-based Life”碳基数字人——新一代5G+多模态智能客服平台


团队简介:中移(上海)信息通信科技有限公司-金融科技产品部-IFCT项目组

团队成员: 王博(产品经理)、韩屹项目经理、周铭吉技术经理巫炘UI设计师)、许玥测试工程师)、蔡天阳算法工程师)、陈楚珺算法工程师)、曹竞男前端工程师、张思迪后端工程师、荣榕运营经理


项目简介

Carbon-based Life(碳基生命)是以碳元素为有机物质基础的生物。地球上所有的生物包括人类在内都是以碳和水为基础的碳基生物。碳基数字人是上研院面向B端客户,融合5G、人工智能、高精度虚拟数字人和全息展示等技术,自研打造的一款具有高颜值、高智能、高品质的5G+多模态智能客服(以下简称碳基数字人)平台产品。可提供基于多模态交互的业务咨询、理财办理、智能推荐、虚拟坐席等服务能力将我方产品命名为“碳基”,象征着数字人从AI程序走向高级生命体的美好愿景。


项目内容

1. 产品功能

碳基数字人广泛应用于虚拟形象播报和实时语音交互两大场景,提供拟人化服务、智能化实时互动、多媒介多模态呈现以及平台化管理四大基础功能


图片1.png

1 数字人核心能力


2. 产品设计理念

响应国家科技创新号召,基于5G时代技术发展理念,碳基数字人应运而生。展示了一种以虚拟形象和智能语音为载体的新型互动方式,进行知识的快速传递与应用,加速人类边界在碳基世界中的延伸和拓展。


图片2.png

2 数字人系统设计框架


3. 项目方案

碳基数字人产品,通过智能绑定、动作捕捉、实时语音和动画合成等技术,快速构建数字人形象。依托5G网络,结合语音识别(ASR)及合成(TTS)、自然语言处理(NLP)、多模态识别、语音驱动嘴型合成(TTSA)等核心AI技术,实现数字人的客户意图自主识别与智能化知识管理,且提供算法可视化管理平台。


3.png

3 数字人工作机制


多模态感知层将采集到的用户语音、人脸图像等信息进行感知和处理,基于强大的智能语义能力理解用户意图,并根据该意图决定数字人后续的语音和动作,最后通过TTSA等技术,驱动数字人实时生成高质量语音、嘴型和肢体动作,实现数字人“能听会说”的多模态交互能力,赋能行业服务升级。


4.png

4 数字人产品构建流程图

4. 项目优势

l 核心AI技术:同声驱动、三维重建、表情合成、唇语合成、动作匹配等多智能领域技术完成创新性突破。提供了一种高效且低成本的真实3D世界全方位感知和虚拟3D世界工业化合成技术

l 多样直观的信息展现形态:从传统文本、语音智能交互升级为多模态智能交互,虚拟数字人可承载的信息内容和形式更丰富。

l 聚焦金融业务场景:深耕金融领域,针对金融业务场景提供深度化、个性化、定制化服务;


实用性分析

碳基数字人通过将传统语音客服智能形象化,赋能线上/线下金融应用场景:用户可通过手机APP接通数字人客服,完成审核、咨询、业务办理、资料更新等线上需求;在线下网点,VTM用虚拟数字人柜员替代真人远程柜员,解决了用户排队等候时间长导致满意度下降的痛点。


市场分析

伴随着5G时代来临,各行各业均开始数字化转型并对智能数字人应用保持高度关注各大银行联合AI企业均已在相关方面做出了探索和尝试,例如百度智能云与浦发银行联合打造的金融“数字人-小浦”,兴业银行发布的“智慧数字人-小兴”等。碳基数字人产品业务聚焦深扎金融行业,通过较强的资源整合能力以及金融大客户资源渠道,树立标杆客户、快速实现规模化复制,构建金融垂直行业壁垒。


产业效应

“Carbon-based Life” 5G碳基数字人的研发路线与中国移动在5G时代的云生态战略布局高度契合。数字人搭建在融合中国移动网络、终端、大数据等能力的OnFinT平台上,旨在构建运营商级“云+网+应用”的特色服务,再与平台上VR、AR等其他新兴技术融合,激发出更多、更具创新性的应用场景,推动智能交互走向新高度,助力5G融入百业。