在6月15-16日举行的华为伙伴暨开发者大会2022期间,以“创新无限,一切皆服务”为主题的技术论坛在线上举办。华为云媒体服务产品部部长吕阳明在会上发表了题为《MetaStudio数字内容生产线,让虚拟世界与现实世界无缝融合》的演讲,介绍了华为云MetaStudio数字内容生产线的整体方案,并系统化阐释了MetaStudio如何助力“数字人”内容创作与应用。
“元宇宙”已经成为数字经济时代的一个热词。吕阳明认为,未来各个行业中会产生一系列的数字人+实时互动的虚拟空间,用于人们的社交、工作、娱乐等。用户关心如何使用数字分身,进入到虚拟世界,和全球各地的用户实时互动。而应用提供方则更加关注如何提供有创意、强互动的3D应用,持续提升内容力,吸引更多的用户和流量。
基于对用户和应用提供方两者需求的深入洞察,华为云MetaStudio正式上线全流程、场景化的数字人服务,包含数字人生成服务和数字人业务服务。该服务可帮助伙伴和客户制作不同类型的数字人,打造虚拟主播、企业直播、教育课件、展厅讲解等场景,实现数字人生于云、长于云、用于千行百业。
数字人生成服务,数字人制作的极速引擎
据吕阳明介绍,华为云MetaStudio的数字人生成服务提供了风格化数字人、写实数字人和真人3D视频制作等服务,帮助伙伴和客户制作不同类型的数字人。其中风格化数字人可以用于数字人直播、虚拟社交等行业场景。
在活动现场,吕阳明通过自己的数字人分身“吕小明”,代替其本人绘声绘色地介绍了华为云MetaStudio风格化数字人服务的使用。用户只需上传一张正面照,便可基于华为人脸识别算法,精准模拟用户脸部深度信息,包括276个脸部特征点。再通过将基模和面部分区,结合华为2012实验室自研的几何形变算法,让模型更逼真。它还采用了包含12万个顶点加12万面片的高精度基础模型,基于15个面部分区,能够更加精准控制形变。同时,系统还能自动进行材质适配,选取肤色、发型、眉毛、眼睛、胡须等等。只需5秒,就能生成自己的专属的卡通风格数字人。
针对影视综艺等行业对数字人真实性的更高要求,MetaStudio提供写实数字人服务。当前业内采用手工方式,通常需要2个月才能做出相对较好的数字人模型,流程复杂,投入巨大。而借助华为云MetaStudio的写实数字人服务,光笼拍摄后几小时内就可以自动完成模型生成、纹理补全、材质生成,可自动完成模型着色,让皮肤质感更加自然;再结合人工精修,将整个制作周期减少到7天以内,极大地节省了写实数字人的制作周期和投入。
同时,华为云还推出云上真人3D视频制作服务,能够以3D视频形式记录人物的完整动态,结合观看视角、距离的任意调整和视屏场景的任意替换能力,为观众带来全自由度、虚实融合的体验,享受更加沉浸式的观感。“华为云MetaStudio真人3D视频云服务通过端到端全云上制作,对比线下处理效率提升10倍,将彻底改变传统虚拟制作的过程”,吕阳明表示。
数字人业务服务,加速数字人场景化应用
在介绍完数字人生成服务之后,吕阳明还结合数字人直播和视频制作两大典型应用场景讲解了华为云MetaStudio数字人服务的技术优势。针对数字人直播,华为云MetaStudio通过普通摄像头即可实现对人体动作和表情的高精度捕捉。通过采用有深度信息的人体特点训练数据集和识别算法,其动捕准确度可提升至90%。结合华为云强大的SparkRTC服务,让驱动时延低于100ms,动作更加流畅。
而在教育课件、新闻播报、展厅讲解等数字人视频制作场景,华为云MetaStudio数字人视频制作服务也可大幅提升效率、降低成本。用户只需进行数字人选型、课件配置、讲解词配置,不需要真人驱动,通过数字人和AI技术的结合,就可以快速生成数字人讲解视频,并且生成速度快,时长在小时级的数字人视频只需要分钟级的生成时间。据吕阳明介绍:“我们通过提取多元语音特征,数字人口型准确度达到95%以上。同时基于600多个表情基,可以实现音频特征和表情的精确匹配,生成的表情更加真实细腻,甚至可以表达丰富的微表情,让数字人表情更加连续、自然。“
湖南多豆乐公司创始人兼CEO刘主力分享了多豆乐漫娱传媒基于华为云MetaStudio开发3D直播数字人的案例。据刘主力介绍,“方小锅”数字人项目在今年1月立项,根据方小锅原画形象,华为云从完成3D建模到贴图、纹理、材质、灯光、渲染、动画,全部制作完成用了不到两个月的时间。
方小锅的首要应用场景是直播业务,基于华为云的强大云上存储和云算力的能力,为多豆乐提供在云上实时渲染的直播解决方案。通过单目摄像头视觉驱动,无需昂贵的动捕设备,动捕准确率可以达到90%以上。同时主播侧还可以通过端侧APP或云侧界面进行直播业务的管理,灵活调整数字人直播背景等业务参数。数字人直播业务可以帮助方小锅一键推流到虎牙、斗鱼、抖音、视频号等各大直播平台。第二个应用场景是短视频业务,基于多豆乐对AI视频的需求,通过对方小锅数字人语音基库、标准动作基库、表情基库的建立,和实时图谱的深度学习,通过语音驱动一站式配置,输入文本,即可生成多样化的动态视频,节省了专业团队制作的时间和人力成本。而且基本可以达到真人的效果,表情也非常自然。刘主力说道:“正是通过与华为云建立合作,使方小锅IP实现了与同行动漫IP‘弯道超车’的升维发展,成为了元宇宙世界维度的数字人。”
开放数字人服务API,助力抢占元宇宙先机
吕阳明表示,华为云MetaStudio数字人服务已面向广大开发者开放API,开发者可以直接调取对应的API,快速创建不同类型的数字人。以风格化数字人为例,通过10行代码即可实现数字人生成,人人都能快速拥有自己的数字人。
数字人服务只是华为云MetaStudio的诸多核心能力之一。在元宇宙大热的当下,华为云MetaStudio数字内容生产线让各行业客户都可以便捷地在云上生产数字内容、开发3D应用,打造虚拟演唱会、虚拟展会、办公协作、工业数字孪生等一个又一个的元宇宙空间,同时支撑海量用户的实时互动,让虚拟世界和现实世界无缝融合,助力客户和伙伴抢占元宇宙时代先机。
(来源:新视线)