细腻的皮肤质感,深邃而又灵动的眼神,充满磁性的嗓音弹唱着歌曲……这位名叫“壬申”的“新人偶像”并不是真人,却有着近乎真人的高颜值外形,他是怎么做到的?
虚拟人
是艺术,更是技术
“数字人是艺术和技术的结合。”中科深智创始人宋健表示,“像壬申这样的数字人,如果说艺术给了他‘皮囊’,那么技术则赋予了他灵魂。”
据宋健介绍,要想在数字世界中构建出虚拟偶像,主要需要解决三方面的技术难题:
✓首先,虚拟偶像的形象需要二次元或三维拟真的建模;“如果说,涉及到人物的动作还需要解决和环境的交互以及图像方面的实时渲染,在这方面,GPU 的作用很大。”宋健说。
✓其次,虚拟偶像的语音表达需要高超的人工智能语音合成技术;
✓最后,控制虚拟偶像的动作和发音,特别是实时交互,还需要较强的人工智能语意理解技术。“如果采用‘真人操控’虚拟人的解决方案,那么云计算技术是必不可缺的。”宋健说。
看到了这些技术难点,中科深智选择和大平台“强强联手”。基于亚马逊云科技的云计算产品以及NVIDIA OmniverseTM平台,中科深智得以聚焦动作和表情的实时生成引擎研发,其自主研发的数字人动作与表情生成中台系统 Motionverse, 目前能够为各类元宇宙和数字人业务提供全栈式解决方案。例如,电商直播带货的数字人,需要具有亲和力和感染力的动作和表情;客服数字人,需要规范的礼仪和表达;偶像数字人,需要更多的才艺,要会唱歌和跳舞等等。
“我们的 Motionverse 平台使用到了 NVIDIA GPU 算力和亚马逊云科技的云端部署服务,包括先进的GPU和RTX技术在云端服务器用于训练和推理。通过两家公司的产品和服务,让我们得以快速为大量第三方系统提供动作表情的接入服务和运营支撑。”宋健表示。
技术的发展往往都离不开平台的支持。中科深智是这两家公司的生态成员企业,使用了 NVIDIA 和亚马逊云科技的技术服务。2021年,中科深智加入到 NVIDIA 初创加速计划(NVIDIA Inception)成为其中的一员。双方合作之后,中科深智的数字人多模态实时驱动引擎 Motionverse 接入到 NVIDIA Omniverse 平台,为中科深智提供更多的落地场景。
2022年4月,中科深智加入亚马逊云科技云创计划,目前正在使用包括计算、渲染、网络、视频、语音等亚马逊云科技的服务,开发面向海外的数字人应用。
关于中科深智动作与表情生成平台Motionverse
中科深智是全球领先的多模态实时驱动虚拟人科技公司。中科深智成立于2016年,由来自中国科大、北京大学等有着丰富行业经验和技术积累的国内唯一的“技术+商业化”双顶尖创始团队创立。公司先后获得英诺、金沙江创投、晨山资本等一线基金投资,拥有3000+庞大用户群。
中科深智以深度学习支撑的多模态动作生成驱动引擎架为核心,自主研发强大且极具扩展性的Motionverse虚拟人业务中台系统,以虚拟人驱动为核心,集成其他实时动画和元宇宙技术,实现接口统一化、驱动多样化、业务模块化,可高效、灵活支持各类元宇宙平台产品及服务。其打造的多模态动作表情生成驱动引擎,使大规模快速推出系列SDK和产品成为可能,同时,拥有行业最大的深度学习数据集,构建AI生成算法持续迭代的数据壁垒。
关于亚马逊云科技和 NVIDIA
如果说,像中科深智这样的企业既要用到云计算资源,又要用到 NVIDIA 软硬件技术,那么一旦亚马逊云科技和 NVIDIA “联手”,将会碰撞出什么样的“化学反应”?
不仅仅是云计算和 GPU
亚马逊云科技和 NVIDIA 从初创企业成长到如今的行业引领者,双方不仅都有着对技术推动社会进步的信仰和坚持,也认为更大的规模需要承担起更大的社会责任。
为了降低初创公司使用 AI 等技术门槛,亚马逊云科技已经推出了丰富的 AI/ML 工具,例如 Amazon SageMaker 能够帮助企业搭建机器学习平台,Amazon Personalize 可以助力企业实现个性化推荐,Amazon Rekognition 支持使用机器学习自动执行图像和视频分析。
而 NVIDIA 在 AI 等技术领域也不断前行,训练适用于各类场景的深度学习模型,把 AI 能力开放给众多行业的企业。其中,针对被誉为“互联网发展下一阶段”的元宇宙,NVIDIA 也推出了 3D 模拟和协作平台 NVIDIA Omniverse,加速迎接元宇宙时代的到来。
基于此,10月13日,在亚马逊云科技中国峰会上,亚马逊全球副总裁、亚马逊云科技大中华区执行董事张文翊宣布了和 NVIDIA 的合作:
在未来两年内亚马逊云科技将为 NVIDIA 初创加速计划的成员企业提供云计算资源支持。双方还将携手推出“元宇宙千人人才计划”,为使用 NVIDIA Omniverse 的元宇宙领域初创公司提供额外的云计算资源支持,帮助初创企业加速成长。而这将是两家企业在国内推出的第一个针对元宇宙领域初创公司的支持计划。
初创企业可以从亚马逊云科技获得技术专家一对一和一对多的技术培训;从 NVIDIA 深度学习培训中心(DLI)在线自主培训中免费兑换课程。
不仅是元宇宙领域初创企业,为了更好赋能创业公司,亚马逊云科技云创计划与 NVIDIA 初创加速计划(NVIDIA Inception)还将合作为不同领域的创业公司提供云服务资源和免费课程。
亚马逊云科技云创计划为初创公司提供其扩展和发展任何规模的业务所需要的低成本、易用型基础设施。无论企业正处在创业的哪个阶段,都可以申请“云创计划”获得起步云资源和技术服务。
NVIDIA 初创加速计划
(NVIDIA Inception Program)
为免费会员制、旨在培养颠覆行业格局的优秀创业公司。该计划联合了国内外知名的风投机构,创业孵化器,创业加速器,行业合作伙伴以及科技创业媒体等,打造创业加速生态系统,能够提供产品折扣,市场宣传,技术支持,融资对接,业务推荐等一系列服务,加速创业公司的发展。
值得一提的是,除了 NVIDIA,亚马逊云科技在大中华区战略合作的创投及创业孵化机构数量已经超过了200家;通过丰富的生态合作网络,累计支持及加速的初创企业数量超过了一万家;受亚马逊云科技支持的初创企业在市场累计获得的融资金额超过了100亿美元。
(来源:新视线)