10月24日,腾讯音乐娱乐集团(TME)打造的第二届TechME技术周盛大开幕,此次技术周采用虚拟与现实结合的方式,将在腾讯音乐虚拟社交平台TMELAND中同时举办,由技术“大咖”们陆续分享前沿的音乐技术成果、未来的音乐技术布局。同时,来自TME旗下首个音视频实验室——天琴实验室也正式发布了首位虚拟人——“小琴”,这是一位来自天琴座织女星的“少女”,她以多变的舞姿与青春的音色闻名星系。一头清爽短发的“小琴”身着潮酷卫衣和运动鞋,浑身洋溢着元气满满、青春逼人的气息,她擅长流行、R&B、国风等多个流派的音乐,音域极广,嗓音清亮萌动。她跟很多年轻人一样热爱舞蹈,还拥有“荧光转动”的特有服饰能力,带给人们快乐是她的使命。未来,虚拟人“小琴”将成为展现天琴实验室创新技术的重要载体,同时也有望出现在腾讯音乐旗下多家音娱APP的更多活动场景中,进一步拉进与用户的距离。
青春靓丽、多才多艺的虚拟人“小琴”能够流畅娴熟地说和唱,她不仅具备了中、英、粤三种语言能力,输入歌词后,她即可自动识别主动唱出来,更为“神奇”的是,小琴还可以根据音频生成仿真口型,并根据歌声自动生成唱歌动作和表情,极为自然、真实、生动。这一“魔法”背后,是完全借助AI技术实现的,在经典歌声合成模型的基础上进行优化和改进,形成自研模型lyraSinger;构建了自有数据,并借助于NLP中台的觅词系统实现算法改词;旋律来自提升提取与曲谱预测相结合的新方法,并运用自有领先的算法对时间戳进行对齐和矫正;音效则是来自全民K歌智能调音台算法,采用AI加人工联合方法实现混音效果。
作为一个“全能唱跳”少女,自然不会仅仅局限于说唱技能。天琴实验室在音乐驱动领域推出的 Music XR Maker 系统,基于腾讯音乐长期以来建立的对音乐信息的强大理解能力,通过音乐,用AI的方式,可生成虚拟世界的各项基础元素。例如“小琴”擅长舞蹈,她不但可以根据一段旋律任意生成舞蹈,随着流行、芭蕾、爵士等音乐翩翩起舞,还可以通过整合最先进的手势和动作识别算法,精准捕捉身体及手部动作,甚至手势的细微变化,从而复刻一段舞蹈;可更换各种各样的服饰,大大提升了虚拟人“小琴”的趣味性,仅仅需要一张图片,即可生成相应服饰,极大丰富了“小琴”的“衣柜”,同时还支持2D和3D算法,兼容不同人体姿态,可适配到多种场景。过往的虚拟人大多只能基于自身做一些外形和技能的设定,而Music XR Maker系统开创性地加入了场景生成能力,基于“小琴”的预设动作以及通过算法自动生成的动作序列,同时匹配歌曲的曲风、情感、节奏等,即可为虚拟场景批量生成可媲美专业灯光师的炫酷灯光秀,再加上结合音乐节奏和舞蹈动作自动匹配生成的运镜效果,让“小琴”的歌舞MV锦上添花,堪比歌舞大片。
作为腾讯音乐首个音视频实验室,天琴实验室汇聚了清华大学等国内外顶尖高校机构AI顶尖人才,与西工大、中科大等高校达成科研合作,其在音频、视频、音效等领域的专利技术达384个,曾先后荣获了含MIREX音频指纹比赛冠军、听歌识曲技术突破奖、深圳科技专利奖、中国专利优秀奖等大量海内外重量奖项。天琴实验室的各项黑科技已化身各种实用功能,应用在腾讯音乐旗下的各个平台中。例如去年99公益日,QQ音乐推出了国内首张低频公益专辑——《听见“听不见”的音乐》,正是运用天琴实验室的“声伴分离、音乐生成、伴奏改编”等智能化音频技术制作而成。而让更多用户熟知且受益的则是QQ音乐「听歌识曲」功能,这已成为广大乐迷找寻陌生好歌的"必备神器",这项技术早在2019国际音频检索评测大赛(MIREX)上就一举夺得世界冠军,至今仍是行业领先水平。此外,还有如智能修音、智能美肤、AI语音朗读、智能音效、视频歌单、扫一扫MV识别等大量实用技术已大量应用于QQ音乐、全民K歌等腾讯音乐各类音娱APP中。
此次全新虚拟人“小琴”的推出,既是天琴实验室各种“黑科技”的一个集中展现,同时也体现了其揭开神秘面纱,以更亲和的姿态拥抱用户的坚定决心。而腾讯音乐也将持续在技术创新驱动下,将以科技赋能音乐的产品理念延伸到更多场景当中,为用户创造更多元的音娱体验,让科技在音乐中更具人性化,释放更多温暖和乐趣。
(来源：新视线)
