今年以来,一批AI绘画平台、工具上线,在网上掀起以自动作画为关键词的热潮。现在,这项技术也在音乐领域发出“新声”:日前,腾讯音乐天琴实验室正式推出AI音乐视觉生成技术MUSE(Music Envision),能依据用户选择的歌曲文意自动画出相应歌词海报或生成歌词动效视频等视觉内容,实现了行业首创的规模化音乐海报绘制技术,给用户创作UGC分享内容时提供极大便利,更加简单、高效,助力用户多元化音乐体验大大提升。
为让更多用户体验“以歌作画”黑科技、绘制歌词里的故事,QQ音乐 x MUSE发起“AI艺术画廊”征集活动,用户可在QQ音乐搜索“AI画廊”进入活动,从活动页进入歌曲歌词播放界面,进而生成自己的歌词海报,畅享MUSE AI音乐视觉生成技术带来的智能体验。
据了解,不同于普通的“以文生图”,MUSE AI最大亮点就是“以歌生图”,顾名思义,就是用户可以选择一首歌一段词,就可以将歌曲的意境用AI技术具象化呈现出来。基于对音频内容和歌词含义的深度理解,由MUSE AI把音乐当作灵感创作的来源,来整体调控图片和视频的生成。而最终生成的视觉作品,由于与音乐强相关,又可以反过来成为该曲音乐的视觉素材,提升用户的音乐视听体验与情绪分享体验。
在当前技术的基础上,应用最为广泛的就是歌词海报的自动绘制。在以往,用户往往渴望分享某一句触动自己的歌词,却又一时间难以选出中意的匹配画面。而MUSE通过AI技术对歌曲的分析理解,就可以提炼出适合该歌曲歌词的视觉风格和绘画内容,再通过文字内容转图片的算法模块,生成一张主题鲜明、声动有趣的歌词海报。
目前,QQ音乐已陆续对会员用户开放AI歌词海报入口,而今天“AI艺术画廊”活动上线起至活动结束期间,该尝鲜活动页面歌曲将向全站用户开放限时免费体验,用户只需在活动页选择喜欢的歌曲歌词生成海报,并带上#我的歌词艺术画#话题发布动态,就有机会被QQ音乐AI艺术画廊收录,让自己的灵感和AI技术碰撞出的音画艺术被更多人看见。
除此之外,以往不少用户听歌的时候习惯停留在歌词界面,然而纯文字的界面又略显平凡。而基于MUSE实现的“AI歌词动效”,将通过对歌词字体、排列以及入场出场等效果进行智能处理,再匹配以相应主题的动态背景,大大加强了歌词对曲意的表达,让用户在歌词的跳跃浮动间,感受到歌曲的韵律和内涵。
未来,MUSE AI还可以通过歌曲内容智能生成个性化专辑封面,甚至基于歌曲或影视作品的内容来智能剪辑出一段MV,给用户带来极大的创作乐趣与极简易的创作方式,轻松给自己珍藏的那些音乐重新“包装”,带来“常焕常新”的音乐体验。
一个多月前,作为TME旗下首个音视频研究实验室的天琴实验室还推出了首位虚拟人小琴,通过用AI驱动的方式,且基于音乐风格去生成舞蹈表演和歌唱元素,使她一出道就成为一个“全能唱跳”的艺人。此次全新推出的MUSE,正是天琴实验室音视频AI技术的又一次创新应用,想必又将带动行业的陆续跟进及迭代。天琴实验室正在持续在运用AI技术,带来更丰富更有趣的音乐场景和应用,甚至为用户实现对音乐的共创。TME旗下QQ音乐、全民K歌等平台也将持续致力以创新驱动,创造更多元的音乐体验,让用户尽享科技赋能带来的音乐乐趣。
(来源：新视线)
