对着屏幕背古诗,计算机自动识别错误,还有评分这是怎样实现的?近日,作业帮语音技术团队分享了语音评测背后的原理。在智能语音评测背后,有一个重要的词汇:计算机辅助语言学习,常见的英语单词跟读评分,也是基于这个原理。
语音评测的评分靠谱吗?其实发音评判的维度包括以下方面:准确率、流畅度、完整度、韵律、语调。而口语好坏的评价则相对主观的,人工专家会根据自身经验和知识,在各维度进行打分。AI替代的评测系统,要做的就是不断学习,让智能打分越来越接近专家。
一般参考两大指标:即相关系数(Pearsoncorrelationcoefficient)和一致性(kappacoefficient),越接近专家打分,说明系统越靠谱。
作业帮在实践中,基于特征提取工程,收集了包括GOP(Goodness of Pronunciation)分数,元辅音,词性,声调,发音时长,流利度等多维度信息,通过神经网络模型强拟合能力,预测分数结果,目前评测效果与人工打分已有非常高的一致性!
那么,古诗背诵中的语音评测,难在哪里?首先,在古诗的评测文本中,其解码图不同于单独的词语,而是以一个完整的句子为单位。作业帮语音技术团队采用了多分支评测的方法,支持句子重复读(可以家长领读,小孩跟读),跳读(既可以往前跳,也可以往后跳),保留了足够的自由度。
同时,读古诗时刷新速度非常快,为保证能实时反馈评测结果,我们通过ONNX 跨平台部署,神经网络模型剪枝,将算法模型压缩至10M以内,做到了手机等移动端本地才能获得的极致丝滑体验。
当然,如果没有充足的数据,再好的模型也无法学到足够的“知识”。在这一方面,作业帮相关专利技术(专利公布号CN 113901992 A)可实现语音识别系统中数据自动回流训练,不断主动学习,达到自动模型迭代的效果。
(来源：新视线)
