9月13日,以“OpenVINO™ 加速 PC 及小型设备 LLM 性能”为主题的Intel OpenVINO™ DevCon中国系列工作坊2024活动在北京举行,相芯科技作为Intel合作伙伴受邀出席并在会上分享“通过使用OpenVINO™ 工具套件,让数字人基于Intel iGPU和独立GPU 进行性能优化和推理加速的实践应用”。
相芯科技市场总监Lisa表示:“目前依赖高算力AI能力的数字人应用大都基于云服务,成本较高,相芯一直在探索更低成本的部署方案,以降低用户使用门槛,OpenVINO™ 工具套件在数字人低成本部署探索方面有着出色的表现,相芯与Intel的合作可谓一拍即合。”
OpenVINO™是英特尔基于自身现有的硬件平台开发的一种可以加快高性能计算机视觉和深度学习视觉应用开发速度的工具套件。旨在通过模型、优化、部署三个简单的开发步骤,实现深度学习模型的优化和“一次编写,任意部署”,无论是在CPU(中央处理器)、GPU(图形处理器单元)、NPU(神经网络处理器)还是FPGA(可编程逻辑器件)上,都能实现模型的快速落地部署,从而加速深度学习模型推理工作流程。
在会上,Lisa介绍了相芯基于OpenVINO™ 2024.0版本打造数字人和AR视频特效的整体开发框架。Lisa表示,OpenVINO™支持多种格式模型,通过OpenVINO™的优化工具可以对这些模型进行转换和压缩,在不降低效果的情况下,减少模型尺寸。同时,在加载和编译模型的时候,借助OpenVINO™自带的编译选项还可以快速进行编译优化。
“为了更好地平衡性能和功耗,我们还可以将多个模型分别放在CPU、GPU、NPU上进行推理,如GPU适合做渲染流水线AI,所以我们的数字人渲染在GPU上进行推理,NPU专用低功耗AI引擎可以用于持续性AI处理任务,我们的AR视频特效就跑在NPU上,可以在直播和视频会议中实现更好的实时美颜效果。”
OpenVINO™为开发者提供了更为强大的性能支持和扩展能力,助力开发者高效利用AI加速技术。相芯基于OpenVINO™ 2024.0版本打造的数字人和AR视频特效也在会上亮相,吸引了众多与会者关注讨论。
Lisa表示,以前大部分数字人AI应用只能在云GPU上跑,需要依赖高算力显卡如4090、A100等,成本较高。但基于OpenVINO™,相芯不仅能让AI数字人应用在PC端流畅运行,更能在配置集成显卡的普通轻薄笔记本上运行,极大降低了数字人应用的资源损耗和成本,为中小型企业和个人用户提供了更多的可行性。
同时,基于 OpenVINO™打造AR视频特效在各项美颜指标上也都有着出色的表现,不仅可以精准检测出雀斑、痘痘等瑕疵并有效去除,在保障肤色均匀同时,还可以对特征痣和皮肤的肌理感进行保留,让美颜效果真实自然,避免“假面感”。
最后,Lisa透露,相芯科技正在与Intel展开深度合作,探索将AI数字人和AR视频特效技术嵌入到设备底层,这不仅能让更多合作伙伴受益,还能让普通用户通过设备原生的技术能力,在直播、社交等应用场景中获得更好的体验。她最后补充道:“我们期待与Intel及更多行业伙伴携手合作,探索数字人应用的更多可能性,为各行业打造新质生产力创造更多可能性!”
