在讨论一款手机的实力时,影像是其中最重要的评判维度之一。随着手机摄影的发展,许多之前困扰手机的拍照难题,都迎来了行之有效的解决方案。其中,自研影像芯片成为移动影像迭代的一个核心方向,让手机能够在暗光和运动场景等一些高挑战性场景中拍出好照片。
![](http://n.sinaimg.cn/spider20221028/752/w500h252/20221028/6fc1-7493c20b7911c567c646e4fe2d36e4f2.png)
如今,一聊到自研芯片,很多熟悉数码圈的朋友第一时间想到的可能就是蓝厂了。2021年,vivo X70系列携vivo自研芯片V1发布,实现更好的夜景成像效果,加之vivo对影像技术的大力投入,使得X系列获得了极高的市场与消费者口碑。从X70系列之后,手机行业也正式掀起了自研影像芯片的潮流。
![](http://n.sinaimg.cn/spider20221028/731/w500h231/20221028/173c-c8c223b498625edbd1163477169c3fe5.png)
在刚刚结束的影像战略发布会上,vivo展示了其完善的影像技术矩阵。作为影像算法升级的最有力保障,vivo宣布将在下一代自研芯片设计中升级全新的架构——从传统ISP架构升级为AI ISP架构,进一步提升影像效果体验。
那么问题来了,AI-ISP是什么?
传统ISP架构虽然能以极低延时处理大量的数据流水,但只能解决已知的、特定的问题,面对复杂、随机问题时则会面临巨大的困难。而AI擅长处理复杂的、未知的问题。因此,将传统 ISP 低延时、高能效的特点进一步带入到 AI 实时处理运算架构中,AI-ISP应运而生。AI-ISP架构结合两者的优势,相当于给传统ISP芯片加一个新的AI大脑。
![](http://n.sinaimg.cn/spider20221028/725/w500h225/20221028/7179-283df3f57213056c17db24d2d19770ea.png)
据vivo介绍,在AI-ISP上集成vivo自研的AI计算单元,让数据吞吐速率、能效比都有了大幅提升,更适合海量的信息处理,因此能实现发散式的信息处理及存储,使得处理与存储的效率大大提高。在此基础上AI-NR降噪、HDR影调融合、MEMC插帧等算法效果可以得到极大的优化。
那么,NPU与AI-ISP又有什么不同?
相较于传统的NPU芯片,AI-ISP架构可加速 10bit高精度 MAC 深度学习加速器,带来了空前强大的AI计算能效,最大降低了软件对 NPU 调度造成的延迟。相比NPU的软件推理做法,推理延迟较传统NPU最多降低96%,能效比最高提升200%。
![](http://n.sinaimg.cn/spider20221028/731/w500h231/20221028/bf6e-88724bee1ba5268f08a77b5715ee9f7b.png)
此外,基于AI-ISP架构,全新自研芯片的片上内存单元实现升级,算力高达1.3万亿bit/s的数据吞吐速率。其次升级AI计算单元,DLA加速器峰值能效比达到每瓦16.3 万亿次运算,这个数据也让vivo的AI ISP架构达到了行业的天花板水平。
AI-ISP能够给手机的拍照体验带来哪些显著的提升?
将夜景、人像和高清视频作为影像三个主要发展领域的vivo来说,新的AI-ISP具备的强大影像识别能力无疑能在这三个应用场景发挥重要的作用。
![](http://n.sinaimg.cn/spider20221028/97/w500h397/20221028/4712-6582e06fa9710989e91165b469ccc326.png)
拿视频举例,借助超高的数据吞吐量和处理能力,视频录制时的MEMC插帧算法进一步降低了延迟,特别对运算能力要求更高的夜景视频。vivo在影像战略沟通会上展示了采用AI-ISP架构的下一代自研芯片机型的视频拍摄成果。拍摄1080p 60帧(fps)的夜景视频时,对比上一代机型,无论是画面的纯净度、细节、亮度、宽容度都比之前有了更大的提升。
可以预见到,搭载全新自研芯片的产品,甚至可以在露营的灯光下,拍到天空中的星点。
![](http://n.sinaimg.cn/spider20221028/672/w500h172/20221028/f2eb-6c4327e886f9b1a02b401fe002e39597.png)
![](http://n.sinaimg.cn/spider20221028/677/w500h177/20221028/5ede-5d51b2f44e17a555db30520278cee040.png)
![](http://n.sinaimg.cn/spider20221028/680/w500h180/20221028/30ff-5b2076fe82ff79ef63320433db0f3ba6.png)
从国内几大手机的布局看来,发力自研芯片是所有人都要走的必经之路。而AI ISP的出现,vivo让手机自研芯片进入了一个全新阶段。我们几乎已经可以想象出即将发布的X90系列会在极限环境下会有更好的影像表现,特别是视频录制方面,让我们离全天候轻松拍出表现一致的影像又近一步。
(来源:新视线)