摩尔芯闻 > 行业新闻 > 半导体 > [原创] 从高通骁龙855的AI加速器看行业的趋势

[原创] 从高通骁龙855的AI加速器看行业的趋势

半导体行业观察 ·2018-12-10 08:54·半导体行业观察
阅读:2189

最近,高通发布了最新的骁龙855系列SoC,是其下一代旗舰级芯片。骁龙855最大的特点除了5G之外,可以说就是能加速AI应用的Tensor Engine了。与以往高通通常强调其通用DSP可以解决AI计算问题不同,这次高通第一次在SoC上明确集成了一块专属AI计算的加速器,可见高通对于AI的重视不同于以往。除此以外,骁龙855的ISP模组也能高效执行AI相关的计算机视觉算法,因此称为CV-ISP。由于手机端AI绝大部分是计算机视觉应用,因此CV-ISP对于手机端AI应用也是一个重要支撑。

高通骁龙855的AI性能强劲

这次骁龙855与AI加速相关的芯片模块亮点主要在DSP和ISP两部分。

首先看DSP部分。DSP部分对于AI的加速主要用于通用AI加速,因为对于非系统应用(例如拍照预测食物卡路里这类应用)来说,DSP更容易调用一些。这次骁龙855里的DSP代号为Hexagon 690,其标量和矢量运算能力相对于上一代骁龙845分别有1.2倍和2倍的提升。在DSP中,标量计算通常用于最基础的实时数据流计算,其特点是数据的并行性不高,同时数据将以数据流的形式进入DSP并实时完成计算(不同于累积了很多数据再一次完成计算的数据块模式),在数字滤波等经典通信信号处理算法中有广泛应用。随着手机智能化,通信之外的许多计算(例如多媒体应用等计算)也需要在手机端完成,这些计算往往拥有并行性(即许多数据之间彼此独立,因此可以同时计算,不存在需要先完成数据A的计算才能做数据B的计算的约束),因此这些计算就非常适合使用矢量计算。

标量和矢量DSP计算属于传统DSP计算。随着AI应用在手机端的兴起,势必需要新的计算加速单元。目前手机端的AI主要应用包括语音和视觉,尤其以视觉应用为主,而对于视觉相关的AI应用,主流的神经网络结构是卷积神经网络(CNN)。CNN中,数据计算以张量计算的形式完成,因此传统的标量和矢量DSP都不是最适合加速CNN张量计算的计算单元。为此,高通在这一代DSP Hexagon 690中新加入了张量计算加速单元,可以充分加速手机AI应用中占算力大多数的CNN张量计算。

除了DSP之外,这次骁龙855里集成的Spectra 380 CV-ISP也对于AI应用起了很强的支撑作用。与DSP完成通用AI计算不同,CV-ISP主要是针对拍照相关的专用AI计算。目前,事实上很多手机端的AI应用都与拍照有关,例如智能场景识别,背景虚化,美颜等等。这部分运算往往会同时结合传统计算机视觉算法和AI算法,那么究竟应该放在执行专用计算机视觉算法较强的ISP中,还是放在加速AI应用的AI加速器模块中呢?当然,不同的选择都有自己的优劣:选择使用专用ISP加速计算机视觉算法的计算效率更高,但是往往计算灵活度不足,难以支持芯片流片后再出现的新算法;而使用AI加速器做计算机视觉加速则部分牺牲了效率以换取灵活性。高通在骁龙855的选择是在CV-ISP中做系统自带的计算机视觉算法,对于目前常规的物体分类、目标分割、景深估计等有很好的支持,如果有一些新的算法出现,则可以用Hexagon DSP来支持,可谓是希望兼顾灵活性和计算效率。

在骁龙855中,高通把所有能执行通用AI计算(CPU,GPU和DSP)的模组都统一划归到AI Engine下,从而可以实现算力的动态最优化分配和平衡。AI Engine的软件接口支持TensorFlow,Caffe,PyTorch等主流深度学习框架,同时也支持OpenCL等底层库调用。骁龙855的AI Engine的总算力(包括CPU,GPU和DSP)可达7TOPS。

异构计算与Dark Silicon:

高通与其他手机厂商对于AI加速的思路比较

高通的骁龙855与其他带AI加速器的手机SoC 相比,最大的区别在于高通更强调整体的概念。其他厂商(如华为等)试图用异构计算的思路打造一款非常强劲的专用AI加速器模组以满足手机端AI加速的需求,但是异构计算的另一面却是dark silicon,即AI任务仅仅由专用的AI加速器来完成,虽然能效比来看是提升了,但是从另一个角度来看,芯片上的其他模块在芯片处理AI任务的时候却是闲置了,造成了浪费。在测量芯片发热的时候,常常使用红外线来估计温度,在红外照片上越忙碌的芯片部分亮度会越高,而闲置的芯片部分则会看上去很暗,这也是“dark silicon”一词的来源。

随着异构计算越来越流行,Dark Silicon的问题也会随之出现

高通显然知道异构计算的优势以及伴随的dark silicon问题,因此在骁龙855中即集成了专用的张量计算单元用于AI加速,另一方面,又在系统层面将所有能执行AI计算的CPU、GPU和DSP划归一个统一的AI Engine来调度,这样当张量加速模组忙于AI计算时,其他的模组也能助其一臂之力帮助分担一些计算负担,而不是在旁边闲置。当然,这样的动态调度设计一定会比简单地“一个模块负责一个任务”这样的模式要复杂许多,同时也会引入一些硬件和软件上的额外开销,具体的效果还需要看实际使用中的情况,让我们拭目以待。

骁龙855对于手机SoC AI加速器市场的影响

在高通之前,大多数面向中高端智能手机的手机SoC厂商,包括苹果、华为等都已经推出了包含AI加速能力的SoC,今天高通终于也加入了这一行列。除了手机SoC厂商之外,Cadence,CEVA等厂商也都推出了(可以应用在手机SoC中的)AI加速器IP。在这样的情况下,我们认为对于AI的加速将不再是手机的亮点,而将成为近期手机的一个常规功能 。

从应用端来看,随着手机SoC对于AI的支持,必然会鼓励更多的手机App引入AI相关功能。然而,我们也必须看到,手机端AI还没有出现爆款应用,未来手机端AI应用发展的时间表还很难确定。我们不妨盘点一下现有的手机端AI应用。目前手机端AI的最大应用仍然在图像方面,包括手机厂商力推的拍照增强(场景自动识别,背景虚化,美颜,超分辨等)、人脸识别(用于解锁),以及App开发者正在探索的应用,例如直播中的实时美颜,加入虚拟装饰等等。应该说,这些应用对于大部分用户来说都属于痒点而非痛点,并不会给用户体验带来质的区别。

相比手机SoC厂商对于AI的计算能力每代都有两倍以上提升的节奏,手机App端对于AI的探索速度可以说是较慢的。在尚未出现AI应用爆款之前,AI App应用普及的慢节奏和芯片AI算力的快速提升有可能会造成AI算力过剩的问题。这并不是说手机端不需要AI加速器,而是说以设计手机端AI加速器IP的厂商恐怕会面临更多压力——硬件上,大厂都推出自己的AI加速器方案,且计算速度每年都提升;应用上,软件对于AI算力需求的提升却没有跟上硬件提升的速度,这样两相挤压会造成给手机SoC提供AI加速器IP的厂商非常大的压力。事实上,我们认为AI加速器IP公司,尤其是拥有新技术的初创公司,目前可以考虑其他的细分市场。

分享到:
微信 新浪微博 QQ空间 LinkedIn

上一篇:[原创] 中国ADC水平究竟如何?

下一篇:第二届全国大学生FPGA创新设计邀请赛暨 2018年FPGA创新应用高端论坛在南京圆满落幕

打开摩尔直播,更多新闻内容
半导体大咖直播分享高清观看
立即下载