bob半岛嵌入式人工智能是什么如何做嵌入式人工智能澎峰科技是中科院的技术团队，做过国际知名的开源矩阵计算库OpenBLAS半岛BOB·中国官方网站，获得过中国计算机学会科技进步二等奖、中国科学院杰出科技成就奖，是国家高新技术企业、中关村高科技企业、中关村金种子企业。

　　什么叫嵌入式人工智能，或者说端上智能呢？其实并不是在嵌入或在设备端来训练深度学习模型，在部署阶段，我们的模型在服务器内训练bob半岛，但是在实际使用的过程中，是在云端做部署，还是在端上设备做部署，两者会有很大的差异。大家见的比较多的是在云端做部署，比如很多API通过网络的方式上传图片，在云上计算并返回结果。使用嵌入式端部署的话，模型可能传输到了手机上，在此基础上可以做图像识别和处理功能，另外也可以传输到无人机上或智能摄像头上。

　　以抖音为例，里面有个美颜直播功能，当人脸动的时候，美颜的画像其实一直跟着人脸动，同时也有很多特效，这个就是嵌入式非常典型的应用。那么为什么不是拍好一段视频上传到云端，再做美颜呢？因为如果上传到云端再处理，交互性会非常差，无法让用户实时看到效果半岛BOB·中国官方网站，成本也比较高。因此，所有的效果全部在手机端完成，交互性会更好。这里主要用到了三个算法：一是人脸检测，先找到人的脸；二是识别人脸关键点，找到人的鼻子在哪儿，眼睛在哪儿；三是做一些贴图，比如眼镜或小猫的贴图，不管人脸怎么动，甚至是旋转，贴图都可以时刻贴合人脸。

　　但是真正做嵌入式系统的时候会遇到一些挑战，最主要的挑战是运行速度。有些模型太大，是很难传输到手机上的，通常好几秒才能处理一张图像，或者功耗太高了，可能手机录一会儿就没电了，这些都是我们遇到过的挑战。要应对这种挑战，一般来说要从硬件、软件、算法三个方面共同努力，才能把嵌入式AI部署好。

　　介绍一下高性价比ARM SoC AI方案。以人脸识别为例，高性价比人脸识别设备支持本地2万张人脸库，联网抓拍模式可支持5万人脸库，识别时间在0.2秒以内。大家知道Caffe、Tensorflow框架，很多大公司做了很多服务器的训练框架，用来训练模型，但是训练完去部署的时候，如果还是照搬安装在手机上，其实非常耗资源，也非常笨拙。

　　现在有专门针对嵌入式平台的前向推理框架，前向推理框架的主要功能有五个方面。一是设备管理，一般来说嵌入式系统都是异构系统，不只是CPU，可能还有GPU、IPG或DSP，手机芯片里面有DSP，也可以用DSP做深度学习计算。二是除了异构性管理以外，还涉及模型管理。三是内存管理和存储格式，需要考虑以内存占用优先还是以性能优先。手机的内存通常很充足，但是一些更小的嵌入式设备、IoT级别的设备，内存非常受限，那就需要重点考虑。四是层级融合，从性能优化的角度来提升速度。五是实现方法选择。比如卷积，卷积是AI操作中非常重要的一部分操作，怎么做卷积最快有很多门道，卷积的实现方法有三到四种，要求底层的优化与上层的框架实现互相配合，而且要针对所调用的模型，根据效果做试配。可以通过性能评测看到结果，很多平台上都可以做性能评测。

　　下面看一下高性能FPGA AI方案。如果模型比较大，但又要求速度比较快，那么该如何去部署？典型的做法是用FPGA的AI来实现。我们支持两种常见的SoC架构和FPGA的开发生态bob半岛。硬件部分结合软件工具，可以将训练好的模型经过量化、压缩等操作，部署在AI加速处理架构上，实现较高效的执行。AI加速处理架构主要分为PS端与PL端的两部分设计，实质上是用状态机控制模型，使用PE实现具体的卷积操作，从而获得比较好的性能。

　　使用该方案能得到比较快的速度，平台上的速度可达300MHz，7100芯片上的速度可达160M Hz，基本上都达到了每秒处理60帧的速度，同时DSP单元的使用率达到了95%。这项技术可以应用在无人机上，而且未来还可以形成定制芯片。

　　我们不仅要将硬件和软件结合起来做底层优化，在算法模型这一层也有很多工作要做。首先，针对嵌入式AI的深度学习模型，要专门做优化bob半岛。其次，我们要做模型压缩功能，最常用的方法是蒸馏法。蒸馏法是指我们先在服务器上训练一个比较复杂的模型，再在此基础上训练一个小的模型，相当于一个老师教一个学生，这样学习来的小模型可以具备和大模型接近的性能效果，精度也更高，并且大大节省了计算资源半岛BOB·中国官方网站。然后，我们要做量化。最后，我们持续研发新型的网络结构，从而进一步降低计算量。（根据演讲内容整理，未经本人审核）