LiteAI 四大杀手锏，解锁物联网智能设备AI开发难关

【摘要】 IoT设备中嵌入AI能力实现产品的智能升级，已经是AIoT行业发展的重要通道，那怎样才能实现AIoT = AI + IoT呢？如何将AI模型塞到小小的IoT设备里，让它可以轻松运行起来呢？成为了AI开发者遇到的棘手难题。

你知道我们生活中常见的物联网智能设备融合AI技术后，会给我们带来什么样的智能交互体验？在我们指尖触碰的那一刹那背后隐藏的代码世界又是怎么样的呢？

今天就来和大家说说IoT智能设备轻松实现AI的奥秘!

AIoT，智能化升级的最佳通道

AIoT，对我们来说已经不是一个陌生的词汇了，随着深度学习的蓬勃发展和5G万物互联时代的到来，越来越多的人将AI与IoT结合到一起，而 AIoT已经成为传统行业智能化升级的最佳通道，是物联网发展的必然趋势。

AI和IoT相互交融产生的魔力，让许多智能产品及智能应用成为无穷想象的“潜力股”。比如智能音箱中的语音唤醒，家庭监控里的人脸识别，可穿戴设备上的AI计步等等，已经验证物联网产品融入人工智能，升级成了智能设备后的“威力”。

很多AI开发者开发者在训练得到AI模型之后，必须得在设备上实现模型的推理才能获得相应的AI能力，但目前AI模型不能直接在设备上运行起来。这就意味着， 开发者还得有一套对应的推理框架才能真正实现AI与IoT设备的结合。

另外，目前深度学习虽然可以在很多领域超越传统算法，不过真正用到实际产品中却要面临计算量大，内存占用高，算法延时长的问题，而IoT设备又往往有算力低、内存小及实时性要求高的特点。 因此针对IoT资源受限的问题，AI模型的压缩及性能优化是AI模型在部署过程中必须解决的难点。

IoT设备中嵌入AI能力实现产品的智能升级，已经是AIoT行业发展的重要通道，那怎样才能实现AIoT = AI + IoT呢？如何将AI模型塞到小小的IoT设备里，让它可以轻松运行起来呢？成为了AI开发者遇到的棘手难题。

LiteOS轻量级AI推理框架LiteAI，从模型转换、优化及执行三个方面向开发者呈现如何在IoT设备上实现AI模型的推理全流程，并结合智能设备AI开发的案例，展示AI部署全过程。
针对IoT设备内存空间小的问题，LiteAI应用了模型量化技术，将模型参数从32比特浮点量化到8比特定点，实现75%模型压缩；实现更合理的内存管理算法，最大化内存复用率，绝大部分场景下达到内存使用下限值；提供模型压缩及聚类算法供开发者选择，进一步减少内存占用。
LiteAI采用算子融合、SIMD指令加速、循环分支细化及Cache分块等技术手段，优化AI网络算子性能，加速模型推理，充分发挥ARM CPU算力。
LiteAI推理引擎纯C语言实现，无第三方依赖，极为适合IoT产品部署；采用代码化模型执行函数设计，仅编译链接有用算子，完全剔除其他所有无用算子，基本无冗余代码，实现代码段空间占用最小化。