索尼近日宣布即将推出两款 AI 图像传感器，代号 IMX500 和 IMX501，号称具备智能视觉的 “全球首款 AI 图像传感器”。其中 IMX500 是无封装版，IMX501 是封装版，没有其他性能差异。
AI 图像传感器兼具运算能力和内存，能够在没有额外硬件辅助的情况下执行机器学习驱动的计算机视觉任务，使得很多依赖机器学习算法的图像处理技术能够在本地运行，衍生出更简化、高效和安全的解决方案。
索尼业务与创新副总裁马克·汉森（Mark Hanson）认为，相比将数据发送到云端的解决方案，IMX500 的应用潜力巨大，成本效益更高，尤其是在未来的边缘计算领域。它支持 1200 万像素图像，以每秒 60 帧的速度捕获 4K 视频，或者不捕获任何图像，仅提供所见内容的元数据。
官方预计首批搭载该传感器的产品最早将于 2021 第一季度上市，目前已有早期商业客户拿到了测试样品，IMX500 售价约 93 美元，IMX501 售价约 186 美元。
图｜IMX500（小）和 IMX501（大）（来源：索尼）
不过，第一代 AI 图像传感器可能不会出现在智能手机或平板电脑等消费者产品中。索尼的首批目标是零售商和工业客户，比如亚马逊 Go 无人商店，其他应用场景包括访客统计、交通状况和人流量热图绘制等。
以亚马逊无人商店为例，每家商店中都装有上百个 AI 技术加持的摄像头，用来追踪顾客的行动轨迹，捕捉他们在货架上的购买行为，最终创建购物清单完成结账。有数据分析显示，对运算能力和数据处理的高要求推高了硬件成本，并减缓了 Go 商店的推广速度。
汉森指出，“建造这种商店需要上百个摄像头，每天要生成和处理 PB 级别的数据（1PB 等于 100 万 GB），如果我们可以把运算能力缩小并放在每一块芯片上，就可以实现更多有趣的事情。”
除了节省成本，具备本地运算能力的 AI 芯片还可以提供更好的隐私保护环境。将 AI 技术与图像传感器结合起来后，针对目标对象的检测和识别都可以在设备上完成，无需将数据发回云端分析，只需要传回元数据即可，减少敏感信息被盗取和劫持的风险。
图 | IMX500 和 IMX501 的详细参数（来源：索尼）
索尼表示，在执行图像处理任务时，IMX500 的运行速度也比其他 AI 摄像头快得多。它能够在 3.1 毫秒将标准图像识别算法 MobileNet V1 应用于单个视频帧。
相比之下，谷歌 Clips 相机和大疆精灵 4 无人机所使用的 Movidius 计算机视觉芯片（2016 年被英特尔收购），可能需要数百毫秒以上的处理时间，相差 30 多倍。
这一点在工业自动化协作机器人上至关重要。它们通常会在车间与工人搭配合作，出于安全因素考虑，驱动它们的计算机视觉芯片需要具备快速检测人类目标的能力。这样可以在发生意外时快速停止工作，避免误伤。
目前第一代 IMX500 还存在一定的局限性，只能运行比较基础的机器学习算法，还不具备处理复杂任务的能力。
面对日益增加的自动驾驶等需求，索尼希望未来将 IMX500 打造成一个简单的单应用设备，即专门应对复杂和多样化任务的专用AI硬件，具备处理和分析更复杂任务的能力，而不仅局限于运行基础算法。
索尼首席执行官吉田宪一郎明确表示，新产品符合公司的长期目标，即扩大其传感解决方案的种类并追求更多样化的经常性收入。
目前在图像处理领域，索尼拥有巨大的影响力，市场份额超过 60%，去年传感器出货量约为 16 亿枚。因此索尼认为，一旦技术完成多次迭代走向成熟，庞大的占有量足以帮助其大规模推广 AI 图像传感器，打入消费者市场。
来源：oschina
链接：https://my.oschina.net/u/4363105/blog/4282534