minifi

介绍 我们在前面介绍过Edge2AI自动驾驶汽车的解决方案，参见《 Edge2AI 自动驾驶 汽车： 在小型智能汽车上收集数据并准备数据管道》，《Edge2AI 自动驾驶 汽车： 构建Edge到AI数据管道》，《 Edge2AI 自动驾驶 汽车： 训练模型并将其部署到边缘 》 ，《 Edge2AI自动驾驶汽车教程 》，《 Edge2AI自动驾驶汽车教程1：在边缘提取汽车传感器数据 》 。在这里我们从实操教程的角度来看如何一步一步的构建Edge2AI自动驾驶汽车的应用。 在上一教程中，我们从安装在智能车辆上的传感器收集了数据，并建立了一条管道来对数据进行建模，以用于训练机器学习（ML）模型。本节我们将展示从边缘到CDF的数据流。数据采用图像和与CSDV收集的每个图像相关联的元数据的形式（例如，IMU信息，转向角和位置），我们将把数据流引向CDH集群，在该集群中将存储和管理数据使用它来训练模型的目的。 先决条件 • 在Cloudera DataFlow集群上部署的CEM • 完成 了本教程系列的第一部分 概念 我们将使用Cloudera Edge Manager（CEM）在aws ec2实例上的云中运行的交互式UI中构建NiFi数据流。该数据流将用于从MiNiFi代理提取数据，转换数据以将CSV和图像数据路由到在另一个ec2实例上运行的HDFS。 • Cloudera Flow

介绍 我们在前面介绍过Edge2AI自动驾驶汽车的解决方案，参见《 Edge2AI 自动驾驶 汽车： 在小型智能汽车上收集数据并准备数据管道》，《Edge2AI 自动驾驶 汽车： 构建Edge到AI数据管道》，《 Edge2AI 自动驾驶 汽车： 训练模型并将其部署到边缘 》 。在这里我们从实操教程的角度来看如何一步一步的构建Edge2AI自动驾驶汽车的应用，这个教程也是分成了三个部分，今天的内容是总体介绍这个教程。 自动驾驶汽车是Cloudera自动驾驶汽车的开源版本。这款无人驾驶微型汽车由3个摄像头，LiDAR和游戏控制器提供动力，并连接到Jetson TX2板上。TX2运行机器人操作系统（ROS）并控制汽车的运动。最终，如果我们有多辆汽车，我们可以在汽车上训练模型，然后将该模型发送给CDSW并执行联合学习。在本教程中，我们将汽车数据发送到云中的Hadoop HDFS。我们使用CDSW运行Keras训练模型，然后将模型保存到HDFS。该模型经过训练，可以从跑道上克隆人的驾驶行为，以基于中心摄像头框架预测转向角，该摄像头框架使用ROS控制汽车。最后，将模型重新部署到汽车中，以说明Edge To AI的生命周期。 学习目标 • 将MiNiFi C ++代理安装到Jetson TX2上 • 了解TX2的汽车传感器数据 • 构建用于Emi数据管道的ETL数据管道，以用于CEM •