Metaflow

技术债务的高息信用卡:深入了解那些知名的端到端机器学习平台

拜拜、爱过 提交于 2020-10-07 01:00:25
本文转载自公众号“读芯术”(ID:AI_Discovery)。 机器学习(ML)被称为技术债务的高利率信用卡。对于特定的业务问题,使用适用的模型会相对容易一些,但是要使该模型在可伸缩的生产环境中运行,并能够处理不断变化的混乱数据语义和关系,以及以可靠的自动化方式演进模式,则完全是另一回事。 对于机器学习生产系统而言,只有5%的实际代码是模型本身。将一组机器学习解决方案转变为端到端的机器学习平台的,是一种运用了加速建模、自动化部署和确保生产中的可伸缩性和可靠性的技术的架构。 笔者此前讲过lean D/MLOps,数据和机器学习操作,因为没有数据的机器学习操作是没有意义的,所以端到端机器学习平台需要进行整体构建。CI/CD基金会启动了一个MLOps特别兴趣小组(SIG)。其端到端机器学习平台确定的步骤如下图所示: 不过,其中掩盖了一些不太重要的细节。例如,服务可能需要不同的技术取决于它是否是实时完成的。可伸缩的解决方案通常将模型放在一个负载均衡器后的服务集群的多个机器上的容器内运行。因此,上述图表中的单个框并不意味着实际平台的单个步骤、容器或组件。 这并不是对图中步骤进行批评,而是一个警示:看似简单的事情在实践中可能并不那么容易。 图表中没有模型(配置)管理。可以考虑诸如版本控制、实验管理、运行时统计、用于培训、测试和验证数据集的数据沿袭跟踪,从头开始或从模型快照、超参数值

第 426 期 Python 周刊

时光毁灭记忆、已成空白 提交于 2020-01-06 15:29:32
【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 文章,教程和讲座 端到端机器学习:从数据收集到模型部署 链接: https://ahmedbesbes.com/end-to-end-ml.html 在本文中,我们将完成构建和部署机器学习应用程序的必要步骤。这从数据收集到部署开始,您将看到它的旅程令人兴奋且有趣。 Django 3.0 新增功能 链接: https://www.youtube.com/watch?v=_BBNVFirvTY Django 刚刚发布了他们的下一个正式版本 Django 3.0。新版本会对你产生什么影响?ASGI 是什么? 高性能 Python 链接: https://strangemachines.io/articles/performant-python 如何以最简单的方式写出高性能的 Python 代码? 使用 OpenCV 进行车辆检测,跟踪, 速度估测 链接: https://www.pyimagesearch.com/2019/12/02/opencv-vehicle-detection-tracking-and-speed-estimation/ 在本教程中使用 OpenCV 深度学习检测视频流中的车辆以对其跟踪,并应用速度估测算法来检测运动车辆的 MPH / KPH。 使用 Python 制作一个全功能 Indeed