机器学习

向AI转型的程序员都关注了这个号 👇👇👇 机器学习AI算法工程 公众号：datayx 01. 概述 对于图像识别，采用传统的算法（opencv的一些算法），判断形状、颜色等等，我们在实验室和办公场所做测试，效果还不错，和容易识别出来。一旦到了工业现场，图像完全不行，连人和车都识别不出来。在不同光线下不论采用什么颜色空间（RGB、HSV什么）都无法分离出合理的色彩，更不要提判断和检测了。有感于实际的现场环境，决定放弃传统的算法，拿起深度学习的工具，来搞定这个项目。 02. 数据准备 高大上的人工智能背后，一定是苦逼的数据准备，深度学习的模型，需要成千上万的训练和测试数据，这些数据的采集和整理，还有数据的清洗都是体力活啊。 当然，我还是没傻到一张张去拍照片。我通过现场的摄像头做了视频采集，然后拿到录像，做了一个代码从录像中找到人，再把人的上半部分处理一下，变成标准格式的图片。这样子，2-3天的录像就可以产生几十万张图片了，看来训练集的问题解决了。 采用SSD的算法（用于物体检测的深度学习主流算法之一）检测出图片中的人。 这样就可以建立自己的训练集： train和test （带不带帽子的标注需要人工去做... 这个还是很苦逼） 03. 搭建模型 考虑到标准的图片只有128*128，特征不是很多，就动手搭建一个不算深的深度学习模型，采用卷积神经网络处理图形特征，搞过cnn的同学会觉得so

“ 本文面相有 一定编程基础 的朋友学习，所以略过了 环境安装 、 IDE 搭建 等一系列简单繁琐的事情。 一、Python 简介 Python 英文原意为 “蟒蛇” ，直到 1989 年荷兰人 Guido van Rossum （简称 Guido）发明了一种 面向对象 的 解释型 编程语言，并将其命名为 Python，才赋予了它表示一门编程语言的含义。 “ 说到 Python 的诞生，极具戏剧色彩，据 Guido 的自述记载，Python 语言是他在圣诞节期间为了打发时间开发出来的，之所以会选择 Python 作为该编程语言的名字，是因为他是一个叫 Monty Python 戏剧团体的忠实粉丝。 ■ 解释型 vs 编译型 作为电子元器件的 计算机 ，实际上 只能 识别某些 特定的二进制指令 (特殊的 01 组合) ，但由于 人类阅读 这些 指令 非常难以阅读，加上使用这些指令编写程序的 耗时 太过于 冗长 ，所以，人们在此基础上再次制定了一套规范，采用特定的 人类可阅读 的代码编写，待到要执行时再 翻译 回特定二进制指令，这样就帮助了人们更加轻松地理解和阅读程序逻辑了。 这也就是所谓现在的 "高级编程语言" 了。 上述 翻译 这个过程 (其实相当复杂，涉及语法分析、语义分析、性能优化等等..) 其实也是由一个特定程序来执行的，那 什么时候将源代码翻译成二进制指令呢？

在开发人员的圈子里面，通常有这样一句调侃的话： 其他编程语言的开发者都是需要仰着头看 C++ 开发者的。 C++，在大多数开发人员的眼里，是一种非常难懂难学且容易出错的语言，但是一旦学成，其妙无穷，如侠士行走江湖， 内功心法在身，无往不胜。 作为 一门多范式的通用编程语言 ，既支持传统的面向对象编程，也支持模板元编程模式。 在现代计算机信息领域，它是大多数上层技术的基础和支撑。 当然，除了作为基础技术支撑以外，在小到嵌入式、PC软件开发、游戏服务器，大到大型金融系统、高性能高并发计算应用、分布式服务器，到处都有 C++ 的身影，即使在现在 火热的人工智能和机器学习 ，外衣是 Python（模型描述），其内核仍然还是 C++（高性能运算） 。 此外，中国几乎所有大学计算机专业都会开设 C/C++ 课程，那些注重对学生基础能力培养的院校会建议 把 C/C++ 作为学生初入编程的第一门语言 ，为什么 C++ 会受到这么大的关注呢？ 我总结了 3 点它的核心竞争力： 1.性能： 虽然完成同样的功能，C++ 需要的代码行数可能比其他语言要多一些，但性能方面比其他语言一般要快，这点在大型应用系统上差别更大。 2.计算机资源利用率： 不管是移动设备，还是服务器，由于 C++ 语言更接近操作系统，大大减少了中间层的消耗，因此硬件资源利用率更多的应用于我们的应用本身。 3.对原理性的理解： C++

学习笔记： 章节 简介 1 - Introduction & next step 机器学习介绍 & 机器学习下一步 2 - Regression + Demo 回归 & 示例代码 3 - Bias & Variance 偏差和方差 4 - Gradient Descent 梯度下降方法 5 - Classification 分类 6 - Logistic Regression 对数几率回归（逻辑回归） 7 - Deep Learning 深度学习介绍 8 - Backpropagation 反向传播 9 - Keras Demo Keras代码示例 10 - Tips for Training DNN 深度学习技巧 11 - Keras Demo2 & Fizz Buzz Keras代码优化 12 - CNN 卷积神经网络 13 - Why Deep 为什么要用深度学习 Explainable ML 可解释性机器学习 Transformer Transformer及注意力机制 ELMO、BERT、GPT ELMO、BERT、GPT-2、ERNIE 课后作业： Week 1: 矩阵运算，图片操作 Week 2: CEO利润预测 论文阅读： An overview of gradient descent optimization algorithms 参考资料： 李宏毅 2017

点击上方 “ 小白学视觉 ”，选择加" 星标 "或“ 置顶 ” 重磅干货，第一时间送达 作者 | Scott Carey 译者 | Sambodhi 策划 | 刘燕 转自 | AI前线 为什么这三家公司最终都不约而同地放弃 TensorFlow ，而转向了 PyTorch？ 本文最初发表于 InfoWorld，经 InfoWorld 授权，InfoQ 中文站翻译并分享。 深度学习框架 PyTorch 凭借其相对易用性，已经渗透到了企业中。本文提到的三家公司告诉我们，为什么他们选择 PyTorch 而不是 Google 著名的 TensorFlow 框架。 深度学习 是机器学习的一个子类别，它使用多层神经网络将历史上很难完成的机器任务——比如 图像识别、自然语言处理 和 机器翻译——实现大规模自动化。 自 2015 年以来，TensorFlow 就从 Google 中脱颖而出，在研究和商业领域成为最受欢迎的开源深度学习框架。但是 2016 年从 Facebook 诞生的 PyTorch 由于社区推动的易用性改进和越来越广泛的用例部署，而迅速 赶上TensorFlow。 在汽车行业，PyTorch 的应用尤为广泛——它可以应用于 Tesla 和 Lyft Level 5 等公司的实验性自动驾驶系统。该框架也被媒体公司用来对内容进行分类和推荐，并在工业应用中支持机器人。 Facebook

Java和python犹如北乔峰南慕容，竞争不相上下。如果有能力同时学习那再好不过了，但很多刚刚接触IT行业的小伙伴在学习初期学习困难较大，还是要两者择其优。 下面是对python和Java两个编程语言的对比分析，大家可以酌情参考一下，依据自己的需求来定夺自己要学习哪一门语言。 1、运行速度 Java是静态语言静态编译的，速度上要比Python快的很多，而Python动态类型语言，一边执行一边编译，速度要上慢一些。 2、对Legacy代码的支持 对于legacy代码的支持，由于Java大量的用于电商，互联网后端，银行等大型系统，所以对于legacy的代码的数量要远大于Python。而Python要更轻量级一些，没有那么多legacy的问题。尤其是Py3即将全面推广，Py2要退出历史舞台。 3、代码开发效率 Python代码开发效率非常高，同样的函数功能，Java需要十几行，Python只要几行，代码数量要远小于Java，这样开发的时间和效率比Java高很多。 4、数据库的支持 Java跟数据库结合更紧密一些，有大量的数据库支持Java，类似JDBC这样的封装，使得的Java使用数据库更容易。Python虽然没有他俩关系那么铁，但是目前支持Python的数据库也非常多，而且很多主流数据库SQL，Mongodb，Redis都有API支持Python， 可以说Python不缺的就是库。

本文转载自「机器学习炼丹记」，搜索「julius-ai」即可关注。 原文链接： 小象 （一）一个框架看懂优化算法 机器学习界有一群炼丹师，他们每天的日常是： 拿来药材（数据），架起八卦炉（模型），点着六味真火（优化算法），就摇着蒲扇等着丹药出炉了。 不过，当过厨子的都知道，同样的食材，同样的菜谱，但火候不一样了，这出来的口味可是千差万别。火小了夹生，火大了易糊，火不匀则半生半糊。 机器学习也是一样，模型优化算法的选择直接关系到最终模型的性能。有时候效果不好，未必是特征的问题或者模型设计的问题，很可能就是优化算法的问题。 说到优化算法，入门级必从 SGD 学起，老司机则会告诉你更好的还有 AdaGrad / AdaDelta，或者直接无脑用 Adam。可是看看学术界的最新 paper，却发现一众大神还在用着入门级的 SGD，最多加个 Momentum 或者 Nesterov，还经常会黑一下Adam。比如 UC Berkeley 的一篇论文就在 Conclusion 中写道： Despite the fact that our experimental evidence demonstrates that adaptive methods are not advantageous for machine learning, the Adam algorithm remains

AI（人工智能）技术已经广泛应用于美团的众多业务，从美团App到大众点评App，从外卖到打车出行，从旅游到婚庆亲子，美团数百名最优秀的算法工程师正致力于将AI技术应用于搜索、推荐、广告、风控、智能调度、语音识别、机器人、无人配送等多个领域，帮助美团3.2亿消费者和400多万商户改善服务和体验，帮大家吃得更好，生活更好。 基于AI技术，美团搭建了世界上规模最大，复杂度最高的多人、多点实时智能配送调度系统；基于AI技术，美团推出了业内第一款大规模落地的企业应用级语音交互产品，为50万骑手配备了智能语音系统；基于AI技术，美团构建了世界上最大的菜品知识库，为200多万商家、3亿多件商品绘制了知识图谱，为2.5亿用户提供了精准的用户画像，并构建了世界上用户规模最大、复杂度最高的O2O智能推荐平台。 美团这个全球最大生活服务互联网平台的“大脑”是怎么构建的？从本周起，我们将连续发表“AI in 美团”系列文章，给大家全面揭开各项技术的内幕。 另外，业界第一部全面讲述互联网机器学习实践的图书《美团机器学习实践》也即将上市，敬请期待，本文选自书中第十五章。 背景 计算机视觉是利用摄像机和电脑代替人眼，使得计算机拥有类似于人类的对目标进行检测、识别、理解、跟踪、判别决策的功能。以美团业务为例，在商家上单、团单展示、消费评价等多个环节都会涉及计算机视觉的应用，包括文字识别、图片分类

Scikit-learn ，简称 Sklearn ，是使用最广泛的开源 Python 机器学习库。它基于 Numpy 和 Scipy ，提供了大量用于数据挖掘和机器学习分析、预测的工具，包括数据预处理、可视化、交叉验证和多种机器学习算法。其中提供的模型能够实现分类，回归，聚类，数据降维等功能。 Sklearn 是解决实际问题的一种工具，但面对机器学习问题时，最难的部分其实并不是缺乏工具，而是如何为具体项目找到合适的模型。 此处举 2 个案例。 案例 1 ：老板丢给你 20 万个客户的淘宝网店购物记录，让你预测其中客户未来的一年内的生命周期价值 LTV （ Life TimeValue ），用 Scikit-learn 中的哪个模型？ 案例 2 ：老板丢给你 1000 个客户的下载、注册、使用和卸载 App 的行为记录，让你预测其中一些客户未来 3 个月内流失的可能性，用 Scikit-learn 中的哪个模型？ Sklearn 中的机器学习模型这么多，怎么知道哪个模型适合处理什么类型的数据，解决什么样的问题呢？ 步骤 1 ：找到 Sklearn 官网提供的“工具选择流程图”。只要带着问题，跟着图往下走，就能够找到答案。 此处整理了中文版本，便于大家阅读。 步骤 2 ：跟着图分解自己的案例。 以 案例 1 为例 : 从上图的“开始”往下走，进入“大于 50 个样本”环节 ;

一直认为推荐引擎可以是很简单AI应用，也可以是最有潜力做复杂的。 数字化时代之前的推荐是怎么做的。试想一个初次当家的小姑娘跑进百货商店，和售货员阿姨说:"我想买一块香皂，阿姨有什么推荐的吗?”售货价上一共只有三款香皂，售货员阿姨根据记忆，嗯，这么大的小姑娘一般都是选这款，于是就推荐了这款。这个过程数字化之后，就是最简单的推荐引擎。 随着物资越来越丰富，香皂选项可能上升到几千种，香皂的属性从只有价格和香味扩展为功能，成分，产地等几十上百个属性后，每个人的需求也更加精细化，那售货员阿姨的推荐就没那么简单了。这也是一般购物网站的推荐引擎需要实现的功能，从琳琅满目的商品中做推荐。每个用户都用一个矢量来表示，其中每个元素都对应一个用户属性，比如说性别，年龄，区域，终端设备，访问时间，消费级别，购物欲…,你可能会质疑，用户终端设备信息有什么用，用户的购物欲是怎么得到。因为本文是讲推荐引擎，所以不跑题去讨论这个了，有兴趣的可以参考之前的一篇文章<最了解你的人是谁----是他是她还是它>。有了这个用户属性后，要在顾客数据库里找出最相近的那个用户或一组用户，把他们的选择推荐出去就好啦。 可能你还是会觉得这很简单。但仔细一想，很容易就会发现两个问题。 问题一，当你的数据库客户有几个million，用户属性增多后，实时的找出最相似的用户，计算量相当惊人。而作为在线推荐，据实验统计