深度学习

向AI转型的程序员都关注了这个号 👇👇👇 机器学习AI算法工程 公众号：datayx 训练模型前的准备 A.数据准备 数据的标注仍然采用VOC格式的数据标注形式，如果是其他的标注形式比如COCO请自行实现相关代码。将数据最终转化为如下形式： path_filename, x1, y1, x2, y2, class_name 格式说明 代码及运行教程，数据集 获取： 关注微信公众号 datayx 然后回复 安全帽 即可获取。 AI项目体验地址 https://loveai.tech 可以运行如下代码实现数据集的准备工作: python3 ./data/data_pro.py 将在 ./data 文件夹下生成 annotation.txt 文件，这样训练数据的准备工作即完成。 B.配置文件准备 根据自己的训练集和训练任务修改 ./keras_frcnn/config.py 的配置文件,相关参数的解释和配置如下： 训练模型 预训练模型的下载地址：https://github.com/fchollet/deep-learning-models Shell下运行： python3 train_frcnn.py --path="./data/annotation.txt" --network="vgg" --input_weight_path="./pre_train/vgg16

深度学习与遥感论文推荐 期刊论文推荐 1. Yuan, Q., Shen, H., Li, T., Li, Z., Li, S., Jiang, Y., … Zhang, L. ( 2020 ). Deep learning in environmental remote sensing: Achievements and challenges. Remote Sensing of Environment , 241, 111716. 2. Cunha, R. L. F. and Silva, B.: ESTIMATING CROP YIELDS WITH REMOTE SENSING AND DEEP LEARNING, ( 2020 ), ISPRS Ann. Photogramm. Remote Sens. Spatial Inf. Sci ., IV-3/W2-2020, 59–64. 3. Mohan, A., Singh, A. K., Kumar, B., & Dwivedi, R. ( 2020 ). Review on remote sensing methods for landslide detection using machine and deep learning. Transactions on Emerging Telecommunications

关注“ AI科技时讯 ” 设为星标，第一时间获取更多干货 FM模型最早由Steffen Rendle在2010年提出，解决了稀疏数据场景下的特征组合问题，在广告、推荐等领域被广泛使用。FM模型简单而且效果好，可以作为业务初期快速取得收益，为后续持续迭代提供一个较强的baseline。FM模型从首次提出到现在已经过去七八年时间，这期间的研究进展如何呢？比如： FM类模型有哪些改进？ 哪些模型或者应用引入了FM思想？ 近期的顶会针对FM有哪些改进工作？ 工业界大规模数据场景下如何分布式训练FM模型？ 这一连串的问题代表了学术界和工业界对FM模型关于如何优化和实际应用的深入思考。带着这些问题，下文中笔者根据自己的理解将从不同方面对FM模型的演进进行介绍。文中涉及到的公式进行统一表示来方便读者理解，并为读者提供了参考文献的链接。 一、区别特征交互作用 这部分模型的演进思路就是根据假设来增加参数量（即模型复杂度）来提高模型表达能力。FFM模型参数量太大，一则容易过拟合，二则不利于线上大规模部署（内存压力）。笔者更倾向于Field-weighted FM，简单有效，在效果和实际应用上做了很好的tradeoff。 FM 文章链接：csie.ntu.edu.tw/~b97053 Field-aware FM 文章链接：csie.ntu.edu.tw/~r01922 FM中一个特征只对应一个向量

李宏毅老师的机器学习课程和吴恩达老师的机器学习课程都是都是ML和DL非常好的入门资料，在YouTube、网易云课堂、B站都能观看到相应的课程视频，接下来这一系列的博客我都将记录老师上课的笔记以及自己对这些知识内容的理解与补充。(本笔记配合李宏毅老师的视频一起使用效果更佳！） Lecture 8：Why deep？ 1.Shallow network VS Deep network 在比较浅层网络与深层网络时，要让“矮胖”的网络和“高瘦”的网络的参数数目相等，这样比较才公平,如下图所示 比较结果如下图所示： 从上图可以看出：即便是在深层网络参数较少的情况下，深层网络也会比浅层网络表现好。 这是因为 “深层”其实相当于“模组化” ，第一个隐层是最基本的分类器，第二个隐层是用第一个隐层建造的分类器，以此类推。 2.模组化(Modularization) （1）举个图像识别的例子，识别长发男生、长发女生、短发男生和短发女生，如下，由于长发男生样本少，所以模型训练出来的效果对测试集上的长发男生效果会比较差（样本不平衡） 因此接下来让我们使用模组化的思想解决这一问题，我们先考虑识别基础类别（男女、长发短发），即我们先input一张图片，识别这是长发还是短发，这是男还是女，此时样本比例是相当的，由此训练的效果不会变差，且由两个基础类别的组合可以得到最终的四个类别。

向AI转型的程序员都关注了这个号 👇👇👇 机器学习AI算法工程 公众号：datayx 01. 概述 对于图像识别，采用传统的算法（opencv的一些算法），判断形状、颜色等等，我们在实验室和办公场所做测试，效果还不错，和容易识别出来。一旦到了工业现场，图像完全不行，连人和车都识别不出来。在不同光线下不论采用什么颜色空间（RGB、HSV什么）都无法分离出合理的色彩，更不要提判断和检测了。有感于实际的现场环境，决定放弃传统的算法，拿起深度学习的工具，来搞定这个项目。 02. 数据准备 高大上的人工智能背后，一定是苦逼的数据准备，深度学习的模型，需要成千上万的训练和测试数据，这些数据的采集和整理，还有数据的清洗都是体力活啊。 当然，我还是没傻到一张张去拍照片。我通过现场的摄像头做了视频采集，然后拿到录像，做了一个代码从录像中找到人，再把人的上半部分处理一下，变成标准格式的图片。这样子，2-3天的录像就可以产生几十万张图片了，看来训练集的问题解决了。 采用SSD的算法（用于物体检测的深度学习主流算法之一）检测出图片中的人。 这样就可以建立自己的训练集： train和test （带不带帽子的标注需要人工去做... 这个还是很苦逼） 03. 搭建模型 考虑到标准的图片只有128*128，特征不是很多，就动手搭建一个不算深的深度学习模型，采用卷积神经网络处理图形特征，搞过cnn的同学会觉得so

自然语言处理与深度学习： 语言模型： N-gram模型： N-Gram模型：在自然语言里有一个模型叫做n-gram，表示文字或语言中的n个连续的单词组成序列。在进行自然语言分析时，使用n-gram或者寻找常用词组，可以很容易的把一句话分解成若干个文字片段 词向量： 神经网络模型： 注：初始化向量，可以先随机初始化。 传统神经神经网络只需要优化输入层与隐层，隐层与输出层之间的参数。 神经网络模型的优势：一方面可以得到词语之间近似的含义，另一方面求解出的空间符合真实逻辑规律 CBOW求解目标： 预备知识： 树的带权路径长度规定为所有叶子结点的带权路径长度之和,记为WPL。 分层的softmax设计思想：词频中出现词概率高的尽可能往前放，可以用哈夫曼树来设计。 自然语言哈夫曼树详解，包含构造和编码：https://blog.csdn.net/shuangde800/article/details/7341289 Hierarchical Softmax是用哈夫曼树构造出很多个二分类。 负采样模型： 来源： oschina 链接： https://my.oschina.net/u/4396372/blog/3912941

学习笔记： 章节 简介 1 - Introduction & next step 机器学习介绍 & 机器学习下一步 2 - Regression + Demo 回归 & 示例代码 3 - Bias & Variance 偏差和方差 4 - Gradient Descent 梯度下降方法 5 - Classification 分类 6 - Logistic Regression 对数几率回归（逻辑回归） 7 - Deep Learning 深度学习介绍 8 - Backpropagation 反向传播 9 - Keras Demo Keras代码示例 10 - Tips for Training DNN 深度学习技巧 11 - Keras Demo2 & Fizz Buzz Keras代码优化 12 - CNN 卷积神经网络 13 - Why Deep 为什么要用深度学习 Explainable ML 可解释性机器学习 Transformer Transformer及注意力机制 ELMO、BERT、GPT ELMO、BERT、GPT-2、ERNIE 课后作业： Week 1: 矩阵运算，图片操作 Week 2: CEO利润预测 论文阅读： An overview of gradient descent optimization algorithms 参考资料： 李宏毅 2017

这段时间正在开始痛苦地自学Python，偶然机会被大佬提供机会进入速成营。 6天的基础课程+作业，学习到python基础语法，数据类型，流程控制，组合数据类型，函数等知识，还学习到面向对象，继承与多态，以及python基础类库。涵盖了python的全面基础知识。 课程从讲授到后期答疑，作业辅导都非常到位，弥补了好几个自学时挠破头皮也想不出来的东东，例如多态、多继承、装饰器等知识点，收获颇多。 ------------------------------ 多继承 #多个父类有相同的属性或方法名，这种情况应该避免 class Father(): def __init__(self): self.color = 'black' def talk(self): print("---爸爸的表达能力---") class Mather(): def __init__(self): self.color = 'white' def talk(self): print("--妈妈也能表达") def smart(self): print("---妈妈聪明的头脑---") class Child(Father,Mather): pass child1 = Child() child1.talk() child1.smart() print(child1.color) 运行结果： —爸爸的表达能力—

点击上方 “ 小白学视觉 ”，选择加" 星标 "或“ 置顶 ” 重磅干货，第一时间送达 作者 | Scott Carey 译者 | Sambodhi 策划 | 刘燕 转自 | AI前线 为什么这三家公司最终都不约而同地放弃 TensorFlow ，而转向了 PyTorch？ 本文最初发表于 InfoWorld，经 InfoWorld 授权，InfoQ 中文站翻译并分享。 深度学习框架 PyTorch 凭借其相对易用性，已经渗透到了企业中。本文提到的三家公司告诉我们，为什么他们选择 PyTorch 而不是 Google 著名的 TensorFlow 框架。 深度学习 是机器学习的一个子类别，它使用多层神经网络将历史上很难完成的机器任务——比如 图像识别、自然语言处理 和 机器翻译——实现大规模自动化。 自 2015 年以来，TensorFlow 就从 Google 中脱颖而出，在研究和商业领域成为最受欢迎的开源深度学习框架。但是 2016 年从 Facebook 诞生的 PyTorch 由于社区推动的易用性改进和越来越广泛的用例部署，而迅速 赶上TensorFlow。 在汽车行业，PyTorch 的应用尤为广泛——它可以应用于 Tesla 和 Lyft Level 5 等公司的实验性自动驾驶系统。该框架也被媒体公司用来对内容进行分类和推荐，并在工业应用中支持机器人。 Facebook

点击上方 “ AI算法与图像处理 ”，选择加"星标"或“置顶” 重磅干货，第一时间送达 来源：OpenCV视觉实践 明天就是七夕了！ 如果有对象，祝早生贵子！ 没有对象，祝早结连理！ （搞笑一下，祝大家幸福美满吧，嘿嘿嘿） 给大家准备了一份已经写好的代码，利用python+opencv+openpyxl，opencv实现读取图片像素颜色，然后 openpyxl 自动填充Excel表格对应单元格背景颜色，得到一副Excel填充图画。文末代码下载链接。 先来看看效果叭（gif动图）！ 把图片换成女朋友的真人图像会更逼真，会更加更好看。 然后看代码叭！ 配置环境 我们需要用到python以及openpyxl和opencv包，没有下载的小伙伴可以去配置一下，超级简单： 大概就是在python终端（看个人环境）执行： pip install opencv-python pip install openpyxl 下面是我安装openpyxl包的录屏，可以参考一下，也可以跳过。 配置完成后就是导入我们需要的包了，这儿不需要过多了解： #导入opencv和openpyxl import openpyxl import cv2 as cv import numpy as np from openpyxl import load_workbook from openpyxl import