神经网络

顶级在线设计工具收藏 疯狂的技术宅 前端先锋 介绍 这是一些精心挑选的在线工具，这些工具都经过了测试，我发现它们非常有用，并与大家分享。 背景 1. SVG BACKGROUNDS 与PNG、JPG 或 GIF一样，SVG 图像也可以用作 CSS 中的背景图像。这是一种很酷的方法，因为我们可以将主要元素本身与纯色背景颜色匹配，并使页面背景渗入 SVG 内部的负空间。 网址： https://www.svgbackgrounds.com/ 2. FREEPIK BACKGROUND COLLECTION 可以检索并下载大量免费的 SVG 背景资源。 ✓免费供商业用途 ✓高质量图像。 网址： https://www.freepik.com/free-photos-vectors/svg-background 3. HERO PATTERNS 一组可供你平铺的 SVG 背景图案，供你在 Web 项目中使用。 网址： https://www.heropatterns.com/ 4. FLATICONS 可以通过简单的步骤创建精美的设计。 搜索图标，选择你的收藏夹并将其放在工作区中 你可以更改大小，颜色和背景。 以你喜欢的格式和大小下载设计。 网址： https://www.flaticon.com/pattern/ 5. LOADING.IO PATTERNS 这是个很棒的工具

日前，由又拍云举办的大数据与 AI 技术实践｜Open Talk 杭州站沙龙在杭州西溪科创园顺利举办。本次活动邀请了有赞、个推、方得智能、又拍云等公司核心技术开发者，现场分享各自领域的大数据技术经验和心得。以下内容整理自个推资深算法工程师令狐冲现场分享： 令狐冲（花名），个推资深算法工程师，目前负责个推深度学习相关研发工作，对 AI 算法有深入的了解及丰富的实践经验，擅长将大数据分析与深度学习神经网络相结合，为业务落地输出算法产品化能力。 大家好，我是来自个推的令狐冲，今天主要分享大数据中的异常值检测和实战应用，围绕研究背景、异常值检测方法、异常检测实战应用等话题，结合相关实战数据介绍异常值检测算法的最新进展情况。 研究背景 异常值检测是大数据分析中一个重要的研究方向，实时异常值自动检测有助于运营人员快速发现系统异常问题。我们常说的异常值通常是相对于正常值来表述的，要结合实际业务来讲一个值是否正常，也就说这是一个业务描述。如果我们要解决一个业务问题，首先要做的就是将这个问题数学化，将业务描述转化为数学描述，这样你才可以使用适合的算法或使用其他分析方法来解决。 对于异常值而言，从数学上看可以看做一个离群点。当然在实际业务中，考虑到业务的结合情况不同，有些异常值看似是离群点，但是从全局业务上看也可能是一个正常值。具体情况需要结合结果来分析，不过我们大致可以使用离群点来代表异常值。

来源： 利维坦 树突（红色）神经元的分支过程，接收突触信息的突出棘的渲染，以及来自小鼠大脑皮层的饱和重建（多色圆柱体）。© Lichtman Lab at Harvard University 利维坦按： 关于大脑，你可以用这句话来自问：你 凭什么 觉得自己可以理解它呢？你或许会回答说：凭大脑。即，凭借大脑来理解大脑。但问题是，这两个“大脑”的信息匹配度或许存在很大差异。这就如同文中博尔赫斯那篇关于帝国地图的精妙描述：所有地图的绘制之所以能够以比例成图，就在于忽略掉了现实的很多细节，可试想，如果真要绘制一幅 囊括一切 细节 的地图，那么这张地图无疑与真实国度的比例相同了。 同理，鉴于我们目前对于脑内的这坨物质理解十分有限，所以，如何再描述“理解”可谓十分重要了。也许，未来人类对于人脑的理解可以非常接近我们的人脑地图“比例”，但，无限接近也仅仅是无限接近。 在去年秋天一个寒冷的夜晚，紫红的太阳缓缓坠落，我坐在哈佛大学郊外的办公室里，透过落地窗凝视着窗外的虚无，思考着关于老鼠大脑的数据集。 与此同时，我回想起波士顿市中心那些没有窗户的冰冷房间，那里的高性能计算中心存储着我宝贵的48TB数据。作为博士实验的一部分，我用了13万亿个字节来记录数据，并研究 老鼠大脑的视觉皮层是如何对运动做出反应的 。 如果将数据集按双倍行距打印出来，需要1160亿张纸。但当我写完关于这些数据的故事时

作者|陈大鑫、青暮 原文链接： https://mp.weixin.qq.com/s/baV9qKI73NrfsOZNbmSJ8g ​ mp.weixin.qq.com 当今世界人工智能领域，有三位AI学者被业内奉为“神一样的存在”，其中两位来自加拿大，一位来自法国。 他们就是2018年的图灵奖得主 Geoffrey Hinton 、 Yoshua Bengio ，以及我们今天要着重介绍的 Yann LeCun （以下简称“LeCun”)——纽约大学终身教授、纽约大学数据科学中心的创始人、Facebook人工智能研究院首席科学家。 LeCun是法国学术界非常引以为豪的科学家，也是在美国科技巨头公司中担任要职的为数不多的法国人。虽然同为“极客”，但法国人独特的气质让LeCun和很多美国科学家相比，看起来更加随意、富有亲和力。 他所开发的手写数字辨识模型LeNet，不但是反向传播算法的首次被实践，也证实了Hinton的想法是可行的，更是计算机视觉中常见的卷积神经网络原型。 在这篇文章中，AI科技评论将带大家回顾LeCun的一路走来的六十年。 ——1—— 从“2001太空漫游”到单板机 LeCun全名为Yann André Le Cun，他于1960年7月8日出生于法国巴黎西北边的一个小镇上。而Yann LeCun这个名字的由来，则是因为他考虑到自己的发展重心是美国和加拿大

基础：逻辑回归 Logistic 回归模型的参数估计为什么不能采用最小二乘法？ logistic回归模型的参数估计问题不能“方便地”定义“误差”或者“残差”。 对单个样本： 第i层的权重 W [ i ] 维度的行等于i层神经元的个数，列等于i-1层神经元的个数；第i层常数项 b [ i ] b[i]维度的行等于i层神经元的个数，列始终为1。 对m个样本,用for循环不如用矩阵快，输入矩阵X的维度为（ n x ,m），n x 是输入层特征数目。 其中， Z [ 1 ] 的维度是（4,m），4是隐藏层神经元的个数； A [ 1 ] 的维度与 Z [ 1 ] 相同； Z [ 2 ] 和 A [ 2 ] 的维度均为（1,m）。 行表示神经元个数，列表示样本数目m。 一文弄懂神经网络中的反向传播法——BackPropagation 反向传播推导 输出层 ----> 隐含层 以w5为例， 更新的是权值 ： 1.计算总误差 分别计算o1和o2的误差，总误差为两者之和 2.链式法则 计算 ： 计算 ： 计算 ： 最后三者相乘： 更新w5的值： 隐含层---->隐含层 方法其实与上面说的差不多，但是有个地方需要变一下，在上文计算总误差对w5的偏导时，是从out(o1)---->net(o1)---->w5,但是在隐含层之间的权值更新时，是out(h1)---->net(h1)---->w1,而

3 月 18 日，由李飞飞担任所长之一的「以人为本人工智能研究所」（HAI）自启动以来不短的时间后，终于完成了正式成立的高光时刻。而正式上线的官网日前也更新了两条博文，一篇是详尽介绍 HAI 的文章；另一篇则是今天要给大家介绍的斯坦福 HAI 版人工智能简史图，图中涵盖的信息包括：人工智能大事记、全球人工智能初创公司布局、人工智能的普及度进展、人工智能的研究和教育进展以及斯坦福的人工智能突破性成果和人工智能课程。 而之所以给此图加上「斯坦福 HAI 版」的前缀，则是因为本图笼罩着满满的「斯坦福」光环。本图虽然不够详尽，但是作为大家一窥人工智能历史以及目前相关进展的精简版素材，还是足够的。 下面就一起逐个看看吧~ 人工智能大事记 1955 年，在达特矛斯会议上，当时备受尊敬的计算机科学家约翰·麦卡锡首度提出「人工智能」这一概念。之后，本次会议也被视作人工智能正式诞生的标志，而提出者约翰·麦卡锡也被誉为「人工智能之父」。 1963 年，「人工智能之父」约翰·麦卡锡创建了斯坦福人工智能实验室（SAIL，Stanford Artificial Intelligence Laboratory）。该实验室拥有多个领域的专家，涉及机器人技术、计算机视觉、机器学习、图像处理、自然语言处理等多个领域，代表人物包括一大批在人工智能领域闻名遐迩的人物，如 Christopher Manning 、吴恩达

3.6 激活函数 3.7 为什么需要非线性激活函数？ 3.8 激活函数的导数 参考文章： sigmoid函数求导过程 https://blog.csdn.net/zhangyingjie09/article/details/82180199 Tanh激活函数及求导过程 https://blog.csdn.net/qq_35200479/article/details/84502844 3.9 神经网络的梯度下降法 3.10 （选修）直观理解反向传播 3.11 随机初始化 为什么不能将权重W初始化为零？因为这样做的话，同一隐层的每个节点的值将始终保持相同，失去了使用多个节点的意义（模型将过于简单，而难以有所作为） 来源： oschina 链接： https://my.oschina.net/u/4350591/blog/4924776

作者｜Sergei Ivanov 来源｜机器之心 由于 GNN 在图节点之间强大的建模功能，使得与图分析相关的研究领域取得了突破。本文我们将介绍关于 GNN 热门应用研究。 近年来，由于图结构的强大表现力，用机器学习方法分析图的研究越来越受到重视。图神经网络（GNN）是一类基于深度学习的处理图域信息的方法。由于其较好的性能和可解释性，现已被广泛应用到各个领域。 在本文中，机器学习研究科学家 Sergei Ivanov 盘点一下 2021 年需要了解的 GNN 应用热点，涵盖了推荐系统、组合优化、计算机视觉、物理 / 化学以及药物发现等领域。 推荐系统 图结构数据是来自用户与电子商务平台上产品交互的上下文中，因此，许多公司采用 GNN 进行产品推荐。一个标准的案例是对用户于商品的交互关系进行建模，然后以某种形式的负采样损失学习节点嵌入，并使用 KNN 索引实时检索给定用户的相似商品。首批使用这种 pipeline 的公司是 Uber Eats，该公司通过 GraphSage 网络推荐食品和餐馆。 此外，对于食品推荐，由于推荐的地理限制，生成的图相对较小，但一些公司在数十亿个边缘的规模上成功使用了 GNN。中国零售业巨头阿里巴巴在拥有数十亿用户和产品的网络上使用图嵌入技术和 GNN。构建这样的图可能是工程上的噩梦，但是对于最近的 Aligraph pipeline 而言

前言 平时很少写总结性的文章，感觉还是需要阶段性总结一些可以串在一起的知识点，所以这次写了下。 因为我写的内容主要在时序、时空预测这个方向，所以主要还是把rnn，lstm，gru，convlstm，convgru以及ST-LSTM 一、 RNN 最为原始的循环神经网络，本质就是全连接网络，只是为了考虑过去的信息，输出不仅取决于当前输入，还取决于之前的信息，也就是输出由之前的信息(也就是状态state)和此时的输入决定。 1.1 结构图 1.2 公式 1.3 优缺点 1.3.1 优点 ① RNN 很适合处理序列数据，因为考虑了之前的信息 ② 可以和CNN一起使用得到更好的任务效果 1.3.2 缺点 ① 梯度消失、梯度爆炸 ② rnn较其他cnn和全连接要用更多的显存空间，更难训练 ③ 如果采用tanh、relu为激活函数，没法处理太长的序列 二、LSTM 为了解决梯度消失和爆炸以及更好的预测和分类序列数据等问题，rnn逐渐转变为lstm 2.1 结构图 2.2 公式 2.3 扩展 实际应用中一般不采用单层的lstm，而是多层，在很多时序数据中双向的表现也很不错 2.3.1 双向lstm 2.3.2 深层双向lstm 三、 GRU 因为LSTM的训练比较慢，而GRU在其上稍微修改，速度可以快很多，而精度基本不变，所以GRU也十分流行 3.1 结构图 3.2 公式 3.3

关于人工智能量化实验室 公众号《人工智能量化实验室》主要关注于人工智能知识在量化领域的成果与实践，同时也会分享一些python量化金融项目介绍与实战，以及该领域相关的论文与金工研报的解读。除此之外，公众号不定期还会有学习资料、书籍等赠送活动。以下是公众号主要推送的内容： 1、机器学习、深度学习等人工智能领域知识。 2、前沿人工智能量化的论文与研报等理论与实践成果介绍。 3、传统量化策略以及智能量化策略分析。 4、python量化金融的实践与应用。 5、金融时间序列分析知识。 6、python编程技巧以及实战项目。 历史推送文章 不知不觉中，《人工智能量化实验室》公众号已经迈入了第二个年头，感谢这段时间所有关注公众号的朋友，尤其是当看到后台不断增加的关注数，才激励我继续进行原创文章创作。下面整理了历史推送过的原创文章，感兴趣的读者可以收藏这篇文章以便进行阅读。在接下来的时间中，我也会继续推送更多高质量的文章，希望大家可以继续支持和关注。 点击下方文章标题进入相关文章。 人工智能与量化金融 1. 人工智能在量化领域应用相关论文整理 2. 解读：时间卷积神经网络用于时间序列的异常检测 3. 解读：时空同步图卷积网络：一种时空网络数据预测的新框架（附项目源码） 4. 解读：一种基于扩张卷积和区域转移注意力机制的深度时空网络模型 5. 解读：一种基于时间卷积网络的知识驱动股票趋势预测方法 6