深度学习

最近，我的朋友整理了各大互联网公司的架构演进相关介绍，让我们一起看一看各大互联网公司在成长过程中遇到过哪些问题，又是如何解决问题的。希望对你有帮助！ 建议收藏保存，也欢迎点赞转发哦！ 支付宝和蚂蚁花呗的技术架构及实践 支付宝的高可用与容灾架构演进 余额宝技术架构及演进 淘宝数据魔方技术架构解析 淘宝技术发展历程和架构经验分享 淘宝架构演进背后——零售业务中台架构设计探讨及实践 阿里游戏高可用架构设计实践 阿里B2B技术架构演进详解 阿里如何实现秒级百万TPS？搜索离线大数据平台架构解读 首次公开！菜鸟弹性调度系统的架构设计 秒杀系统架构分析与实战 王者荣耀游戏服务器架构演进(完整版) 京东峰值系统设计 京东咚咚架构演进 京东B2B业务架构演变 京东虚拟业务多维订单系统架构设计 京东商品单品页统一服务系统架构未公开的细节 数据蜂巢架构演进之路 京东到家库存系统架构设计 一张图看完京东基础架构演进之路 大促系统全流量压测及稳定性保证——京东交易架构分享 京东618实践：一元抢宝系统的数据库架构优化 京东上千页面搭建基石——CMS前后端分离演进史 京东物流系统架构演进中的最佳实践 京东话费充值系统架构演进实践 京东到家订单中心Elasticsearch 演进历程 新浪微博平台架构 微博深度学习平台架构和实践 新浪微博用户兴趣建模系统架构 新浪微博推荐系统架构的演进

喜欢我们，点击上方 AINLPer ，关注一下，极品干货即刻送达！ 本文主要参考博 客： https://blog.csdn.net/intflojx/article/details/85338778 引言 相信很多小伙伴在看论文的时候，会时不时的遇到注意力机制（Attention）这个关键词。其实 注意力模型最近几年在深度学习各个领域被广泛使用，无论是在图像处理、语音识别还是自然语言处理中，都很容易遇到注意力模型的身影。 它其实是深度学习技术中最值得关注与深入了解的核心技术之一。 了解注意力机制的工作原理对于关注深度学习技术发展的技术人员来说有很大的必要。 本文概要 1 什么是注意力机制（Attention） 2 Encoder-Decoder框架 3 Attention注意力机制 4 Attention小结 正文开始 1 什么是注意力机制（Attention） 深度学习中的注意力机制借鉴了人类的注意力思维方式。 我们首先人类的视觉注意力机制介绍开始。 举个例子： 比如当你看到一篇论文的时候，你的眼睛会快速的扫描论文第一页，接着首先将注意力集中到论文的标题（如果论文的第一页有图片，你也会去关注第一页中的图片是什么），然后你就会关注论文的摘要是什么，对于摘要区域，你会渐渐投入到更多地注意力，然后读懂摘要，进而了解文章的大概内容。

去年底入手一台联想Y7000P,配置了Nvidia GeForce GTX 1660 Ti GPU，GPU内存6G，但是因为有GPU服务器，所以一直没有在这台笔记本上跑过模型，如今经过一番折腾，终于在此笔记本上搭建好了环境，并成功使用GPU训练了一些模型，本篇记录了环境搭建的过程。 检查你的GPU 首先确保你的电脑有Nvidia的GPU，并且支持CUDA，可以参考 这个网址 。 安装vs2017 Visual Studio 2017 Community下载地址 安装选项：勾选“C++的桌面开发”,右边的列表再额外勾选一个SDK,这个SDK是在后续测试CUDA样例的时候要用到的，如下图： 安装CUDA10.0 下载 打开网站： CUDA10.0 按照下图选择对应的选项后，点击下载： 安装 双击下载的文件，选择自定义安装，如果之前你已经安装过显卡驱动并且兼容CUDA10.0，可以在这里去掉显卡驱动的勾选，兼容情况参考 这里 ，截图如下： 另外，去掉Visual studio integration的勾选： 后面默认选择下一步，等待安装完成。 测试 命令行测试： nvcc -V 输出以下信息即成功: 样例测试： 以管理员方式打开vs2017，然后加载bandwidthTest解决方案，路径如下： C:\ProgramData\NVIDIA Corporation\CUDA Samples

1. 安装环境 电脑：MSI GP63 显卡：GeForce GTX 1070 系统：Ubuntu 16.04 驱动版本：NVIDIA 384.130 2. 循环登录 如果按照这篇文章 Ubuntu 16.04 安装 CUDA、CUDNN 和 GPU 版本的 TensorFlow 一般步骤总结 中说的直接在设置中安装驱动的话，就会遇到在登录界面循环登录的问题。 于是我们转而利用从官网下载的 run 文件来安装，而驱动的版本则选择和在设置中附加驱动里看到的一样。 在 BIOS 里面关闭快速启动和安全启动 进入 Ubuntu 系统，Ctrl+Alt+F1 进入 tty1 模式 输入用户名和密码进行登录 关闭图形界面 sudo service lightdm stop 给 run 文件赋予执行权限 sudo chmod +x NVIDIA*.run (代表下载的安装文件) sudo ./NVIDIA*.run -no-x-check -no-nouveau-check -no-opengl-files 中间有警告的话选继续安装，不认证 打开图形界面 sudo service lightdm start 重启 按照这个方法安装驱动后可以正常登录进系统，运行 nvidia-smi 命令也可以看到显卡信息，但在设置中依然只有一个 800*600 的分辨率选项。 3. 无法设置分辨率 具体表现

前 言 对于大多数无人机爱好者来说，能自己从头开始组装一台无人机，之后加入AI算法，能够航拍，可以目标跟踪，是心中的梦想。并且，亲自从零开始完成复杂系统，这是掌握核心技术的必经之路。 基于此，开课吧特邀北京航空航天大学无人机专家，进行设计和指导，独家研发与真实的科学研究和工程开发接轨的课程。软硬件结合，将教你亲自研发无人机，而不是简单的购买一个无人机整机。 课程由北京航空航天大学无人机专家设计和指导，与真实的科学研究和工程开发接轨。有以下六大优势： 那么，直接购买无人机和我们的课程研发无人机的区别在哪里呢？请看下图： 我们的课程并不是简单的拼装课程，更涉及到 飞行器设计、仿真平台搭建和算法实现的整体流程。 我们课程将会 教你无人机的基本组成、飞行原理、控制理论、状态估计、同时定位与建图、运动规划、目标检测追踪与多无人机协同； 从元器件开始搭建一个具有GPS导航和人为规划路线功能的无人机，并搭建无人机仿真平台，在仿真平台上实现各类智能算法的开发与部署。 本课程分为两大板块： ❥ 课程大纲 （仿真环境下无人机SLAM） （ 真实环境下无人机VIO ） （仿真环境下的运动规划） （仿真环境下的多机协同） （仿真环境下的无人机追踪行人） （真实环境下，无人机追踪亮灯） 本课程适合以下人员的学习： 注意： 如果学员是未成年人，家长请做好保护措施和安全教育； 组装飞行无人机有一定的安全隐患

背景 由于云计算在资源成本和弹性扩容方面的天然优势，越来越多客户愿意在云上构建 AI 系统，而以容器、Kubernetes 为代表的云原生技术，已经成为释放云价值的最短路径， 在云上基于 Kubernetes 构建 AI 平台已经成为趋势。 当面临较复杂的模型训练或者数据量大时，单机的计算能力往往无法满足算力要求。通过使用阿里的 AiACC 或者社区的 horovod 等分布式训练框架，仅需修改几行代码，就能将一个单机的训练任务扩展为支持分布式的训练任务。在 Kubernetes 上常见的是 kubeflow 社区的 tf-operator 支持 Tensorflow PS 模式，或者 mpi-operator 支持 horovod 的 mpi allreduce 模式。 现状 Kubernetes 和云计算提供敏捷性和伸缩性，我们可以通过 cluster-AutoScaler 等组件为训练任务设置弹性策略，利用 Kubernetes 的弹性能力，按需创建，减少 GPU 设备空转。 但这种伸缩模式面对训练这种离线任务还是略有不足： 不支持容错，当部分 Worker 由于设备原因失败，整个任务需要停止重来。 训练任务一般时间较长，占用算力大，任务缺少弹性能力。当资源不足时，除非任务终止，无法按需为其他业务腾出资源。 训练任务时间较长，不支持 worker 动态配置，

一、机器学习书籍 吴恩达深度学习课程： 神经网络和深度学习 链接： https://pan.baidu.com/s/1H1_fB924YcWkIKZI9rP6Cg 提取码：mjej 机器学习_周志华： 链接： https://pan.baidu.com/s/1j55DqrkCNEzLfdWoIOjwDQ 提取码：m0es 机器学习训练秘籍（完整中文版） 链接： https://pan.baidu.com/s/1mcseYd3JvQ7jizXJGmyQsQ 提取码：dfmo Python机器学习经典实例： 链接： https://pan.baidu.com/s/1hHKP4iw_MXHe_aij8lmxdw 提取码：p8dq 《深度学习之TensorFlow： 入门、原理与进阶实战》 链接： https://pan.baidu.com/s/1frVnbD5lilYqWHeWaBkV4g 提取码：c3bs tnesorflow书籍中的代码： 链接： https://pan.baidu.com/s/1o-xMzQoH-Qfci-lZZR2J_w 提取码：drlp 机器学习实践中文版 链接： https://pan.baidu.com/s/12FYjosFEYH1JUK9cJsSHXQ 提取码：v91n Machine Learning in Action (机器学习实战-中文版) 链接：

[TOC] Outline Matmul Neural Network Deep Learning Multi-Layer Recap out = f(X@W + b) out = relut(X@W + b) Neural Network h = relut(X@W + b) $h_0 = relu(X@W_1 + b_1)$ # Input $h_1 = relu(h_0@W_2 + b_2)$ # Hidden $out = relu(h_1@W_3 + b_3)$ # Output Neural Network in the 1980s 3~5 layers Here comes Deep Learning Deep Learning now $n \approx {1200},layers$ Heros 推动深度学习发展的功臣： BigDATA ReLU Dropout BatchNorm ResNet Xavier Initialization Caffe/TensorFlow/PyTorch ... Fully connected layer import tensorflow as tf x = tf.random.normal([4, 784]) net = tf.keras.layers.Dense(512) out = net(x) out.shape

2021年，发展深度学习技术，需要十分重视的就是深度学习框架。 01 深度学习框架受到高度重视 随着技术的不断前进和应用的大规模增长，产业开发者们面临的挑战，也是日渐地突出。而作为人工智能实现跨越发展的重要突破口， 深度学习框架引起了科技界、产业界的高度重视。 在整个人工智能产业版图中，算法框架是连通硬件、软件、应用场景的“枢纽式”存在。 02 合适的深度学习框架十分重要 深度学习的研究方式和过去传统的研究方式大不相同。 在深度学习领域，已经有很多的科研机构和世界一流的院校开发了多种深度学习工具 ，这些学习工具或者说深度学习库在许多领域大显身手。 如计算机视觉、自然语言处理、自动驾驶等。对于研究者来说，选择合适的框架来解决某一方面的问题是十分必要的。 03 深度学习框架，你是时候该学一学了 深度学习框架则提供了进行深度学习的底层架构和接口，以及大量的神经网络模型，可以 减少开发者重复编程的时间和精力，提高深度学习效率，降低应用开发难度。 那么，我们应该如何学习深度学习框架？ 你是否还在纠结学哪个框架？ PyTorch？、还是Tensorflow？、还是Keras？其实，对于这样的问题，基于现在的形势下，你就不要把着眼点放在这些工具的使用上了， 重要的是要知道它的原理。 为了让更多的人从根本性的掌握AI知识，特为你推出 《用纯Python从零创造自己的深度学习框架》

点击上方 “ 机器学习与生成对抗网络 ”，关注"星标" 获取有趣、好玩的前沿干货！ 选自arXiv 作者： Yifan Jiang等 机器之心编译 机器之心编辑部 「attention is really becoming『all you need』.」 最近，CV 研究者对 transformer 产生了极大的兴趣并取得了不少突破。这表明，transformer 有可能成为计算机视觉任务（如分类、检测和分割）的强大通用模型。 我们都很好奇：在计算机视觉领域，transformer 还能走多远？对于更加困难的视觉任务，比如生成对抗网络 (GAN)，transformer 表现又如何？ 在这种好奇心的驱使下，德州大学奥斯汀分校的 Yifan Jiang、Zhangyang Wang，IBM Research 的 Shiyu Chang 等研究者进行了第一次试验性研究， 构建了一个只使用纯 transformer 架构、完全没有卷积的 GAN，并将其命名为 TransGAN 。与其它基于 transformer 的视觉模型相比，仅使用 transformer 构建 GAN 似乎更具挑战性，这是因为与分类等任务相比，真实图像生成的门槛更高，而且 GAN 训练本身具有较高的不稳定性。 论文链接：https://arxiv.org/pdf/2102.07074.pdf 代码链接：https: