wise

【第二部分】 代码练习 MobileNetV1 网络 MobileNets: Efficient Convolutional Neural Networks for Mobile Vision Applications, 2017 https://arxiv.org/abs/1704.04861 VGG，GoogleNet，ResNet进一步提高CNN的性能。但是到ResNet，网络已经达到152层，模型大小动辄几百300MB+。这种巨大的存储和计算开销，严重限制了CNN在某些低功耗领域的应用。在实际应用中受限于硬件运算能力与存储（比如几乎不可能在手机芯片上跑ResNet-152），所以必须有一种能在算法层面有效的压缩存储和计算量的方法。而MobileNet/ShuffleNet正为我们打开这扇窗。 Mobilenet v1是Google于2017年发布的网络架构，旨在充分利用移动设备和嵌入式应用的有限的资源，有效地最大化模型的准确性，以满足有限资源下的各种应用案例。Mobilenet v1核心是把卷积拆分为Depthwise+Pointwise两部分。 Depthwise 处理一个三通道的图像，使用3×3的卷积核，完全在二维平面上进行，卷积核的数量与输入的通道数相同，所以经过运算会生成3个feature map。卷积的参数为： 3 × 3 × 3 = 27，如下所示：

【第一部分】问题总结 创建MobileNet V2时，第二个基本单元的步长与论文中不一致： MobileNet V2中使用了BatchNorm来优化网络，归一化来加速网络，HybridSN中添加后分类结果变差。 【第二部分】代码练习 使用MobileNet V1对CIFAR10进行分类 可分离卷积的实现： class Block(nn.Module): '''Depthwise conv + Pointwise conv''' def __init__(self, in_planes, out_planes, stride=1): super(Block, self).__init__() # Depthwise 卷积，3*3 的卷积核，分为 in_planes，即各层单独进行卷积 # group这个参数是用做分组卷积的，但是现在用的比较多的是groups = in_channel # 当groups = in_channel时，是在做的depth-wise conv的 self.conv1 = nn.Conv2d(in_planes, in_planes, kernel_size=3, stride=stride, padding=1, groups=in_planes, bias=False) # 在卷积神经网络的卷积层之后总会添加BatchNorm2d进行数据的归一化处理

本文对正则表达式和 Python 中的 re 模块进行详细讲解 很多人学习python，不知道从何学起。 很多人学习python，掌握了基本语法过后，不知道在哪里寻找案例上手。 很多已经做案例的人，却不知道如何去学习更加高深的知识。 那么针对这三类人，我给大家提供一个好的学习平台，免费领取视频教程，电子书籍，以及课程的源代码！ QQ群：1097524789 什么是正则表达式 正则表达式作用 元字符及含义 re模块详解 正则表达式修饰符 正则表达式实例 本文目录 什么是正则表达式 正则表达式(regular expression)描述了一种字符串匹配的模式（pattern），可以用来检查一个串是否含有某种子串、将匹配的子串替换或者从某个串中取出符合某个条件的子串等。 正则表达式作用 通过使用正则表达式，可以： 测试字符串内的模式 例如，可以测试输入字符串，以查看字符串内是否出现电话号码模式或信用卡号码模式。这称为数据验证。 替换文本 可以使用正则表达式来识别文档中的特定文本，完全删除该文本或者用其他文本替换它。 基于模式匹配从字符串中提取子字符串 可以查找文档内或输入域内特定的文本，例如通过爬虫从网页内容中直接需要的内容 元字符及含义 常用元字符 符号 含义 点. 匹配除换行符外的任意字符 星号* 匹配0个或者多个任意字符 问号？ 匹配0个或者1个任意字符（非贪婪模式） ^ 开始位置

1. 简介 企业或用户将数据中心部署在线下，采用独立软件提供商（Independent Software Vendor）软件进行管理。线下数据运维成本较高，故障容灾单一化，是目前遇到的瓶颈。采用云上数据库并平滑兼容线下ISV软件管理可以降低企业上云难度，加速企业上云，本文以金蝶K/3 WISE 为例，配合华为云SQL Server 实例快速迁移数据中心。 适用场景说明： a) 支持本地ISV应用迁移上云 b) 支持云上虚拟机中的ISV应用，将数据库远程安装至RDS SQL Server。 2. 案例实现 2.1 云上环境搭建 环境说明： a) 本地环境：Windows Server 2016 标准版 64位 ，已经安装了金蝶K/3 WISE 相关组件，并创建测试账套，数据库实体为AIS20200415112523，数据库用户为sa。 b) 云上环境： 华为云SQL Server Microsoft SQL Server 2016 Enterprise Edition 单机实例 4核16GB ，字符集尽量保持和线下一致（线下字符集区分大小写可能会有影响）。 华为云弹性云服务器 Windows Server 2016 标准版 64位 4核16GB（用于安装金蝶客户端及账套管理）。 备注： 安装金蝶的弹性云服务器需要和RDS实例在同一个地域，且VPC相同

如今，在金融、零售、电商、互联网等领域的 AI 应用中，表数据都是最为常见且应用广泛的数据格式。将表数据进行准确的分类预测，对业务的提升起着至关重要的作用。 日前，第四范式提出了全新的深度神经网络表数据分类模型——深度稀疏网络（Deep Sparse Network，又名 NON），通过充分捕捉特征域内信息、刻画特征域间潜在相互作用、深度融合特征域交互操作的输出，获得超过 LR、GBDT 等常用算法以及 FFM、Wide&Deep、xDeepFM、AutoInt 等基于深度学习算法的分类效果，提升了表数据的预测准确度。 论文标题： Network On Network for Tabular Data Classificationin Real-world Applications 论文作者： 罗远飞、周浩、涂威威、陈雨强、戴文渊、杨强 论文链接： https://arxiv.org/abs/2005.10114 表数据分类模型的现状 在表格数据中，每行对应一个实例（样本），每列对应一个特征域。表数据分类是根据实例的特征域，将其分到对应的类别中。表数据通常同时具有连续特征域和类别特征域，而类别特征域通常是高维稀疏的。例如在在线广告中，类别特征域“advertiser_id”可能包含数百万个不同的广告主 id。 过往，包括随机森林、GBDT 在内的树模型常用于表数据分类

【说在前面】本人博客新手一枚，象牙塔的老白，职业场的小白。以下内容仅为个人见解，欢迎批评指正，不喜勿喷！[握手][握手] 【再啰嗦一下】本文衔接上两个随笔： 人工智能中小样本问题相关的系列模型演变及学习笔记（一）：元学习、小样本学习 【再啰嗦一下】本文衔接上两个随笔： 人工智能中小样本问题相关的系列模型演变及学习笔记（二）：生成对抗网络 GAN 【再啰嗦一下】本文衔接上两个随笔： 人工智能中小样本问题相关的系列模型演变及学习笔记（三）：迁移学习 一、知识蒸馏综述 知识蒸馏被广泛的用于模型压缩和迁移学习当中。 本文主要参考：模型压缩中知识蒸馏技术原理及其发展现状和展望 1. 基本概念 知识蒸馏可以将一个网络的知识转移到另一个网络，两个网络可以是同构或者异构。做法是先训练一个teacher网络，然后使用这个teacher网络的输出和数据的真实标签去训练student网络。 可以用来将网络从大网络转化成一个小网络，并保留接近于大网络的性能。 可以将多个网络的学到的知识转移到一个网络中，使得单个网络的性能接近emsemble的结果。 2. 知识蒸馏的主要算法 知识蒸馏是对模型的能力进行迁移，根据迁移的方法不同可以简单分为基于目标驱动的算法、基于特征匹配的算法两个大的方向。 2.1 知识蒸馏基本框架 Hinton最早在文章“Distilling the knowledge in a

在做推荐之前，先做个简单的自我介绍吧。 本人是一家小公司的产品，公司之前一直是做金融业务的，从去年开始决定做人工智能+金融的智慧金融解决方案，而我就是主要负责这一部分的产品。 既然决定开始做AI，为了提升算法模型的识别准确率，肯定少不了和数据打交道。由于公司规模较小，预算也不高，所以我们初期尝试了很多开源工具，像是BRAT，YEDDA，DeepDive，但是这些开源工具确实也存在着很大不便，比如安装复杂，界面交互不友好，不能进行项目管理等。同时，随着项目进展，训练数据量增大，也面临着标注人员紧缺的困境。 所以我们开始寻求标注公司和标注平台，我们前后联系了百度众包、数据堂、京东众智、倍赛等标注公司，进行了价格、工具、质量、效率等方面的评估。最后，在京东众智找到了非常适合我们公司的标注平台。 首先简单介绍一下这个标注平台。这个平台是京东数科旗下的一个叫做京东众智的数据标注公司做的平台产品，用户可以在平台上发布项目，并且寻找平台上入驻的任何一家标注团队合作，同时平台提供的标注工具和管理后台都是免费的。 我们在这个平台上做过文本实体标注和情感分析、图片OCR标注的项目，目前也只使用过这两个项目相关的标注工具。 可以负责任的说，平台上的文本工具是目前我们使用过的最好用的文本工具，从功能上来说，支持同时进行实体标注和情感判断；从工具使用上来说，整个界面设计的非常流程

https://www.postgresql.org/docs/13/release-13.html 1. A big performance leap from 10 to 11. No much difference between 11 and 12 in terms of performance 2. Vacuum, Security and Consistency, Partition-wise join 3. Vacuum - performance for parallel vacuum of indexes - Auto vacuum for append-only transacitons 4. Security and Consistency - libpq channel binding * stop man in the middle attacks * Only for SCRAM authentication - New capability for pg_catcheck * tool for detect the catalog corruption 5. partition-wise join 6. logical replication for partitioned table. from partitioned to non

点击上方“ 3D视觉工坊 ”，选择“星标” 干货第一时间送达 作者：谢一宾 | 来源：知乎 https://zhuanlan.zhihu.com/p/140060196 本文仅做学术分享，如有侵权，请联系删除。 前言 本文主要讨论2D的人体姿态估计，内容主要包括：基本任务介绍、存在的主要困难、方法以及个人对这个问题的思考等等。希望大家带着批判的目光阅读这篇文章，和谐讨论。 介绍 2D人体姿态估计的目标是定位并识别出人体关键点，这些关键点按照关节顺序相连，就可以得到人体的躯干，也就得到了人体的姿态。 在深度学习时代之前，和其他计算机视觉任务一样，都是借助于精心设计的特征来处理这个问题的，比如pictorial structure。凭借着CNN强大的特征提取能力，姿态估计这个领域得到了长足的发展。2D人体姿态估计主要可以分为单人姿态估计（Single Person Pose Estimation, SPPE）和多人姿态估计（Multi-person Pose Estimation, MPPE）两个子任务。 单人姿态估计是基础，在这个问题中，我们要做的事情就是给我们一个人的图片，我们要找出这个人的所有关键点，常用的MPII数据集就是单人姿态估计的数据集。 在多人姿态估计中，我们得到的是一张多人的图，我们需要找出这张图中的所有人的关键点。对于这个问题，一般有自上而下（Top-down

CVPR 2019 : Attention-based Adaptive Selection of Operations for Image Restoration in the Presence of Unknown Combined Distortions [paper] : Attention-based Adaptive Selection of Operations for Image Restoration in the Presence of Unknown Combined Distortions 目录 CVPR 2019 : Attention-based Adaptive Selection of Operations for Image Restoration in the Presence of Unknown Combined Distortions Abstract Introduction Operation-wise Attention Network Operation-wise Attention Layer Operation Layer Feature Extraction Block and Output Layer Experimental Configuration Abstract Many studies have been