fig

蒙特卡罗(monteCarlo)

左心房为你撑大大i 提交于 2020-08-17 18:24:49
蒙特卡罗(Monte Carlo)是世界著名的赌城,是摩纳哥的标志,与拉斯×××、澳门号称世界三大赌城。但是这里我们要讲到的蒙特卡罗并不是,而是一种统计方法。其原理是通过大量随机样本,去了解一个系统,进而得到所要计算的值。它诞生于上个世纪40年代美国的"曼哈顿计划",名字来源于赌城蒙特卡罗,象征概率。 通过蒙特卡罗的概率计算,可以解决许多数学问题及业务问题,其最经典的案例即求解圆周率π。在一个正方形内画出一个跟四边正切的圆,设圆的半径r=1,则可知圆的面积为π·r·r,此时正方形的面积则为2r·2r,如下图: 将圆面积同正方形面积进行对比,可得:π·r·r / 2r·2r = π / 4,由此可知当在正方形中随机生成一个点,它落入圆内的概率为π / 4。假设随机生成100个点,其中94个落入圆中,则可得π = 4 * 94 / 100(随机生成的点越多,π越逼近真实值)。 使用蒙特卡罗求解π: # --*-- coding: utf-8 --*-- import numpy as np import matplotlib.pyplot as plt from matplotlib.patches import Circle def monteCarlo(n): o, r = (0., 0.), 1.0 #设置圆心及半径 a, b = (o[0] - r , o[0] + r),

Python数据预处理:彻底理解标准化和归一化

旧城冷巷雨未停 提交于 2020-08-17 05:01:01
数据预处理 数据中不同特征的量纲可能不一致,数值间的差别可能很大,不进行处理可能会影响到数据分析的结果,因此,需要对数据按照一定比例进行缩放,使之落在一个特定的区域,便于进行综合分析。 常用的方法有两种: 最大 - 最小规范化:对原始数据进行线性变换,将数据映射到[0,1]区间 Z-Score标准化:将原始数据映射到均值为0、标准差为1的分布上 为什么要标准化/归一化? 提升模型精度:标准化/归一化后,不同维度之间的特征在数值上有一定比较性,可以大大提高分类器的准确性。 加速模型收敛:标准化/归一化后,最优解的寻优过程明显会变得平缓,更容易正确的收敛到最优解。 如下图所示: 哪些机器学习算法需要标准化和归一化 1)需要使用梯度下降和计算距离的模型要做归一化,因为不做归一化会使收敛的路径程z字型下降,导致收敛路径太慢,而且不容易找到最优解,归一化之后加快了梯度下降求最优解的速度,并有可能提高精度。比如说线性回归、逻辑回归、adaboost、xgboost、GBDT、SVM、NeuralNetwork等。需要计算距离的模型需要做归一化,比如说KNN、KMeans等。 2)概率模型、树形结构模型不需要归一化,因为它们不关心变量的值,而是关心变量的分布和变量之间的条件概率,如决策树、随机森林。 彻底理解标准化和归一化 示例数据集包含一个自变量(已购买)和三个因变量(国家,年龄和薪水)

PCA——主成分分析

限于喜欢 提交于 2020-08-17 02:46:40
  PCA(Principal Components Analysis)主成分分析是一个简单的机器学习算法,利用正交变换把由线性相关变量表示的观测数据转换为少数几个由线性无关比变量表示的数据,实现降维的同时尽量减少精度的损失,线性无关的变量称为主成分。大致如下:   首先对给定数据集(数据是向量)进行规范化,使得数据集的平均值为0,方差为1(规范化是为了使数据散布在原点附近,而不是远离原点的某块区域,便于后面的计算)。之后对每个数据进行正交变换,把数据投影到几个少量的相互正交的方向(这些方向构成了数据空间的一个子空间)上。数据在每个方向上都有对应的坐标,而用这些方向和对应的坐标(坐标×方向的累加)就能近似表示原来高维的数据,因此这些方向的求解就是PCA的关键。   如果再由这些坐标通过这些方向映射回原来的数据,精度损失是同等方向数量的方向集合(或者叫同维度的子空间吧)中最小的,而数据集在各个方向上的坐标的方差之和是同等方向数量的方向集合中最大的, 也正对应着方差越大表示这个方向上保存数据的信息量越大(方差越小所有数据越集中在一个点上信息量当然越小) 。数据集在这些方向的上的坐标的方差,从大到小排序,就把这每一个方向称为第一主成分、第二主成分…… 证明   接下来证明什么样的方向是主成分,即什么样的方向集合能保存原数据集更多的信息,并进一步说明数据集在主成分上的坐标的方差是最大的

美颜图像保边MeanShift滤波算法与实现

喜夏-厌秋 提交于 2020-08-16 18:05:50
本文将尝试使用MeanShift滤波来做磨皮算法;图玩智能科技为企业提供更稳定更优质的美颜产品及服务,欢迎随时咨询 www.toivan.com 。 MeanShift 即均值漂移,最早由Fukunage在1975年提出。 MeanShift 一般是指一个迭代的步骤,即先算出当前点的偏移均值,然后以此为新的起始点,继续移动,直到满足一定的结束条件;MeanShift广泛应用于图像聚类、平滑、分割和跟踪方面,本文主要讲的是图像的平滑滤波,尝试应用于人像的磨皮算法中; 我们使用一张图来讲解MeanShift的算法原理 Fig.1 基本MeanShift算法示意图 我们假设起始位置的滤波半径为Radius,也就是图a中的蓝色圆形区域半径,图a为起始位置,假设红色点为目标像素,每个目标像素包含位置特征和像素RGB特征; 1 ,计算图a起始位置处,半径Radius内目标像素的位置特征和像素RGB特征的均值M,如图c所示; 2 ,将起始位置的初始特征(位置特征和RGB特征)更新为特征M; 3 ,计算M处半径Radius区域内,目标像素的均值特征M; 4 ,按照1-3的过程进行迭代,直到满足一定的迭代次数和限制条件; 5 ,图a中起始位置的RGB特征值即为迭代完成时M的RGB特征值,如图f所示; 整个过程也叫均值漂移,实际上不是位置从图a起始值漂移到了f图中的位置

PHP 代码规范

喜你入骨 提交于 2020-08-16 06:44:43
FIG 制定的 PHP 规范,简称 PSR,是 PHP 开发的事实标准。FIG 是 Framework Interoperability Group (框架可互用小组) 的缩写,由几位开源框架的开发者成立于 2009 年。该组织的目的在于:以最低程度的限制,来统一各个项目的编码规范,避免各家自行发展的风格阻碍了程序设计师开发的困扰。PSR 是 Proposing a Standards Recommendation (提出标准建议) 的缩写。 PSR 原来有五个规范,分别是: PSR-0 (Autoloading Standard) 自动加载标准。 PSR-1 (Basic Coding Standard) 基础编码标准。 PSR-2 (Coding Style Guide) 编码风格向导。 PSR-3 (Logger Interface) 日志接口。 PSR-4 (Improved Autoloading) 自动加载的增强版,可以替换掉 PSR-0 了。 今天我们的代码规范是基于以上规范进行了整理。 1、PHP 源文件只能使用 <?php 和 <?= 这两种标签 <?php 标签通常用于纯 PHP 的脚本当中,而 <?= 通常用于模板当中。 2、PHP 源文件必须是不带 BOM 的 UTF-8 编码的文件 BOM(Byte Order Mark),字节顺序标记,出现在文本文件头部

用Python Matplotlib 制作动画

安稳与你 提交于 2020-08-15 18:56:10
前言 本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。 作者:Hanz — 1 — 如果你对本文的代码感兴趣,可以去 Github (文末提供)里查看。第一次运行的时候会报一个错误(还没找到解决办法),不过只要再运行一次就正常了。 这篇文章虽然不是篇典型的数据科学类文章,不过它涉及到数据科学以及商业智能的应用。Python 的 Matplotlib 是最常用的图表绘制以及数据可视化库。我们对折线图、柱状图以及热力图都比较熟悉,但你知道用 Matplotlib 还能做简单的动画吗? 下面就是用 Matplotlib 制作动画的例子。展示的是 John Conway 的 《The Game of Life》,这是一个 Metis(数据科学夏令营)中的编程挑战题目,同时给了我一个机会来制作我的第一个 Python 动画。看看结果的动图: 这篇文章的重点还是主要放在 python 中如何用 Matploylib 制作动画。 但如果你不太熟悉模拟游戏的话(它更像是可以看的模拟动画,而非可以玩的游戏),我来给大家介绍一下规则: 一开始先设置一个 N×N 的网格(我的动画中用的是 50×50 ); 接着随机地向格子中填充“小细胞”(一开始随机地从 2500 个格子中选取 1500 个进行填充); 如果邻居小细胞少于等于 1 个

GeoPandas入门 | 05-Python可视化空间数据

本秂侑毒 提交于 2020-08-15 15:09:38
05-Python可视化空间数据 源代码 请看此处 %matplotlib inline import pandas as pd import geopandas import matplotlib.pyplot as plt countries = geopandas.read_file("zip://data/ne_110m_admin_0_countries.zip") cities = geopandas.read_file("zip://data/ne_110m_populated_places.zip") rivers = geopandas.read_file("zip://data/ne_50m_rivers_lake_centerlines.zip") 5.1 GeoPandas的可视化函数 基础绘图 countries.plot() <matplotlib.axes._subplots.AxesSubplot at 0x7f7e787c93c8> 调整地图大小 countries.plot(figsize=(15,15)) <matplotlib.axes._subplots.AxesSubplot at 0x7f7e764cccc0> 移除边框及x,y坐标 ax=countries.plot(figsize=(15,15)) ax.set_axis_off()

vgg16复现进行图片识别

左心房为你撑大大i 提交于 2020-08-15 07:25:41
一、结构 上图就是复现vgg16的全部文件,data文件夹是测试图像,这次复现只是调用别人训练好的模型来识别图片。vgg16.py复现了vgg16的网络结构,并导入了别人训练好的模型参数,utils.py为输入图片预处理的程序,Nclasses.py则是我们给定的每个图像的标签,以及对应的索引值,app.py是我们的调用文件,进行图像识别。 二、代码详解 1、vgg16.py 1 import tensorflow as tf 2 import numpy as np 3 import os 4 import time 5 import matplotlib.pyplot as plt 6 from Nclasses import labels 7 8 VGG_MEAN = [103.939,116.779,123.68] # 样本RGB的平均值 9 10 class Vgg16: 11 def __init__ (self,vgg16_npy_path= None): 12 if vgg16_npy_path is None: 13 vgg16_npy_path = os.path.join(os.getcwd(), ' vgg16.npy ' ) # os.getcwd() 方法用于返回当前工作目录。 14 print (vgg16_npy_path) 15 # 遍历键值对

基于Python的决策树分类器与剪枝

允我心安 提交于 2020-08-14 07:08:04
作者|Angel Das 编译|VK 来源|Towards Data Science 介绍 决策树分类器是一种有监督的学习模型,在我们关心可解释性时非常有用。 决策树通过基于每个层次的多个问题做出决策来分解数据 决策树是处理分类问题的常用算法之一。 为了更好地理解它,让我们看看下面的例子。 决策树通常包括: 根节点 -表示被进一步划分为同质组的样本或总体 拆分 -将节点分为两个子节点的过程 决策节点 -当一个子节点根据某个条件拆分为其他子节点时,称为决策节点 叶节点或终端节点 -不进一步拆分的子节点 信息增益 -要使用一个条件(比如说信息最丰富的特征)来分割节点,我们需要定义一个可以优化的目标函数。在决策树算法中,我们倾向于在每次分割时最大化信息增益。在测量信息增益时,通常使用三种度量。它们是基尼不纯度、熵和分类误差 数学理解 为了理解决策树是如何发展的,我们需要更深入地了解在每一步中如何使用度量使信息增益最大化。 让我们举一个例子,其中我们有包含学生信息的训练数据,如性别、年级、因变量或分类变量,这些变量可以识别学生是否是美食家。我们有以下概述的信息。 学生总数-20人 被归为美食家的学生总数-10 不属于美食家的学生总数-10 P(美食家),即学生成为美食家的概率=(10/20)=0.5 Q(非美食家),学生不是美食家的概率=(10/20)=0.5

MyDLNote-Enhancment : 基于解耦特征表示的混合失真图像修复算法

徘徊边缘 提交于 2020-08-13 10:49:19
Learning Disentangled Feature Representation for Hybrid-distorted Image Restoration 【paper】: https://arxiv.org/pdf/2007.11430v1.pdf 目录 Learning Disentangled Feature Representation for Hybrid-distorted Image Restoration Abstract Introduction Related Work Image Restoration on Hybrid Distortion Approach Primary Knowledge Feature Disentanglement Module Feature aggregation Module Auxiliary Module Overview of Whole Framework Loss Function Experiments Dataset Comparison with State-of-the-Arts Interpretative Experiment Ablation Studies Abstract Hybrid-distorted image restoration (HD-IR) i s dedicated