NoRM

数据分析实战(二)

╄→尐↘猪︶ㄣ 提交于 2019-11-28 23:11:53
数据集地址 提取码: us2a Age: 年龄,指登船者的年龄 Fare: 价格,指船票价格 Embark: 登船的港口 Q1: 按照港口分类,使用python求出各类数据年龄、票价格的统计量(均值、方差、标准差、变异系数等) import pandas as pd data = pd.read_excel("D:\data\data.xlsx") data = data.set_index("ID") portS = data[data["Embarked"]=="S"] portC = data[data["Embarked"]=="C"] portQ = data[data["Embarked"]=="Q"] portS_age = portS["Age"] portS_fare = portS["Fare"] portC_age = portC["Age"] portC_fare = portC["Fare"] portQ_age = portQ["Age"] portQ_fare = portQ["Fare"] port_details = pd.DataFrame({"均值":[portS_age.mean(),portC_age.mean(),portQ_age.mean(),portS_fare.mean(),portC_fare.mean(),portQ_fare

常规异常值检测方式

╄→гoц情女王★ 提交于 2019-11-28 19:23:53
##正态假设检验 参考资料:https://blog.csdn.net/cyan_soul/article/details/81236124 ###正态分布,可考虑采用3西格玛准则 #####非正态分布则考虑使用箱线图,计算分位数确定上下边界 ##使用numpy中的percentile计算分位数 a = np.arange(15) ##计算四分之一分位数、四分之三分位数、中位数 Q1 = np.percentile(a, 25) Q3 = np.percentile(a, 75) median = np.percentile(a, 50) 上边界 = Q3 + 1.5(Q3- Q1) 下边界 = Q3 - 1.5(Q3- Q1) #####绘制箱线图 参考资料: ##pandas自带 https://www.cnblogs.com/wwxbi/p/9032248.html ##seaborn http://seaborn.pydata.org/examples/horizontal_boxplot.html ##计算均值标准差、分位数,主要针对标准正态分布 参考资料:https://blog.csdn.net/lanchunhui/article/details/80381367 from scipy.stats import norm norm.cdf(3) - norm.cdf

Solr——评分公式修改

人走茶凉 提交于 2019-11-28 15:41:34
以下来自solr in action。 包含: 词项频次。查询词项出现在当前查询文档中的次数。 反向文档频次。查询词项出现在所有文档总的次数。 此项权重。 标准化因子: 字段规范: 文档权重。 字段权重。 长度归一化。消除长文档的优势。因为长文档的词项频次一般会比较大。 协调因子。避免一个文档中出现某一个词项的次数太多导致总分值太大。目的是让结果中包含更多的是出现所有词项的文档。 具体说明见下文。 以下转载自网络。原文地址: http://tec.5lulu.com/detail/110d8n2ehpg2j85ec.html 简述 内容的相似性计算由搜索引擎的几种常见的检索模型有: 向量空间模型 简述中介绍了好多种相似性计算方法, Solr的索引文件中有.tvx,.tvd,tvf存储了term vector的信息,首先我们学习如何利用term vector来反映相似性程度。 用v(d1)表示了term d1的term向量,termterm 给定一个查询以及一个文档,如何计算他们的相似值呢,请看以下公式,它使用了以下概念:term frequency (tf), inverse document frequency (idf), term boosts (t.getBoost), field normalization (norm), coordination factor

total variation norm

眉间皱痕 提交于 2019-11-28 05:04:14
Total variation norm is commonly used to make the visual data more local smooth. 1) definition For matrices, the TV norm is defined as where For multidimensional data, the TV norm can be given by 2) algorithm ( primal-dual gradient algorithm ) basis: the general inpainting problem with TV norm model: the dual expression of TV norm can be represened as Then the inpainting problem (2) can be tackled by solving the following minmax problem. reference 1] Zhu M, Chan T. An efficient primal-dual hybrid gradient algorithm for total variation image restoration[J]. UCLA CAM Report, 2008, 34. 2] Ye X,

MongoDB transactions?

a 夏天 提交于 2019-11-28 04:22:34
Playing around with MongoDB and NoRM in .NET. Thing that confused me - there are no transactions (can't just tell MongoConnection.Begin/EndTransaction or something like that). I want to use Unit of work pattern and rollback changes in case something fails. Is there still a clean way how to enrich my repository with ITransaction? MongoDB doesn't support complex multi-document transactions. If that is something you absolutely need it probably isn't a great fit for you. In most cases, however, we've found that complex transactions aren't a requirement. All operations in MongoDB are atomic on a

Logistic回归

China☆狼群 提交于 2019-11-28 03:13:55
虽然Logistic回归叫回归,但是其实它是一个二分类或者多分类问题 这里的话我们使用信用诈骗的数据进行分析 第一步:导入数据,Amount的数值较大,后续将进行(-1,1)的归一化 data = pd.read_csv('creditcard.csv') #读取数据 #查看前5行数据 print(data.head()) 第二步: 对正常和欺诈的数目进行查看,正常样本的数目远大于欺诈样本,这个时候可以使用下采样或者过采样 # 画图查看 count_data = pd.value_counts(data['Class'], sort=True).sort_index() #统计样本数 count_data.plot(kind='bar') #画条形图 plt.title("Fraud class histogram") #标题 plt.xlabel('Classes') plt.ylabel('Frequency') plt.show() 第三步:将amount进行归一化形成amountNorm,并且去除time和amount项 #把amount数据标准化到-1, 1 from sklearn.preprocessing import StandardScaler #reshape 需要转换到的数值范围 data['NormAmount'] = StandardScaler()

用Python实现图片风格迁移,让你的图片更加的高逼格!

半城伤御伤魂 提交于 2019-11-28 01:35:42
先来看下效果: 上图是老王在甘南合作的 米拉日巴佛阁 外面拍下的一张照片,采用风格迁移技术后的效果为: 一些其它效果图: 下面进入正题。 近年来,由深度学习所引领的人工智能(AI)技术浪潮,开始越来越广泛地应用到生活各个领域。这其中,人工智能与艺术的交叉碰撞,在相关技术领域和艺术领域引起了高度关注。就在上个月,由电脑生成的艺术品在佳士得(Christie’s)的拍卖价竟高达43.25万美元,证明人工智能不仅可以具有创造性,还可以创作出世界级的艺术品。 早些时候,有些人坚信艺术的创造力是人工智能无法替代的,艺术将是人类最后一片自留地!这不,没过多久,这片唯一的自留地也逐渐被人工智能所取代。 在这各种神奇的背后,最核心的就是基于深度学习的 风格迁移 (style transfer)技术。我将在这篇博客带领大家学习如何使用Python来快速实现图片的风格迁移。阅读完本博客后,相信你也能够创造出漂亮的艺术品。 1. 什么是图片的风格迁移? 所谓图片风格迁移,是指利用程序算法学习著名画作的风格,然后再把这种风格应用到另外一张图片上的技术。 举个例子,见上图。左边是我们的 原始图片 (也称内容图像):小编在苏州甪直古镇的一座小桥上拍下的一张照片。 中间是我们的 风格图片 :挪威表现派画家爱德华**·**蒙克的代表作《呐喊》(The Scream)。 右边是将爱德华**· 蒙克的《呐喊

Faster-RCNN(三)TF版FasterRCNN:resnet_v1.py代码阅读笔记

一曲冷凌霜 提交于 2019-11-27 07:22:32
版权声明:本文为CSDN博主「南石北岸生」的原创文章,遵循CC 4.0 by-sa版权协议,转载请附上原文出处链接及本声明。 原文链接:https://blog.csdn.net/gusui7202/article/details/84799212 个人代码阅读笔记。 第二次更新:2019.4.3 # -------------------------------------------------------- # Tensorflow Faster R-CNN # Licensed under The MIT License [see LICENSE for details] # Written by Zheqi He and Xinlei Chen # -------------------------------------------------------- from __future__ import absolute_import from __future__ import division from __future__ import print_function import tensorflow as tf import tensorflow.contrib.slim as slim from tensorflow.contrib.slim import

refinedet网络结构

痴心易碎 提交于 2019-11-27 01:42:47
refinedet只预测4个层,并且只有conv6_1、conv6_2,没有ssd中的conv7、8、9 refinedet的4个层都只有1个aspect ratio和1个min_size,所以每层每个点只有3个anchor,arm中做location的conv4_3_norm_mbox_loc等层都是3*4个channel,做confidence的conv4_3_norm_mbox_conf都是6个channel,因为这里变成了2分类,每个anchor必须要有negative和positive的概率 refinedet是两步都要回归bounding box的框,refinedet中的odm_loss就相当于ssd中的mbox_loss,mbox_loss获得了anchor的坐标后会加上回归再进行训练,odm_loss获得anchor的坐标后先要加上arm_loc的回归,再加odm_loc的回归,这样再去进行loss计算. name: "vgg_1/8" layer { name: "data" type: "AnnotatedData" top: "data" top: "label" include { phase: TRAIN } transform_param { mirror: true mean_value: 104.0 mean_value: 117.0 mean

MongoDB transactions?

筅森魡賤 提交于 2019-11-27 00:22:29
问题 Playing around with MongoDB and NoRM in .NET. Thing that confused me - there are no transactions (can't just tell MongoConnection.Begin/EndTransaction or something like that). I want to use Unit of work pattern and rollback changes in case something fails. Is there still a clean way how to enrich my repository with ITransaction? 回答1: MongoDB doesn't support complex multi-document transactions. If that is something you absolutely need it probably isn't a great fit for you. In most cases,