数据分析

matplotlib API入门 使用matplotlib的办法最常用的方式是pylab的ipython，pylab模式还会向ipython引入一大堆模块和函数提供一种更接近与matlab的界面，matplotlib API函数位于matplotlib.pyplot模块中，其通常的引入约定是：import matplot.pyplot as plt 1、Figure和Subplot matplotlib的图像都位于Figure对象中，你可以用plt.figure创建一个新的Figure，不能通过空Figure绘图，必须用add_subplot创建一个或多个sub_plot才行 >>> import matplotlib.pyplot as plt >>> fig=plt.figure() >>> ax1=fig.add_subplot(2,2,1) >>> ax2=fig.add_subplot(2,2,2) 你可以在matplotlib的文档中找到各种图表类型，由于根据特定布局创建Figure和subplot是一件常见的任务，于是便出现一个更为方便的方法：plt.subplots,它可以创建一个新的Figure，且返回一个含有已创建的subplot对象的numpy数组。 pandas中的绘图函数 1、线型图 Series和DataFrame都有一个用于生成各类图标的plot方法

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> Numpy 的核心内容是它的多维数组对象——ndarray（N-Dimensions Array），整个包几乎都是围绕这个对象展开。Numpy 本身并没有提供多么高级的数据结构和分析功能，但它是很多高级工具（如 pandas）构建的基础，在结构和操作上具有统一性，因此理解 Numpy 的数组及面向数组的计算有助于更加高效地使用诸如 pandas 之类的工具。 <br /> #数据结构 Numpy 的 ndarray 提供了一种将 同质数据块 解释为多维数组对象的方式。同质，表示数组的元素必须都是相同的数据类型（如 int，float 等）；解释，表示 ndarray 的数据块其实是线性存储的，并通过额外的元信息解释为多维数组结构： 下面是一个 3×4 的矩阵：（使用类似 3×4×2... 这种格式表示多维数组的结构时， 从左向右 的数字对应表示 由表及里 的维度，或称为 轴 ，按索引给轴编号后可称为“轴 0”、“轴 1”等） lang:python >>> foo array([[ 0, 1, 2, 3], [ 4, 5, 6, 7], [ 8, 9, 10, 11]]) >>> foo.dtype dtype('int32') >>> foo.shape (3, 4) >>> foo.strides (16,

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 在传统的交易数据库系统中，伴随着客户的交易行为发生，在业务系统中产生了相应的交易数据，并保存在 关系型数据库 系统，从而形成了业务的交易记录，各类业务应用系统都是围绕着关系型数据库打交道。 当今，大家都已看到的现实状况是： 随着越来越多面向移动（mobile-oriented）的应用被大量企业/机构所使用，很多交易数据以 JSON 文档形式产生，并保存在 NoSQL 数据库系统中。 很多企业/机构建立了数据中心，并以数据仓库为主要技术去进行数据分析。数据从交易系统数据库抽取出来，经过转换处理，加载到 数据仓库 ，才能让数据得以进行分析，这个就是众所周知的 ETL 处理流程。然而，这种分析是只能适合对“指定”业务问题进行分析和回答，其表现形式是让用户去查询信息，和用预先设计和建立好的模型来回答在指定范围内的业务问题，以及产生报表。最大的限制和不便就是要“指定”，如果要回答新的业务问题，将无法满足使用这些数据和信息人员的需求。 在最近 5年里，随着 Hadoop 平台系统和 DataLake 技术普及应用，出现了很多面向 Hadoop 开源厂商。他们把大量数据，各种不同种类的数据存放在 Hadoop中，并进行 ETL 处理，将其处理结果保存在 Hadoop。利用开源技术软件和廉价硬件，“充分

来自：http://www.gpxz.com/zixun/jinri/469043.html 对移动游戏数据这块, 我一般喜欢用经典的“水池图”来做说明; 作为CP，无论我们从什么角度做数据分析，最终还是希望能够帮助我们更好的实现最终目的：赚到更多的￥ 从一个庸俗易懂的公式出发： Revenue = AU * PUR *ARPPU 统计周期内的收入流水 = 统计周期内的活跃用户规模 * 活跃用户付费比例 * 平均每付费用户付费金额; 因此，我们要做的事情是：“最大化活跃用户规模，并在此规模之上最大化用户付费转化及付费强度”. 【最大化活跃用户规模】：如果我们把当前的活跃用户看做一个水池，要想提升水池内的含水量，我们可以有几种做法： 1.开源：让更多的水注入，导入更多用户;通过市场推广： 　　1.1拓展新渠道; 　　1.2增加推广费用，提高渠道导入、媒体广告导入量; 　　1.3自有资源与其它APP换量; 　　1.4口碑管理、增加市场认知度和认同度，，提高自然导入量; 2.节流, 减少水池的出水量，降低用户流失; 　　2.1.通过运营活动、版本更新 提高用户的游戏参与度(玩的更久) 　　2.2.通过老玩家召回的活动，唤醒沉默用户;可以联想成，水池中的部分水分被蒸发，并没有真正的离开流走，可以再通过降雨的方式重新回到水池中; 【最大化用户付费转化及付费强度】：在维持水池水量的同时

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> “个数”是“个推”旗下面向 APP 开发者提供数据统计分析的产品。“个数”通过可视化埋点技术及大数据分析能力从用户属性、渠道质量、行业对比等维度对 APP 进行全面的统计分析。 “个数”不仅可以及时统计用户的活跃、新增等，还可以分析卸载用户的成分、流向，此外还能实现流失、付费等用户关键行为的预测，从而帮助 APP 开发者实现用户精细化运营和全生命周期管理。其中很值得一提的是，“个数”在“可视化埋点”及“行为预测”方面的创新，为 APP 开发者在实际运营中带来了极大便利，所以，在下文中，我们也将围绕这两点做详细的分析。 可视化埋点 埋点是指在产品流程的关键部位植入相关统计代码，以追踪用户行为，统计关键流程的使用程度，并将数据以日志的方式上报至服务器的过程。 目前，数据埋点采集模式主要有代码埋点、无埋点、可视化埋点等方式。 “代码埋点”是指在监控页面上加入基础 js，根据需求添加监控代码，它的优点是灵活，可以自定义设置，可以选择自己需要的数据来分析，但对复杂网站来说，每次修改一个页面就得重新出一份埋点方案，成本较大。目前，采用这种埋点方案的代表产品有百度统计、友盟、腾讯云分析、Google Analytics 等。 “可视化埋点”通常是指开发者通过设备连接用户行为分析工具

http://www.cnblogs.com/batteryhp/p/5046450.html 对数据进行分组并对各组应用一个函数，是数据分析的重要环节。数据准备好之后，通常的任务就是计算分组统计或生成透视表。groupby函数能高效处理数据，对数据进行切片、切块、摘要等操作。可以看出这跟SQL关系密切，但是可用的函数有很多。在本章中，可以学到： 根据一个或多个键（可以是函数、数组或DataFrame列名）拆分pandas对象 计算分组摘要统计，如计数、平均值、标准差、，或自定义函数 对DataFrame的列应用各种各样的函数 应用组内转换或其他运算，如规格化、线性回归、排名或选取子集等 计算透视表和交叉表 执行分位数分析以及其他分组分析 对时间数据的聚合也称重采样（resampling），在第十章介绍。 1、GroupBy技术 很多数据处理过程都经历“拆分-应用-合并”的过程。即根据一个或多个键进行分组、每一个应用函数、再进行合并。 分组键有多种形式： 列表或数组，长度与待分组的轴一样 表示DataFrame某个列明的值 字典或Series，给出待分组轴上的值与分组名之间的对应关系 函数，用于处理轴索引或索引中的各个标签 下面开始写例子。 简单实例 #-*- encoding: utf-8 –*- #分组实例 import numpy as np import pandas as

关于大数据和云计算的关系人们通常会有误解。而且也会把它们混起来说，分别做一句话直白解释就是：云计算就是硬件资源的虚拟化;大数据就是海量数据的高效处理。 　　 　　虽然上面的一句话解释不是非常的贴切，但是可以帮助你简单的理解二者的区别。另外，如果做一个更形象的解释，云计算相当于我们的计算机和操作系统，将大量的硬件资源虚拟化之后再进行分配使用，在云计算领域目前的老大应该算是Amazon，可以说为云计算提供了商业化的标准，另外值得关注的还有VMware(其实从这一点可以帮助你理解云计算和虚拟化的关系)，开源的云平台最有活力的就是Openstack了; 　　大数据相当于海量数据的“数据库”，而且通观大数据领域的发展也能看出，当前的大数据处理一直在向着近似于传统数据库体验的方向发展，Hadoop的产生使我们能够用普通机器建立稳定的处理TB级数据的集群，把传统而昂贵的并行计算等概念一下就拉到了我们的面前，但是其不适合数据分析人员使用(因为MapReduce开发复杂)，所以PigLatin和Hive出现了(分别是Yahoo!和facebook发起的项目，说到这补充一下，在大数据领域Google、facebook、twitter等前沿的互联网公司作出了很积极和强大的贡献)，为我们带来了类SQL的操作，到这里操作方式像SQL了，但是处理效率很慢，绝对和传统的数据库的处理效率有天壤之别

　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　　 　python中的多个包的用途 1、Numpy 　 　Numpy提供了两种基本的对象：ndarray和ufunc。ndarray是存储单一数据类型的多维数组，而ufunc是能够对数组进行处理的函数。 　　N维数组，一种快速、高效使用内存的多维数组，他提供矢量化数学运算。 　　可以不需要使用循环，就能对整个数组内的数据进行标准数学运算。 　　非常便于传送数据到用低级语言编写(C\C++)的外部库,也便于外部库以Numpy数组形式返回数据。 　　Numpy不提供高级数据分析功能，但可以更加深刻的理解Numpy数组和面向数组的计算。 　　 可以进行： 　　数组的算数和逻辑运算。 傅立叶变换和用于图形操作的例程。 与线性代数有关的操作。 NumPy 拥有线性代数和随机数生成的内置函数。 2、Scipy 　　 Scipy是一款方便、易于使用、专门为科学和工程设计的Python包，它包括统计、优化、整合、线性代数模块、傅里叶变换、信号和图像处理、常微分方程求解器等。 　　Scipy依赖于Numpy，并提供许多对用户友好的和有效的数值例程，如数值积分和优化。 3、Pandas 　　 Pandas是Python的一个数据分析包，Pandas最初被用作金融数据分析工具而开发出来，因此Pandas为时间序列分析提供了很好的支持。 　

对于未来不确定的事物，大家都习惯于用以往经验来预测。而在这个快速发展的时代，依靠经验来预测到底准不准呢？ 预测就是常说的预先推测和测定，它的目的不是为预测而预测，而是用来指导人类的各项行为决策，以免人在决策时因为对未来的不确定而产生担忧。很多人对预测多采用根据经验推测，这种方法虽然简单方便，但缺乏理论依据，而且具有主观性。最终结果是导致预测反映的是个人意愿，而非现实情况。 阿温那什•考希克（Avinash Kaushik）是数字营销与分析方面的专家，他曾在博文《奥卡姆剃刀》中写道：“你我对消费者的需求做预测，有80%的时候都是错的。” 遗憾的是，那些对统计基准预测进行人为操控的人却感觉通过使用自己的判断能够提升预测的准确率。通过研究发现，当预测人员提高预测值时，他们几乎都是错误的，因为他们过于乐观，反而导致预测的准确率更低。相反，当预测人员降低预测值时，由于更为保守，所以往往反而能提高预测准确率。总的来说，影响预测结果上升或下降的细微变化对预测准确度几乎没有影响，这种行为纯粹是浪费时间。那么怎样用科学方法进行预测呢？ 我们可以基于数据和分析，利用业务知识对未来进行预测。随着计算机技术和网络技术的发展，大数据技术深入到各行各业。从海量数据中挖掘具有潜在价值的关系、趋势和模式，构建预测模型、做出预测分析是必然趋势。通过数据实现预测可以帮助企业发现市场机会，做出科学的经营决策。

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 百度搜索大数据，就会发现这是一个日均搜索达到4000K的热词，在头条上也是如此，只增不降。 这说明什么呢？说明它很重要，有很多人关注，虽然热度不及某当红小鲜肉.... 数据分析或者大数据的热度开始起来，都要从2015年阿里提出数据中台说起，这一年，也是为后面的很多年奠定了基础。我认识阿里的一位数据总监，也经常和他互相交流，所以这篇文章就算是总结出来的心得体会吧。 大数据的到来提升了数据的高度，企业第一次有条件在深层次获得并使用全面的数据。数据的大规模应用正改变着企业的运营管理方式，加之市场的快速变化，企业也越来越认识到数据分析应用的重要性。 就传统企业而言，数据分析来源一般是这样的： 那么如何在企业中做好数据分析呢？ 见过太多打着「数据分析」名头的为分析而分析的数据分析报告和数据分析师。 在分析前，希望先想清楚以下几个问题： 1.你为什么数据分析？分析的对象是什么？（这个问题答好，你已经比80%号称数据分析的人做得好了） 2.你的数据源是什么？数据是怎样获取的？是否准确？（传统行业中这点很重要） 3.如何搞定数据分析背后的“人” 一、为什么要数据分析？ 其实，现在不会再有人再问这样的问题了，因为大数据时代下，每个人都知道数据分析的重要性！数据分析在企业经营或个人生活中都很有用处，关键在于我们如何使用它