utm

相关系数之皮尔森相关系数

丶灬走出姿态 提交于 2021-01-11 05:55:19
皮尔森相关系数(Pearson Correlation Coefficient) 先讲几个统计学中一些基本的数学概念: 数学期望就是平均值: 均值公式: 方差: 或者: 另一种形式: 标准差: 标准差与方差不同的是,标准差和变量的计算单位相同,比方差清楚,因此很多时候我们分析的时候更多的使用的是标准差。 均值描述的是样本集合的中间点,它告诉我们的信息是有限的,而标准差给我们描述的是样本集合的各个样本点到均值的距离之平均。 标准差和方差一般是用来描述一维数据的,但现实生活中我们常常会遇到含有多维数据的数据集,最简单的是大家上学时免不了要统计多个学科的考试成绩。面对这样的数据集,我们当然可以按照每一维独立的计算其方差,但是通常我们还想了解更多。 协方差: 展开: 或者: 从直观上来看,协方差表示的是两个变量总体误差的期望。 如果两个变量的变化趋势一致,也就是说如果其中一个大于自身的期望值时另外一个也大于自身的期望值,那么两个变量之间的协方差就是正值;如果两个变量的变化趋势相反,即其中一个变量大于自身的期望值时另外一个却小于自身的期望值,那么两个变量之间的协方差就是负值。 如果 X 与 Y 是统计独立的,那么二者之间的协方差就是0,因为两个独立的随机变量满足 E [ XY ]= E [ X ] E [ Y ] 故协方差主要用来度量各个维度偏离其均值的程度。如果结果为正值

MySQL在按照某个字段分组、排序加序号

心不动则不痛 提交于 2021-01-10 02:35:30
事情是这样的,最近领导给了一个新的需求,要求在一张订单表中统计每个人第一次和第二次购买的时间间隔,最后还需要按照间隔统计计数,求出中位数等数据。 由于MySQL不想Oracle那般支持行号、中位数等,所以怎么在表中统计处数据成为了关键 订单表结构,主要包含字段如下 id、订单号、购买人id、下单时间、商品信息字段、购买人信息字段等 1.为了方便后续统计,我的想法是构建了一张中间表,只存储一些关键字段,如购买人id,下单时间,订单号,以及购买的第几次,结构如下图: 字段解释:fans_id:购买人id、order_time:下单时间、tid:订单号、series:商品系列、shop:店铺、times:第几次购买、sync_time:同步时间、effective:是否有效、failure_time:失效时间 2.写了一段代码,处理历史订单,把所有数据按照表中格式添加进去,方便统计,每次新订单进来时,更新一下这个表即可。 3.统计: -- 统计购买次数最大和最小 select max (times) from 统计表 where effective = '有效' -- 统计最大购买次数间隔、最小间隔以及平均间隔(中位数的话,由于MySQL没有中位数函数,所以可以利用子查询的SQL通过程序代码计算) SELECT max ( date ) as max , min ( date ) as

java 深入理解jvm内存模型 jvm学习笔记

蹲街弑〆低调 提交于 2021-01-10 00:38:40
jvm内存模型 这是java堆和方法区内存模型 参考: https://www.cnblogs.com/honey01/p/9475726.html Java 中的堆也是 GC 收集垃圾的主要区域。GC 分为两种:Minor GC、FullGC ( 或称为 Major GC )。 Minor GC 是 发生在新生代中 的垃圾收集动作, 所采用的是复制算法 。 新生代几乎是所有 Java 对象出生的地方,即 Java 对象申请的内存以及存放都是在这个地方。Java 中的大部 分对象通常不需长久存活,具有朝生夕灭的性质。 当一个对象被判定为 "死亡" 的时候,GC 就有责任来回收掉这部分对象的内存空间。新生代是 GC 收集垃圾的 频繁区域。 当对象在 Eden ( 包括一个 Survivor 区域,这里假设是 from 区域 ) 出生后, 在经过一次 Minor GC 后,如 果对象还存活,并且能够被另外一块 Survivor 区域所容纳 ( 上面已经假设为 from 区域,这里应为 to 区域, 即 to 区域有足够的内存空间来存储 Eden 和 from 区域中存活的对象 ), 则使用复制算法将这些仍然还存活的对 象复制到另外一块 Survivor 区域 ( 即 to 区域 ) 中 ,然后清理所使用过的 Eden 以及 Survivor 区域 ( 即 from 区域 ),

开机自安装linux驱动模块

南楼画角 提交于 2021-01-07 14:37:56
Linux驱动开发完以后,需要开机启动时候,自动安装驱动*.ko文件。 1、输入指令 sudo gedit /etc/rc.local 2、在rc.local脚本添加如下指令。 注意: (1) /home/wzc/Project_Driver/Release_SOFT_20201230/Linux_Driver/sg_dma_drv/ 是驱动文件*.ko所在的路径。按照自己的路径修改此路径。 (2)按照自己的驱动名称,修改 module ,和 device 。 module="SG_DMA" device="SG_DMA" mode="666" # load the module /sbin/insmod /home/wzc/Project_Driver/Release_SOFT_20201230/Linux_Driver/sg_dma_drv/$module.ko $* || #exit 1 # remove stale nodes rm -f /dev/$device # create new device node major=`grep -w $module /proc/devices | cut -f1 -d" "` mknod /dev/$device c $major 0 # change permissions to allow all users to read

【插件】jsPlumb 删除节点以及节点间的连线

寵の児 提交于 2021-01-06 14:11:38
deleteflowchart: function (activities) { // 移除节点的端点及节点之间的连线 if (activities) $.each(activities, function (i, activeitem) { var divID = activeitem.ActId; jsPlumb.detachAllConnections(divID);//删除divID所有连接线 jsPlumb.removeAllEndpoints(divID);//删除divID所有端点 jsPlumb.detach(divID);//删除连接线 jsPlumb.remove(divID);//移除节点 }) } 可参考https://www.cnblogs.com/leomYili/p/6346526.html?utm_source=itdadao&utm_medium=referral,关于jsPlumb的API。 这个方法主要是解决在数据刷新时的问题,因为在做流程图显示的时候需要根据从不同页面跳转进入显示不同的流程图,即渲染不同的数据。为避免上次渲染的数据还存在(比如一些连线、箭头等)就需要先清除再做渲染。 在做项目的时候需要用到jsPlumb,弄了两个案例试了一下,有需要可以看看。https://gitee.com/qiuyueding/VueDemo/tree

每个大数据工程师都应该知道的OLAP 核心知识点

陌路散爱 提交于 2021-01-05 12:00:36
OLAP 系统广泛应用于 BI, Reporting, Ad-hoc, ETL 数仓分析等场景,本文主要从体系化的角度来分析 OLAP 系统的核心技术点,从业界已有的 OLAP 中萃取其共性,分为谈存储,谈计算,谈优化器,谈趋势 4 个章节。 01 谈储存 列存的数据组织形式 行存,可以看做 NSM (N-ary Storage Model) 组织形式,一直伴随着关系型数据库,对于 OLTP 场景友好,例如 innodb[1] 的 B+ 树聚簇索引,每个 Page 中包含若干排序好的行,可以很好的支持 tuple-at-a-time 式的点查以及更新等;而列存 (Column-oriented Storage),经历了早期的 DSM (Decomposition Storage Model) [2],以及后来提出的 PAX (Partition Attributes Cross) 尝试混合 NSM 和 DSM,在 C-Store 论文 [3] 后逐渐被人熟知,用于 OLAP,分析型不同于交易场景,存储 IO 往往是瓶颈,而列存可以只读取需要的列,跳过无用数据,避免 IO 放大,同质数据存储更紧凑,编码压缩友好,这些优势可以减少 IO,进而提高性能。 列存的数据组织形式 对于基本类型,例如数值、string 等,列存可以使用合适的编码,减少数据体积,在 C-Store

K8S——Pod无法通过 Service IP 访问自身

喜你入骨 提交于 2021-01-04 14:49:17
问题描述:pod能ping通Service名称,但无法通过nc或者telnet连接对应的端口 解决: 1、 修改svc 模式 cluster ip 到load balance解决 ,但阿里云需要创建slb,可以买内网共享型的slb,免费 2、修改k8s配置: kubelet --hairpin-mode 配置(https://kubernetes.io/docs/setup/production-environment/tools/kubeadm/troubleshooting-kubeadm/#pods-are-not-accessible-via-their-service-ip ),确认了一下集群中这块配置使用的是默认的配置,默认配置是 promiscuous-bridge ,如果 kubenet 没有开启的话会自动切换配置为 hairpin-veth 模式。 参考: 1、 https://blog.csdn.net/xujiamin0022016/article/details/105004071?utm_medium=distribute.pc_relevant.none-task-blog-baidujs_title-3&spm=1001.2101.3001.4242 2、 https://blog.csdn.net/github_19391267/article

透析防火墙技术

烂漫一生 提交于 2021-01-02 06:24:26
防火墙技术介绍 网络安全概述 随着网络技术的普及,网络攻击行为出现的越来越频繁。通过各种攻击软件,只要具有一般计算机知识的初学者也能完成对网络的攻击。各种网络病毒的泛滥,也加剧了网络被攻击的危险。目前,Internet网络上常见的安全威胁分为一下几类。 非法使用: 资源被未授权的用户(也可以称为非法用户)或以未授权方式(非法权限)使用。例如:攻击者通过猜测帐户和密码的组合,从而进入计算机系统以非法使用资源。 拒绝服务: 服务器拒绝合法永福正常访问信息或资源的请求。例如,攻击者短时间内使用大量数据包或畸形报文向服务器发起连接或请求回应,致使服务器负荷过重而不能处理合法任务。 信息盗窃: 攻击者不直接入侵目标系统,而是通过窃听网络来获取重要数据或信息。 数据篡改: 攻击者对系统数据或消息流进行有选择的修改、删除、延误、重排序及插入虚假消息等操作,而使数据的一致性被破坏。 因此: 网络安全是Internet必须面对的一个实际问题 网络安全是一个综合性的技术 网络安全具有两层含义: 保证内部局域网的安全(不被非法侵入) 保护和外部进行数据交换的安全 网络安全技术需要不断地完善和更新 网络安全关注的范围 网络安全关注点 作为负责网络安全的管理人员主要关注(并不局限于)以下8个方面: 1)保护网络物理线路不会轻易遭受攻击 2)有效识别合法的和非法的用户(AAA) 3)实现有效的访问控制(ACL

IDC如何更好地迎接5G发展年

梦想与她 提交于 2020-12-29 08:36:13
中国已经开启5G新纪元,伴随着信息技术的发展,5G是工业、交通、教育、医疗等各行各业创新发展所依赖的科技基础。在这风口浪尖上,大型的专业IDC服务商已经开始向高端增值服务商转移,进行数字化转型,为现有客户提供业务上云、技术咨询以及混合云等一系列增值服务。 对于中小IDC而言,转型是能够在将来的行业中取得一席之地的关键,但向云计算行业转型面临着诸多难题,技术、资源以及资金的短板将多数中小 IDC拒之门外。 5G发展,上云加速,IDC难免手足无措,为助力国内IDC市场发展,ZKEYS特此研发出一套完善的解决方案。 ZKEYS 系统通过不同的模块,串联了每一个IDC从研发,生产,服务,运营,商务,人力资源管理到财务全部的业务环节,并实现各个环节各个业务动作的意义对应,有了 ZKEYS,中小IDC就可以实现全业务流程的一站式托管,部署ZKEYS系统后带来的是高效,便捷,优质的客户体验。 ZKEYS 通过模块化的系统,以及资源池等配套,帮中小IDC实现了云端的互联互通,借助系统可以实现资源等的相互调用,这又有利于其降低成本,提升自身的产品能力,增加收入,帮助IDC在5G浪潮席卷而来之时,有足够的应对能力。 了解更多: https://www.zkeys.com/?utm_source=bk-czj 来源: oschina 链接: https://my.oschina.net/u

spring mvc参数绑定

我与影子孤独终老i 提交于 2020-12-28 01:20:35
参考: https://blog.csdn.net/weixin_38004638/article/details/99655322?utm_medium=distribute.pc_relevant.none-task-blog-baidujs_baidulandingword-6&spm=1001.2101.3001.4242 有段时间么有用spring mvc了。有几个参数绑定的关键字要忘了。搜索了一些文章整理下: 我们这边项目要求,处于安全考虑,必须采用post方式提交请求数据。为了前端调试接口方便,我们同意使用json格式,不用各种换来换去,把自己绕晕。 提交对象数据采用json格式 ,后端使用@requstBody来接收,貌似这标签只能是用post方式请求,而且一个请求只能有一个requestbody参数。 注解@RequestBody接收的参数是 来自requestBody 中,即 请求体 。一般用于处理非 Content-Type: application/x-www-form-urlencoded 编码格式的数据,比如: application/json 、 application/xml 等类型的数据。 就 application/json 类型的数据而言,使用注解@RequestBody可以将body里面所有的json数据传到后端,后端再进行解析。