阈值

AUC计算方法总结

梦想与她 提交于 2019-12-20 04:34:44
一、roc曲线 1、roc曲线:接收者操作特征(receiveroperating characteristic),roc曲线上每个点反映着对同一信号刺激的感受性。 横轴 :负正类率(false postive rate FPR)特异度,划分实例中所有负例占所有负例的比例;(1-Specificity) 纵轴 :真正类率(true postive rate TPR)灵敏度,Sensitivity(正类覆盖率) 2针对一个二分类问题,将实例分成正类(postive)或者负类(negative)。但是实际中分类时,会出现四种情况. (1)若一个实例是正类并且被预测为正类,即为真正类(True Postive TP) (2)若一个实例是正类,但是被预测成为负类,即为假负类(False Negative FN) (3)若一个实例是负类,但是被预测成为正类,即为假正类(False Postive FP) (4)若一个实例是负类,但是被预测成为负类,即为真负类(True Negative TN) TP :正确的肯定数目 FN :漏报,没有找到正确匹配的数目 FP :误报,没有的匹配不正确 TN :正确拒绝的非匹配数目 列联表如下,1代表正类,0代表负类: 由上表可得出横,纵轴的计算公式: (1)真正类率(True Postive Rate)TPR: TP/(TP+FN) ,代表分类器预测的

服务器过载保护

﹥>﹥吖頭↗ 提交于 2019-12-19 17:10:52
【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> 服务器过载保护(上篇)——过载介绍 http://wetest.qq.com/lab/view/?id=69 1 何为过载 “ 过载 ” 一词,在海量服务的后台开发中,基本都会遇到。何为过载,即当前负载已经超过了系统的最大处理能力。例如,系统每秒能够处理的请求是 100 个,但实际每秒的请求量却是 1000 个,就可以判定系统出现了过载。 过载的定义看似简单,但却是处理过载问题的关键。对于任何其他问题,同样得抓住问题的本质,方可不偏离问题核心,万变而不离其宗。 2 过载后果 “ 过载 ” 的出现,会导致部分服务不可用,如果处置不当,极有可能引起服务完全不可用,乃至雪崩。 我们的系统中,由于是单线程状态机的处理模式,顺序处理所有链接的缓冲区消息,当出现处理能力的下降或者请求量大幅增加,导致处理能力小于请求量的情况下,消息就会在系统缓冲区中堆积,造成消息处理的延迟会持续增加,在正式环境中,链接数目较多,系统缓冲区较大,最终会导致消息处理延迟大到不可接受的程度,最终会导致处理的都是无效消息,造成服务不可用。 当然具体的业务需要具体的分析,把握住问题的影响,才能够做到一切尽在掌握,根据 “ 墨菲定律 ” ,通常对后果的判断不应过于乐观,谨慎行事、考虑充分才能够做到胸有成竹。 3 过载原因 “ 过载 ” 的出现

MATLAB阈值获取函数ddencmp、thselect、wbmpen和wwdcbm的使用

生来就可爱ヽ(ⅴ<●) 提交于 2019-12-19 16:14:32
MATLAB中实现阈值获取的函数有 ddencmp、thselect、wbmpen 和 wwdcbm ,下面对它们的用法进行简单的说明。 一、 ddencmp 的调用格式有以下三种: (1)[THR,SORH,KEEPAPP,CRIT]=ddencmp(IN1,IN2,X) (2)[THR,SORH,KEEPAPP,CRIT]=ddencmp(IN1,'wp',X) (3)[THR,SORH,KEEPAPP,CRIT]=ddencmp(IN1,'wv',X) 函数ddencmp用于 获取信号在消噪或压缩过程中的 默认 阈值 。输入参数X为一维或二维信号;IN1取值为'den'或'cmp','den'表示进行去噪,'cmp'表示进行压缩;IN2取值为'wv'或'wp',wv表示选择小波,wp表示选择小波包。返回值THR是返回的阈值;SORH是软阈值或硬阈值选择参数;KEEPAPP表示保存低频信号;CRIT是熵名(只在选择小波包时使用)。 二、函数 thselect 的调用格式如下: THR=thselect(X,TPTR); THR=thselect(X,TPTR) 根据字符串TPTR定义的阈值选择规则来选择信号X的 自适应阈值。 自适应阈值的选择规则包括以下四种: *TPTR='rigrsure',自适应阈值选择使用Stein的无偏风险估计原理。 *TPTR='heursure'

《Glibc内存管理》笔记DAY2

a 夏天 提交于 2019-12-19 04:22:33
目录 Ptmalloc内存管理设计 Main_arena 与 non_main_arena chunk 的组织 空闲 chunk 容器 sbrk 与 mmap 内存分配概述 内存回收概述 边界标记法 内容来源 Ptmalloc内存管理设计 具有长生命周期的大内存分配使用 mmap。 特别大的内存分配总是使用 mmap。 具有短生命周期的内存分配使用 brk,因为用 mmap 映射匿名页,当发生缺页异常时,linux 内核为缺页分配一个新物理页,并将该物理页清 0,一个 mmap 的内存块需要映射多个物理页,导致多次清 0 操作,很浪费系统资源,所以引入了 mmap分配阈值动态调整机制,保证在必要的情况下才使用 mmap 分配内存。 尽量只缓存临时使用的空闲小内存块,对大内存块或是长生命周期的大内存块在释放时都直接归还给操作系统。 对空闲的小内存块只会在 malloc 和 free 的时候进行合并,free 时空闲内存块可能放入 pool 中,不一定归还给操作系统。 收缩堆的条件是当前 free 的块大小加上前后能合并 chunk 的大小大于 64KB,并且堆顶的大小达到阈值,才有可能收缩堆,把堆最顶端的空闲内存返回给操作系统。 需要保持长期存储的程序不适合用 ptmalloc 来管理内存。 为了支持多线程,多个线程可以从同一个分配区(arena)中分配内存,ptmalloc假设线程

Use of Time-series Based Forecasting Technique for Balancing Load and Reducing Consumption of Energy in a Cloud Data Center

大憨熊 提交于 2019-12-18 10:46:09
年份:2017 摘要: 由于工作负载分配不均,一些服务器变得过载,而另一些服务器仍处于欠载状态。 为了实现负载平衡,需要从过度使用的节点迁移一些虚拟机。 但是与此不同的是,本文提出了一种负载预测算法,该算法将根据系统的当前以及将来的工作量来决定是否迁移。 因此,一旦声明节点过载,我们提出的技术就不会立即启动虚拟机迁移。 我们的算法已在CloudSim中进行了仿真,并将其性能与现有的基准算法进行了比较。 结果证明,所提出的技术不仅使数据中心更节能,而且更有效地平衡了工作量。 介绍 当前的大多数研究工作[5-12]基于系统的当前利用率。 如果服务器当前过载,则VM迁移将立即启动[7]。 但是由于迁移的开销,不必要的VM迁移可能会导致违反SLA。 结果,每次VM迁移都会增加运营成本。 因此,问题在于确定何时应开始迁移,以使与SLA违规和额外能耗有关的成本降至最低。 为此,提出了一种基于时间序列的负载预测方法,该方法决定了VM迁移的决策。 当主机的利用率水平超过动态上限时,该主机将被声明为过度利用。 如果服务器现在过载,并且下一个预测的负载也大于动态上限,则将进行迁移。 负载预测模型使我们的算法能够成功减少VM迁移的数量,并通过提供绿色IT解决方案来节省能源。 相关工作 动态比较和平衡算法(DCABA)算法使用了两个云优化概念。 首先是在物理机器级别上优化云系统

基于旁听《机器视觉》的对频谱图和Hough变换的进一步理解

扶醉桌前 提交于 2019-12-18 01:27:35
目录 前言 第 1 章 机器视觉概述 第 2 章 图像采集 第 3 章 图像基本操作 第 4 章 图像平滑与数学形态学 4.1 空间滤波 4.2 频率域滤波 对频谱的进一步理解——频谱移频 4.3 数学形态学 第5章 图像分割技术 5.1 阈值化处理 5.2 基于区域的分割 5.3 分水岭分割 5.4 彩色图像分割 第6章 边缘检测技术 6.1 边缘提取 6.2 形状检测 6.3 几何检测 对Hough变换的进一步理解——坐标系转换 6.4 孤立点检测 结语 参考链接 前言 刚来H时,就有很多课想旁听,但是十一月考试多,差点考废了。 那之后,有幸开始旁听《机器视觉》,能坚持到现在也算是不错。 因为之前看过《数字图像处理》和《计算机视觉》,进度还能跟得上。 课间让老师帮我解决了本科毕设和暑假对于频谱图和Hough变换的部分疑惑,特此记录。 第 1 章 机器视觉概述 美国制造工程师协会(SME)机器视觉分会和美国机器人工业协会 (RIA)自动化分会 : " 机器视觉是通过光学装置和非接触式的传感器,自动获取和处理一幅真实物体的图像,以获得所需信息来用于控制机器运动的装置。 ” 图像处理软件是否先进是机器视觉应用成功的关键 。 第 2 章 图像采集 光学系统设计的成败 是决定整个机器视觉 系统成败的首要因素! 光学系统核心器件选型: 光源、镜头、相机、采集卡 第 3 章 图像基本操作

图解拥塞控制,这应该是把拥塞控制讲的最通俗易懂的文章了

时光总嘲笑我的痴心妄想 提交于 2019-12-16 16:35:18
大家可能都听说过 拥塞控制 和 流量控制 ,想必也有一些人可能还分不清拥塞控制和流量控制,进而把他们当作一回事。拥塞控制和流量控制虽然采取的动作很相似,但拥塞控制与网络的拥堵情况相关联,而流量控制与接收方的缓存状态相关联。 也就是说,拥塞控制和流量控制是针对完全不同的问题而采取的措施。今天这篇文章,我们先来讲讲拥塞控制。 一、为何要进行拥塞控制? 为了方便,我们假设主机A给主机B传输数据。 我们知道,两台主机在传输数据包的时候,如果发送方迟迟没有收到接收方反馈的ACK,那么发送方就会认为它发送的数据包丢失了,进而会重新传输这个丢失的数据包。 然而实际情况有可能此时有太多主机正在使用信道资源,导致 网络拥塞 了,而A发送的数据包被堵在了半路,迟迟没有到达B。这个时候A误认为是发生了丢包情况,会重新传输这个数据包。 结果就是不仅浪费了信道资源,还会使网络更加拥塞。因此,我们需要进行 拥塞控制 。 二、如何知道网络的拥塞情况? A 与 B 建立连接之后,就可以向B发送数据了,然而这个时候 A 并不知道此时的网络拥塞情况如何,也就是说,A 不知道一次性连续发送多少个数据包好,我们也把 A 一次性连续发送多少个数据包称之为 拥塞窗口 ,用 N 代表此时拥塞窗口的大小吧。 为了探测网络的拥塞情况,我们可以采取以下 两种策略 : 1、先发送一个数据包试探下,如果该数据包没有发生超时事件

图解拥塞控制,这应该是把拥塞控制讲的最通俗易懂的文章了

落花浮王杯 提交于 2019-12-16 13:47:57
大家可能都听说过 拥塞控制 和 流量控制 ,想必也有一些人可能还分不清拥塞控制和流量控制,进而把他们当作一回事。拥塞控制和流量控制虽然采取的动作很相似,但拥塞控制与网络的拥堵情况相关联,而流量控制与接收方的缓存状态相关联。 也就是说,拥塞控制和流量控制是针对完全不同的问题而采取的措施。今天这篇文章,我们先来讲讲拥塞控制。 一、为何要进行拥塞控制? 为了方便,我们假设主机A给主机B传输数据。 我们知道,两台主机在传输数据包的时候,如果发送方迟迟没有收到接收方反馈的ACK,那么发送方就会认为它发送的数据包丢失了,进而会重新传输这个丢失的数据包。 然而实际情况有可能此时有太多主机正在使用信道资源,导致 网络拥塞 了,而A发送的数据包被堵在了半路,迟迟没有到达B。这个时候A误认为是发生了丢包情况,会重新传输这个数据包。 结果就是不仅浪费了信道资源,还会使网络更加拥塞。因此,我们需要进行 拥塞控制 。 二、如何知道网络的拥塞情况? A 与 B 建立连接之后,就可以向B发送数据了,然而这个时候 A 并不知道此时的网络拥塞情况如何,也就是说,A 不知道一次性连续发送多少个数据包好,我们也把 A 一次性连续发送多少个数据包称之为 拥塞窗口 ,用 N 代表此时拥塞窗口的大小吧。 为了探测网络的拥塞情况,我们可以采取以下 两种策略 : 1、先发送一个数据包试探下,如果该数据包没有发生超时事件

什么是拥塞控制

随声附和 提交于 2019-12-16 09:03:13
什么是拥塞控制,这应该是把拥塞控制讲的最好的文章了 原创 帅地 发布于2019-12-15 18:34:36 阅读数 65 收藏 展开 大家可能都听说过 拥塞控制 和 流量控制 ,想必也有一些人可能还分不清拥塞控制和流量控制,进而把他们当作一回事。拥塞控制和流量控制虽然采取的动作很相似,但拥塞控制与网络的拥堵情况相关联,而流量控制与接收方的缓存状态相关联。 也就是说,拥塞控制和流量控制是针对完全不同的问题而采取的措施。今天这篇文章,我们先来讲讲拥塞控制。 一、为何要进行拥塞控制? 为了方便,我们假设主机A给主机B传输数据。 我们知道,两台主机在传输数据包的时候,如果发送方迟迟没有收到接收方反馈的ACK,那么发送方就会认为它发送的数据包丢失了,进而会重新传输这个丢失的数据包。 然而实际情况有可能此时有太多主机正在使用信道资源,导致 网络拥塞 了,而A发送的数据包被堵在了半路,迟迟没有到达B。这个时候A误认为是发生了丢包情况,会重新传输这个数据包。 结果就是不仅浪费了信道资源,还会使网络更加拥塞。因此,我们需要进行 拥塞控制 。 二、如何知道网络的拥塞情况? A 与 B 建立连接之后,就可以向B发送数据了,然而这个时候 A 并不知道此时的网络拥塞情况如何,也就是说,A 不知道一次性连续发送多少个数据包好,我们也把 A 一次性连续发送多少个数据包称之为 拥塞窗口 ,用 N

Spring Cloud进阶篇之Eureka原理分析

生来就可爱ヽ(ⅴ<●) 提交于 2019-12-15 14:25:54
前言 时光小说 https://www.youxs.org/ 之前写了几篇Spring Cloud的小白教程,相信看过的朋友对Spring Cloud中的一些应用有了简单的了解,写小白篇的目的就是为初学者建立一个基本概念,让初学者在学习的道路上建立一定的基础。 从今天开始,我会持续更新几篇Spring Cloud的进阶教程。 Eureka简介 Eureka是Netflix开发的服务发现框架,本身就是一个基于REST的服务。Spring Cloud将它集成在其子项目spring-cloud-netflix中,用来实现服务的注册与发现功能。 Eureka总体架构图 Eureka组件介绍 服务注册中心集群 分别部署在IDC1、IDC2、IDC3中心 服务提供者 服务提供者一个部署在IDC1,一个部署在IDC3 服务消费者 服务消费者一个部署在IDC1,一个部署在IDC2 组件之间的调用关系 服务提供者 启动服务 :服务提供者会向服务注册中心发起Register请求,注册服务。 运行过程中 :服务提供者会定时向注册中心发送Renew心跳,告诉它“我还活着”。 停止服务提供 :服务提供者会向服务注册中心发送Cancel请求,告诉它清空当前服务注册信息。 服务消费者 启动后 :从服务注册中心拉取服务注册信息。 运行过程中 :定时更新服务注册信息。 发起远程调用 : -