metrics

How to compute Spearman correlation in Tensorflow

由 霸气de小男生 提交于 2020-07-06 13:09:16
问题 Problem I need to compute the Pearson and Spearman correlations, and use it as metrics in tensorflow. For Pearson, it's trivial : tf.contrib.metrics.streaming_pearson_correlation(y_pred, y_true) But for Spearman, I am clueless ! What I tried : From this answer : samples = 1 predictions_rank = tf.nn.top_k(y_pred, k=samples, sorted=True, name='prediction_rank').indices real_rank = tf.nn.top_k(y_true, k=samples, sorted=True, name='real_rank').indices rank_diffs = predictions_rank - real_rank

How to compute Spearman correlation in Tensorflow

由 心已入冬 提交于 2020-07-06 13:08:34
问题 Problem I need to compute the Pearson and Spearman correlations, and use it as metrics in tensorflow. For Pearson, it's trivial : tf.contrib.metrics.streaming_pearson_correlation(y_pred, y_true) But for Spearman, I am clueless ! What I tried : From this answer : samples = 1 predictions_rank = tf.nn.top_k(y_pred, k=samples, sorted=True, name='prediction_rank').indices real_rank = tf.nn.top_k(y_true, k=samples, sorted=True, name='real_rank').indices rank_diffs = predictions_rank - real_rank

How to compute Spearman correlation in Tensorflow

由 戏子无情 提交于 2020-07-06 13:08:02
问题 Problem I need to compute the Pearson and Spearman correlations, and use it as metrics in tensorflow. For Pearson, it's trivial : tf.contrib.metrics.streaming_pearson_correlation(y_pred, y_true) But for Spearman, I am clueless ! What I tried : From this answer : samples = 1 predictions_rank = tf.nn.top_k(y_pred, k=samples, sorted=True, name='prediction_rank').indices real_rank = tf.nn.top_k(y_true, k=samples, sorted=True, name='real_rank').indices rank_diffs = predictions_rank - real_rank

How to expose kafka metrics to /actuator/metrics with spring boot 2

由 匆匆过客 提交于 2020-05-14 18:13:48
问题 I was looking a while and didn't seem to find the answer. I'm using Spring boot 2, Spring Kafka 2.1.4 and I want to see the kafka consumer metrics in the /metrics endpoint of spring boot actuator. What I don't understand is - should I implenemt the exposure myself or is this comes out-of-box in boot 2 ? If I to implement this my self, what is the best way to do it? 回答1: Targeted for micrometer v1.1.0 is the KafkaConsumerMetrics implementation of MeterBinder . This should expose the kafka

数据挖掘--模型参数调优

由 Deadly 提交于 2020-04-06 22:02:39
模型评估 使用metric函数来进行评分 　　sklearn.metrics里面提供了一些函数来帮助我们进行评分。其中里面以_score结尾的函数的返回值越大，模型的性能越好。而以_error或_loss结尾的函数，返回值越小，表示模型性能越好。从命名上来看，这一点不难理解。 　　metrics里面的很多函数名不直接传入scoring后面，因为有一些函数需要传入特定的参数才能够使用。比如在使用fbeta_score的时候需要传入bata参数等。 在这个时候，我们的做法是把函数名和参数封装一下，封装成为一个新的函数，然后传入scoring后面。封装的方法是使用metrics的make_scorer方法。 from sklearn.metrics import make_scorer, fbeta_score #我们用make_scorer封装了fbeta_score,它需要传入一个参数 ftwo_score = make_scorer(fbeta_score, beta=2) from sklearn.model_selection import GridSearchCV from sklearn.svm import LinearSVC grid = GridSearchCV(LinearSVC(), param_grid={‘C‘:[1, 10]}, scoring=ftwo

metrics-server TLS

由 空扰寡人 提交于 2020-04-05 18:51:56
下载metrics-server 准备证书 cat << EOF | tee /opt/kubernetes/ca_json/metrics-server.json { "CN": "metrics-server", "key": { "algo": "rsa", "size": 2048 }, "names": [ { "C": "CN", "ST": "Shanghai", "L": "Shanghai", "O": "k8s", "OU": "System" } ] } EOF 生成证书 cfssl gencert -ca=ca.pem -ca-key=ca-key.pem -config=ca-config.json -profile=kubernetes metrics-server.json | cfssljson -bare ./metrics-server kube-apiserver需添加的参数 --proxy-client-cert-file=/opt/kubernetes/ssl/metrics-server.pem --proxy-client-key-file=/opt/kubernetes/ssl/metrics-server-key.pem --requestheader-allowed-names=aggregator --requestheader

实践指路明灯，源码剖析flink-metrics

由 自闭症网瘾萝莉.ら 提交于 2020-04-04 10:23:15
1. 通过上期的分享，我们对 Metrics 类库有了较深入的认识，并对指标监控的几个度量类型了如指掌。 本期，我们将走进当下最火的流式处理框架 flink 的源码，一同深入并学习一下别人家的代码。 2. 会当凌绝顶，一览众山小。先从全局了解个梗概，然后再采用剥洋葱的方式逐层去解密。 我本地的源码是 flink-1.8.1 版本，打开 源码，进入 flink-metrics 模块，发现很多以 flink-metrics-开头的系列模块。 映入眼帘的 flink-metrics 系列模块虽然很多，不用发愁。 其实主要分为指标监控基础核心模块（ flink-metrics-core ），以及指标数据监控组件集成模块（ flink-metrics-xxx ）两大类。 2.1. flink-metrics-core 模块剖析。 开篇提到 Metrics 的几种度量类型，来看看 flink 是咋定义的？ 打开指标监控基础核心模块 flink-metrics-core 看个梗概。 不出我们所料，flink 定义了 Metrics 监控中常见的几种度量规范（Meter、Gauge、Counter、Histogram），画个简易的类图再看的明白些。 不过为了便于管理和区分 Metric，于是就有了 MetricGroup 的定义，那么编码时可以直接与 MetricGroup 交互就可以啦。 到这

高可用方案

由 浪尽此生 提交于 2020-04-02 17:24:42
基本HA：服务可用性 此方案用户只需要部署多套Prometheus Server实例，并且采集相同的Exporter目标即可。 基本的HA模式只能确保Promthues服务的可用性问题，但是不解决Prometheus Server之间的数据一致性问题以及持久化问题(数据丢失后无法恢复)，也无法进行动态的扩展。因此这种部署方式适合监控规模不大，Promthues Server也不会频繁发生迁移的情况，并且只需要保存短周期监控数据的场景。 基本HA + 远程存储 在基本HA模式的基础上通过添加Remote Storage存储支持，将监控数据保存在第三方存储服务上。 在保证Promthues服务可用性的基础上，同时确保了数据的持久化，当Promthues Server发生宕机或者数据丢失的情况下，可以快速的恢复。 同时Promthues Server可能很好的进行迁移。因此，该方案适用于用户监控规模不大，但是希望能够将监控数据持久化，同时能够确保Promthues Server的可迁移性的场景。 基本HA + 远程存储 + 联邦集群 当单台Promthues Server无法处理大量的采集任务时，用户可以考虑基于Prometheus联邦集群的方式将监控采集任务划分到不同的Promthues实例当中，即在任务级别进行功能分区。 这种方案适用于两种场景： 场景一：单数据中心 +

防雪崩利器：熔断器 Hystrix 的原理与使用

由 烂漫一生 提交于 2020-03-31 17:34:36
前言 分布式系统中经常会出现某个基础服务不可用造成整个系统不可用的情况, 这种现象被称为服务雪崩效应. 为了应对服务雪崩, 一种常见的做法是手动服务降级. 而Hystrix的出现,给我们提供了另一种选择. 服务雪崩效应的定义 服务雪崩效应是一种因 服务提供者 的不可用导致 服务调用者 的不可用,并将不可用 逐渐放大 的过程.如果所示: 上图中, A为服务提供者, B为A的服务调用者, C和D是B的服务调用者. 当A的不可用,引起B的不可用,并将不可用逐渐放大C和D时, 服务雪崩就形成了. 服务雪崩效应形成的原因 我把服务雪崩的参与者简化为 服务提供者 和 服务调用者 , 并将服务雪崩产生的过程分为以下三个阶段来分析形成的原因: 服务提供者不可用 重试加大流量 服务调用者不可用 服务雪崩的每个阶段都可能由不同的原因造成, 比如造成 服务不可用 的原因有: 硬件故障 程序Bug 缓存击穿 用户大量请求 硬件故障可能为硬件损坏造成的服务器主机宕机, 网络硬件故障造成的服务提供者的不可访问. 缓存击穿一般发生在缓存应用重启, 所有缓存被清空时,以及短时间内大量缓存失效时. 大量的缓存不命中, 使请求直击后端,造成服务提供者超负荷运行,引起服务不可用. 在秒杀和大促开始前,如果准备不充分,用户发起大量请求也会造成服务提供者的不可用. 而形成 重试加大流量 的原因有: 用户重试 代码逻辑重试

聊聊skywalking的metric-exporter

由 别说谁变了你拦得住时间么 提交于 2020-03-25 22:24:27
3 月，跳不动了？>>> 序 本文主要研究一下skywalking的metric-exporter metric-exporter.proto skywalking-6.6.0/oap-server/exporter/src/main/proto/metric-exporter.proto syntax = "proto3"; option java_multiple_files = true; option java_package = "org.apache.skywalking.oap.server.exporter.grpc"; service MetricExportService { rpc export (stream ExportMetricValue) returns (ExportResponse) { } rpc subscription (SubscriptionReq) returns (SubscriptionsResp) { } } message ExportMetricValue { string metricName = 1; string entityName = 2; string entityId = 3; ValueType type = 4; int64 timeBucket = 5; int64 longValue = 6;
订阅 metrics