anomalydetection

从时序异常检测（Time series anomaly detection algorithm）算法原理讨论到时序异常检测应用的思考 参考文章： （1）从时序异常检测（Time series anomaly detection algorithm）算法原理讨论到时序异常检测应用的思考 （2）https://www.cnblogs.com/LittleHann/p/11177458.html 备忘一下。 来源： oschina 链接： https://my.oschina.net/stackoom/blog/4953110

参考论文：人群异常识别技术研究进展_魏永超 数据是人群行为识别研究的基础, 为了更加方便开展相关研究工作, 陆续有研究机构采集人群异常行 为数据, 构建了相关数据库并进行公开, 从而一定程度推动了人群行为研究. 这些数据库为行为识别的研 究提供了重要参考依据. 下面将对代表性的人群行为数据库的进行概括。 （1）USCD(University of California, San Diego)异常检测数据库[32]. 数据由加州大学圣地亚哥分校创建, 数据是通过安装在一定高度、俯视人行道的摄像机,采集自然状态下发生的异常行为. 异常行为包含两类: 非人实体闯入和人行为异常. 异常种类包括骑自行车、滑冰、小推车、行人横穿人行道、侵入草地等, 同 时也记录人在轮椅上的几个实例. 数据由 98 个视频组成, 被分成 2 不同的场景的子集, 每个场景录制的视 频录像被分成约 200 帧的各个片段. 该数据库主要针对是人群中个体行为的识别研究. (2) UMN(University of Minnesota)数据库[33]. 明尼苏达州大学创建的一个数据库, 由 11 个视频组成, 包 含了正常和异常视频. 每个视频起始部分是正常行为,随后为异常行为视频序列. 人群异常行为主要包括:人群单方向跑动、人群四散等. 该视频数据库采集的视频人为安排的异常行为. 该数据库针对的整体人群行为识别. (3

作者丨阿尔法杨XDU@知乎 来源丨https://zhuanlan.zhihu.com/p/266513299 导读 异常检测是一个发现“少数派”的过程，本文将目前深度学习的异常检测的热门研究方向进行了分类，并列举了对应的文章，并推荐了值得一读的8篇新颖论文，帮助大家理解学习异常检测这一领域。 一、简介 异常检测一直是机器学习中一个非常重要的子分支，在各种人工智能落地应用例如计算机视觉、数据挖掘、NLP中，异常检测算法都是很热门的研究方向，特别是大数据时代，人工处理数据的速度已经远远赶不上机器了，所以更快地检测数据中的异常情况成为了我们当下非常重要的任务。在深度学习广泛的推广之前，传统的异常检测算法有很多，例如高斯拟合，半监督学习等等，而在深度学习大火之后，人们也开始研究将深度学习应用于各种异常任务中(也就是Deep Anomaly Detection，以下统称DAD)，并取得了很大的成功，本文将把当下该方向热门的研究方向分类并列举了对应的文章，希望能帮助大家更好地理解此方向的研究。 二、异常检测的概念 异常检测，从定义而言就是一种识别不正常情况与挖掘非逻辑数据的技术，也叫outliers。例如在计算机视觉的应用中，有人在抖音发表一个视屏，在边骑车边打电话，那这就是个不符合规范的视屏，我们能否采用一些方式来将其检测出来，再例如在数据挖掘领域中，那异常检测的应用就更广泛了

欢迎点击上方蓝字，关注啦~ 相关阅读： 容颜渐失！GAN来预测？ GAN整整6年了！是时候要来捋捋了！ 弱水三千，只取你标！AL（主动学习）结合GAN如何？ 异常检测，GAN如何gan ? 虚拟换衣！速览这几篇最新论文咋做的！ 脸部妆容迁移！速览几篇用GAN来做的论文 【1】GAN在医学图像上的生成，今如何？ 01-GAN公式简明原理之铁甲小宝篇 001 (2019-12-18) Unsupervised Adversarial Image Inpainting https://arxiv.xilesou.top/pdf/1912.12164.pdf 002 (2019-12-10) Bias Remediation in Driver Drowsiness Detection systems using Generative Adversarial Networks https://arxiv.xilesou.top/pdf/1912.12123.pdf 003 (2019-12-27) Graduate Employment Prediction with Bias https://arxiv.xilesou.top/pdf/1912.12012.pdf 004 (2019-12-26) Towards Better Understanding of Adaptive

欢迎点击上方蓝字，关注啦 ~ 相关阅读： 【1】GAN在医学图像上的生成，今如何？ 虚拟换衣！速览这几篇最新论文咋做的！ 脸部妆容迁移！速览几篇用GAN来做的论文 GAN整整6年了！是时候要来捋捋了！ 01-GAN公式简明原理之铁甲小宝篇 今天记录一下、一些用 GAN 来做 异常检测 的论文！ 异常检测(Anomaly detection)，一个很常见的问题。 在图像方面，比如每天出入地铁安检，常常看到小姐姐小哥哥们坐在那盯着你的行李过检图像，类似如下（图来自GANomaly论文）： 又比如在一些医学图像分析上，源自健康人的影像也许是比较容易获取的，并且图像的“模式”往往固定或者不多变的，而病变的图像数量是很少、很难获取，或者病变区域多变、甚至未知的，此时异常检测就面临着正样本/异常图像很少，而相对地，正常图像更容易获得的情况。这种情况其实在很多场景下有所体现，比如工业视觉检测等等。 对于已知类别、数量较多情况下，不管异常与否，我们也许可以通过训练一个分类模型就能解决。但面对也许未知、多变的情况，要想用一个多分类模型分辨出来似乎很难。如果是想仅仅分辨出是不是异常，那也许可以做一个单分类器即可。 我们尽可能地去让模型充分学习正常数据的分布长什么样子，一旦来了异常图像，它即便不知道这是啥新的分布，但依旧可以自信地告诉你：这玩意儿没见过，此乃异类也！ 用GAN一些网络怎么做呢？大体思想是

https://amazonaws-china.com/blogs/machine-learning/flagging-suspicious-healthcare-claims-with-amazon-sagemaker/ The National Health Care Anti-Fraud Association (NHCAA) estimates that healthcare fraud costs the nation approximately $68 billion annually—3% of the nation’s $2.26 trillion in healthcare spending. This is a conservative estimate; other estimates range as high as 10% of annual healthcare expenditure, or $230 billion. Healthcare fraud inevitably results in higher premiums and out-of-pocket expenses for consumers, as well as reduced benefits or coverage. Labeling a claim as fraudulent

作者|Moez Ali 编译|VK 来源|Towards Data Science 你可能会想知道，GitHub是从什么时候开始涉足自动机器学习业务的。好吧，它其实没有，但你可以像有一样的使用它。在本教程中，我们将向你展示如何构建个性化的AutoML软件，并将其托管在GitHub上，以便其他人可以免费使用或付费订阅。 我们将使用pycaret2.0，一个开源的、少代码行数的Python机器学习库来开发一个简单的AutoML解决方案，并使用GitHub Action将其部署为Docker容器。 如果你以前没有听说过PyCaret，可以在这里阅读pycaret2.0的官方声明： https://towardsdatascience.com/announcing-pycaret-2-0-39c11014540e，或者查看这里的详细发行说明：https://github.com/pycaret/pycaret/releases/tag/2.0。 本教程的学习目标 了解什么是AutoML，以及如何使用pycaret2.0构建一个简单的AutoML软件。 了解什么是容器以及如何将AutoML解决方案部署为Docker容器。 什么是GitHub Action以及如何使用它们来托管AutoML软件。 什么是AutoML？ AutoML是一个将耗时、迭代的机器学习任务自动化的过程

本文作者：张宇欣，中国科学院计算技术研究所博士生，研究方向为异常检测和深度学习。 本文对 异常检测 (Anomaly detection) 领域进行了一个较为全面的概述，主要介绍异常检测的问题定义、研究挑战、应用领域，以及主要研究方法。 什么是异常检测 不同于常规模式下的问题和任务，异常检测针对的是少数、不可预测或不确定、罕见的事件，它具有独特的复杂性，使得一般的机器学习和深度学习技术无效。 异常检测面临的挑战： 未知性 ：异常与许多未知因素有关，例如，具有未知的突发行为、数据结构和分布的实例。它们直到真正发生时才为人所知，比如恐怖袭击、诈骗和网络入侵等应用； 异常类的异构性 ： 异常是不规则的，一类异常可能表现出与另一类异常完全不同的异常特征。例如，在视频监控中，抢劫、交通事故和盗窃等异常事件在视觉上有很大差异； 类别不均衡 ：异常通常是罕见的数据实例，而正常实例通常占数据的绝大部分。因此，收集大量标了标签的异常实例是困难的，甚至是不可能的。这导致在大多数应用程序中无法获得大规模的标记数据。 异常的种类： 点异常 （point anomalies）指的是少数个体实例是异常的，大多数个体实例是正常的，例如正常人与病人的健康指标； 条件异常 （conditional anomalies），又称上下文异常，指的是在特定情境下个体实例是异常的，在其他情境下都是正常的

昆仑数据田春华老师在微信公众号的专栏培训：工业数据分析与实战。培训给出了一些实际的数据分析例子，包括“设备管理”、“运作优化”和“营销服务”三类；然后讲了数据分析的基本框架、方法和技术；最后给出了大数据时代，数据分析的认识误区和挑战。田老师发音不标准啊，好多词听好几遍，再关联上下文，连猜带蒙的才勉强能明白，不过有的也不一定对。记录以反复学习。 视频链接 过去我们经常提非结构化数据，其实结构化数据也是现在数据分析的一大方向。比如时序结构，工业上大量的传感器、物联网数据。再就是移动互联网的时空数据，一些观测数据。还有一些序列数据，它跟时序数据不一样，可能并不是连续的，比如一些交易数据，今天取钱，明天去哪儿消费，这些在一些欺诈识别里面非常重要，特别是网络入侵，你做一系列的事件，通常可能导致某个事件的发生，通过一些事件序列，通常可以发现行为异常等。另外一些是Networks网络数据，比如社交网络数据，还有一些合作数据，比如谁和谁通常一起发论文等等。结构化数据也是一个需要深入研究的领域。 以工业为例。工业有什么特点呢，首先是先验知识。工业里面，先验知识比较多，不像我们在互联网里面做推荐，做用户画像，我对用户的一些了解，包括人的认知都是非常宏观。工业里面的都非常微观，比如一些动态方程，一些运行机理，这些知识如果用统计学的联合概率分布等来刻画还是不够充分。而且工业系统通常是一个工控系统

Note: The blog post Apache Kafka Supports 200K Partitions Per Cluster contains important updates that have happened in Kafka as of version 2.0. This is a common question asked by many Kafka users. The goal of this post is to explain a few important determining factors and provide a few simple formulas. More Partitions Lead to Higher Throughput The first thing to understand is that a topic partition is the unit of parallelism in Kafka. On both the producer and the broker side, writes to different partitions can be done fully in parallel. So expensive operations such as compression can utilize