Benchmark

作者：杨杰 简介 PostgreSQL FDW是一种外部访问接口，它可以被用来访问存储在外部的数据，这些数据可以是外部的PG数据库，也可以mysql、ClickHouse等数据库。 ClickHouse是一款快速的开源OLAP数据库管理系统，它是面向列的，允许使用SQL查询实时生成分析报告。 clickhouse_fdw是一个开源的外部数据包装器(FDW)用于访问ClickHouse列存数据库。 目前有以下两款clickhouse_fdw： https://github.com/adjust/clickhouse_fdw 一直持续不断的有提交，目前支持PostgreSQL 11-13 https://github.com/Percona-Lab/clickhousedb_fdw 之前有一年时间没有动静，最近一段时间刚从adjust/clickhouse_fdw merge了一下，目前也支持PostgreSQL 11-13。 本文就以adjust/clickhouse_fdw为例。 安装 # libcurl >= 7.43.0 yum install libcurl-devel libuuid-devel git clone https://github.com/adjust/clickhouse_fdw.git cd clickhouse_fdw mkdir build && cd

有工程师用 M1 版 Mac Mini 训练小架构深度学习模型，结果好像还可以。 选自vanpelt，作者：Chris Van Pelt，机器之心编译，机器之心编辑部。 众所周知，大多数 Mac 产品都是生产力工具，你甚至可以用它们训练神经网络。去年 11 月推出的，搭载 M1 芯片的 Mac 更是将这种生产力水平提到了一个新的高度。 那么，如果拎出来和专业的比一下，M1 版的 Mac 在训练模型方面是个什么水平？为了解答这个疑问，最近有人将 M1 版的 Mac Mini 与 Nvidia V100 放到一起比了一下。 M1 版 Mac Mini 的售价最低是 5000 元左右。此前，国外知名硬件评测网站 anandtech 发布了对这款产品的 详细测试 ，结果显示，在 CPU 性能测试中，M1 版 Mac Mini 的单线程和多线程都很优秀。在 GPU 性能测试中，它在多个基准测试中超越了之前的 Mac 系列产品，在某些情况下还能超越独显产品。 Nvidia V100 则是专业的 AI 训练卡，单精度浮点性能达到 15 TFLOPS，双精度浮点 7.5 TFLOPS，显存带宽 900GB/s，售价高达五位数。当然，你可以选择在 Colab 上租用。 评测者是「Weights and Biases」公司的联合创始人 Chris Van Pelt。Weights and Biases

测试工具：redis-benchmark 测试版本：redis cluster 5.0.7 测试架构： 基中m1,m2,m3 为三个独立机房 测试结果： 测试脚本： #!/bin/bash #CLIENTS=50 #defaul clients HOST='192.168.1.1' PORT=4000 PWD='benchtest' # if have passwod end_clients=2000 CMDS="set" cmd_arry=(set get incr sadd mset mget hset) #ad hoc test redis command KEYSPACE=100000 TOTAL_REQUESTS=500000 #default 100000 data_size=100 #Data size of SET/GET value in bytes (default 3) CURRENT_DATE=`date +%Y%m%d` bench_file='redis-benchmark'-${CURRENT_DATE} benchmark='/redis/base/bin/redis-benchmark' benchmark(){ cmd=$1 for clients in `seq 50 50 $end_clients`;do if [ x"$pipeline"

SQLi_Labs通关文档【1-65关】 为了不干扰自己本机环境，SQL-LAB我就用的码头工人，跑起来的，搭建也非常简单，也就两条命令 docker pull acgpiano/ sqli-labs docker run -dt --name sqli-lab -p [你要映射的端口] :80 acgpiano/ sqli-labs :latest 然后在SQL-LAB上直接初始化数据库就好了。 这里列举一下SQL基础语句 show databases; //查看数据库 use xxx; //使用某个数据库 show tables; //查看该数据库的数据表 desc xxx; //查看该数据表的结构 select * from xxx; //查找某个数据表的所有内容 select schema_name from information_schema.schemata; //猜数据库 select table_name from information_schema.tables where table_schema= 'xxxxx'; //猜某数据库的数据表 Select column_name from information_schema.columns where table_name= 'xxxxx'; //猜某表的所有列 left(a,b) //从左侧截取 a 的前

源码： https://github.com/Chris2018998/BeeOP/blob/main/doc/temp/benchmark.rar 测试说明 说明项 参数值 PC I5-4210M(2.6hz),12G内存 JDK JAVA8_64 Pool设置 初始0，最大32 Pool commons-pool2-2.9.0 ,beeop-0.4 来源： oschina 链接： https://my.oschina.net/u/3918073/blog/4880867

安装redis 1.下载地址: ​ 英文官网: https://redis.io/ ​ 中文官网: http://www.redis.cn/ 2.将下载好的tar.gz拷贝到Linux: /usr/local目录下 3.解压缩并且进入目录/usr/local/redis-xxx/ 4.安装gcc-c++环境 yum install gcc-c++ 5.执行redis安装命令 make && make install 初始配置 1.配置文件位置 cd /usr/local/redis-xxx ( 版本号 ) 找到/redis.conf 2.备份配置文件 在根目录中创建/redis-conf-copy/目录 mkdir /redis-conf-copy 将/redis.conf拷贝置/redis-conf-copy/中 cp /redis.conf /redis-conf-copy/redis.conf 3.修改为后台运行 ​ Linux系统中如果设置为前台运行,那么命令窗口一直不能关闭,一旦关闭程序退出. ​ Linux系统中如果设置为后台运行,启动完毕命令窗口就可以关闭了. ​ 将备份的配置文件中daemonize no修改为yes 4.进入命令目录并启动服务以及找到配置文件位置 ​ /usr/local/redis是安装文件的目录 ​ 使用 make && make

单线程的Redis一向以简洁高效著称，但也有其阿喀琉斯之踵：阻塞！单个线程在最容易产生瓶颈的网络读写（Redis的key）请求完成之前，其他所有请求都将会被阻塞，严重影响其效率，因此Redis的多线程呼声就越来越高。由于是基于内存的操作延迟非常低，所以即便是单线程模式下CPU资源也不会是的瓶颈。最容易出现瓶颈的还是网络IO操作。在Redis 6.0开始支持多线程之后，所谓的多线程也只是socket层面的多线程，核心的内存读写还是单线程模式。 弄清楚了多线程的本质之后，就会有一系列的问题，多线程会比单线程有多大的提升？设置多少个线程合适？见一些大神测试过，其结果也非常理想，但只是看看也不太过瘾，决定一试为快，本文将对Redis的多线程进行一个粗浅的测试验证。同时需要思考另外一个问题：面对多线程版本的Redis，和Redis cluster，该如何选择？ 多线程Redis redis 6.0 的“多线程”特性让很多标题党高潮连连，参考图片源自于：美图技术团队侵删，核心的线程（Execute Command）还是单线程，多线程是指网络IO（socket）读写的多线程化。 如下图所示，读写网络socket中的数据是可以用多个线程，所以Redis的多线程也叫做io thread，相关参数：“io-threads”。另一个参数是io-threads-do-reads，这里涉及另外一个细节

背景 团队目前的Web端产品中需要显示两个列表视图：卡片列表和条目列表，并且在点击切换按钮的时候，对两个列表进行切换显示。 在开发完成进行简单性能测试时，发现列表数量达到数百条后，切换视图就会造成明显的页面卡顿，用户体验很差。于是着手进行性能优化。 第一次优化：解决已知问题 由于项目是使用 Vue.js （以下简称 "Vue"）来实现，所以首先查看 Vue 是否存在性能瓶颈，如果存在则考虑替换 Vue 进行优化。 通过查看官方给出的benchmark结果，我们可以得知 Vue 的列表渲染性能在高亮和交换列表元素的时候性能较差，在创建列表和新增列表元素的时候性能都是不错的，执行时间在毫秒级别。 既然 Vue 并没有给我们制定太低的性能天花板，那么我们可以在使用 Vue 的基础上继续进行性能优化。 再来看看代码，点击切换的时候到底发生了什么。 点击事件触发后会引起组件属性 cViewType 变化，然后两个视图的列表会根据 cViewType 的值进行渲染。部分代码如下： <section class="file-card-list" v-if="cViewType == 'card'"> ...... </section> <section class="file-line-list" v-if="cViewType == 'line'"> ...... </section>

Beego 2.0 初心 模块化与解耦 AOP 初次尝试 更好的可观测性 tracing 和 metrics logging 防呆设计 ORM 姗姗来迟的配置模块优化 adapter 模块和升级指南 未来 Beego 2.0 初心 在鸽子精的本性屡次发作之后，我们终于官宣Beego v2.0要和大家见面了。 在得知我们开启了 Beego 2.0 的时候，很多人问我们，你们搞 2.0 干啥呀？ 其实不论是 Beego 1.x 还是 Beego 2.0，我们的初心一直没有改变，也就是希望能够为 Go 企业级应用开发 提供一种 一站式的解决方案 ，尤其是我们希望能够为中小型企业赋能，帮助这些企业提升研发效率、工程质量，以快速推出新产品，快速完成迭代。 我们很多大型企业都有很多规范，但是我们中小企业在规范和基础组件上面经常是很混乱，开发早期都是怎么快怎么来，但是当有新同学加入或者有一个同学离职，就会导致 相同功能 不同的写法 、 引入同一功能的不同组件(例如日志引入 logrus、zap ), 最终会导致 维护困难 、 重构难 ，遇到问题不知道怎么查找问题点，这些都是我们很多企业遇到的困难。 而站在我们打工人的角度，我们也相信，真正的劳动者，不应该是被禁锢在流水线上的囚犯。技术应当解放生产力，将劳动者者从繁琐枯燥的重复性劳动中解放出来，去从事具有创造性艺术性的活动。 所以，我们的设计目标

点击上方“ AI公园 ”，选择“ 星标★ ”公众号 重磅干货，第一时间送达 作者 | Alan 授权转载自 | https://zhuanlan.zhihu.com/p/121721537 CVPR2020：Structure-Preserving Super Resolution with Gradient Guidance 论文：https://arxiv.org/pdf/2003.13081.pdf 代码：https://github.com/Maclory/SPSR 我们知道，结构信息在超分辨率问题中相当重要。目前已经有很多感知驱动的方法(SRGAN、ESRGAN、EnhanceNet)使用 GAN Loss 和 Perceptual Loss 生成较为逼真，且细节丰富的超分图像。然而，在这些恢复的图像中总是存在一些我们并不希望它出现的结构变形，如下图1所示。 仅仅使用 L1 Loss 的RCAN生成图像的轮廓边缘虽然相对规则，但是整体较为模糊。SRGAN、ESRGAN、NatSR等生成的图像则存在明显的结构变形。 图 1. 局部图像细节对比 因此，论文提出了结构保留超分辨率方法 SPSR，以缓解结构变形的同时，保留 GAN 方法生成丰富纹理细节的优点。特别的是，论文使用了图像的梯度信息去指导图像复原。 如何通过梯度信息指导图像复原？ 主要有两点： 1.SPSR