redisDB

1、什么是基于内容的图像检索 1、构建基于内容的图像检索系统步骤 （1）定义你的图像描述符： 在这个阶段你需要决定你想描述的图像的哪个方面。 你对图像的颜色感兴趣吗？ 图像中物体的形状？ 或者你想表征纹理？ （2）特征提取和索引您的数据集： 现在您已经定义了图像描述符，您的工作是将此图像描述符应用于数据集中的每个图像，从这些图像提取特征并将特征写入存储（例如，CSV文件，RDBMS ，Redis等），以便稍后可以比较它们的相似性。 此外，您需要考虑是否将使用任何专门的数据结构来促进更快的搜索。 （3）定义您的相似性度量： 我们现在有一个（可能是指数）特征向量的集合。 但你如何比较它们的相似性呢？ 常用选项包括欧几里得距离，余弦距离和 距离，但实际选择高度依赖于（1）数据集和（2）您提取的特征类型。 （4）搜索： 最后一步是执行实际搜索。 用户将向系统提交查询图像（例如从上传表单或通过移动应用程序），并且您的工作将（1）从该查询图像中提取特征，然后（2）应用您的相似性函数进行比较该查询的功能已针对已编入索引的功能。 从那里，你只需根据你的相似度函数返回最相关的结果。 2、CBIR和机器学习/图像分类有何不同 （1）机器学习包括使计算机完成诸如预测，分类，识别等智能人工任务的方法。此外，机器学习管理算法，使计算机能够执行这些智能任务 而不需要明确编程 。

redis（一）内部机制的介绍和启动过程 redis的基本介绍 redis服务端 redis客户端 redis的持久化 redis中的文件事件和时间时间 redis的启动过程 redis的基本介绍 redis是一种非关系型数据库，采用=key，value的形式来存储数据。key是二进制数据，对于value的数据类型，redis支持string、hash、list、set、sorted set五种类型。 对于单个redis实例，内部使用多线程通信，但是对外采用RESP单线程通信协议 ，在TCP层通过二进制方式进行传输数据，单线程采用同步的请求方式 。 redis服务端 redis服务端内部结构为struct redisServer和struct redisDb。redis中默认16个数据库，可以通过配置来修改数据库数量，每一个数据库对应一个redisDb。数据库之间的数据是相互独立的。查询数据的时候，可以通过select指定具体某个数据库。 1 struct redisServer { 2 int dbnum; // 服务器的数据库数量，值由服务器配置的“databases”选项决定，默认为16 3 redisDb *db; // 数组，保存着服务器中的所有数据库 4 5 list *clients; // 一个链表，保存了所有客户端状态，每个链表元素都是“redisClient

1.设置过期时间 redis有四种命令可以用于设置键的生存时间和过期时间 EXPIRE <KEY> <TTL> : 将键的生存时间设为 ttl 秒 PEXPIRE <KEY> <TTL> :将键的生存时间设为 ttl 毫秒 EXPIREAT <KEY> <timestamp> :将键的过期时间设为 timestamp 所指定的秒数时间戳 PEXPIREAT <KEY> <timestamp>: 将键的过期时间设为 timestamp 所指定的毫秒数时间戳. 2.保存过期时间 那么redis里面对这些key的过期时间和生存时间的信息是怎么保存的呢？？ 答：在数据库结构redisDb中的expires字典中保存了数据库中所有键的过期时间，我们称 expire这个字典 为过期字典。 （ 1 ）过期字典是一个指针，指向键空间的某个键对象。 （ 2）过期字典的值是一个longlong类型的整数，这个整数保存了键所指向的数据库键的过期时间–一个毫秒级的 UNIX 时间戳。 3.过期间的删除策略 如果一个键是过期的，那它到了过期时间之后是不是马上就从内存中被被删除呢？？如果不是，那过期后到底什么时候被删除呢？？ 其实有三种不同的删除策略： （1）：立即删除。在设置键的过期时间时，创建一个回调事件，当过期时间达到时，由时间处理器自动执行键的删除操作。 立即删除能保证内存中数据的最大新鲜度

1 面试题 Redis 如何处理已过期的元素？ 2 涉及知识点 此问题涉及以下知识点： 过期删除策略有哪些？ 这些过期策略有哪些优缺点？ Redis 使用的是什么过期策略？ Redis 是如何优化和执行过期策略的？ 3 答案 常见的过期策略： 定时删除 惰性删除 定期删除 1）定时删除 在设置键值过期时间时，创建一个定时事件，当过期时间到达时，由事件处理器自动执行键的删除操作。 ① 优点 保证内存可以被尽快的释放 ② 缺点 在 Redis 高负载的情况下或有大量过期键需要同时处理时，会造成 Redis 服务器卡顿，影响主业务执行。 2）惰性删除 不主动删除过期键，每次从数据库获取键值时判断是否过期，如果过期则删除键值，并返回 null。 ① 优点 因为每次访问时，才会判断过期键，所以此策略只会使用很少的系统资源。 ② 缺点 系统占用空间删除不及时，导致空间利用率降低，造成了一定的空间浪费。 ③ Redis 源码解析 惰性删除的源码位于 src/db.c 文件的 expireIfNeeded 方法中，源码如下： int expireIfNeeded(redisDb *db, robj *key) { // 判断键是否过期 if (!keyIsExpired(db,key)) return 0; if (server.masterhost != NULL) return 1; /*

数据类型与底层数据结构 1.数据类型 Redis是一个Key-Value的存储系统，使用ANSI C语言编写。 key的类型是字符串。 常用的：string字符串类型、list列表类型、set集合类型、sortedset（zset）有序集合类型、hash类 型。 不常见的：bitmap位图类型、geo地理位置类型。 Redis5.0新增一种：stream类型 注意：Redis中命令是忽略大小写，（set SET），key是不忽略大小写的 （NAME name） 2. Redis数据类型分析 2.1 Redis的Key的设计 用:分割 把表名转换为key前缀, 比如: user: 第二段放置主键值 第三段放置列名 比如：用户表user, 转换为redis的key-value存储 userid username password email 1 zhangf 111111 zhangf@163.com username 的 key： user:9:username {userid:9,username:zhangf} email的key user:9:email 2.2 String字符串类型 String能表达3种值的类型：字符串、整数、浮点数 2.2 .1 常见操作命令： 命令名称 命令描述 set set key value 赋值 get get key 取值 getset

什么是Redis Redis 是一个开源（BSD许可）的，内存中的数据结构存储系统，它可以用作数据库、缓存和消息中间件。 它支持多种类型的数据结构，如字符串， 散列， 列表， 集合， 有序集合与范围查询， bitmaps， hyperloglogs 和 地理空间（geospatial） 索引半径查询。 Redis 内置了复制，LUA脚本， LRU驱动事件，事务和不同级别的磁盘持久化， 并通过 Redis哨兵（Sentinel）和自动分区（Cluster）提供高可用性。 以上来自redis.cn 上的介绍，简单的说，Redis是一个支持多种数据结构并且能够持久化的高性能NoSQL 数据库。 Redis 的存储实现 Redis作为一个性能高达10万qps的key/value存储类型的NoSQL数据库，大致的存储实现体系如下： 一个RedisServer包含了N个redisDb，redisDb有dict的指针和失效时间的指针，核心是dictEntry 指针链表的指针，每一个具体的dictEntry链表节点存储了任意类型的key 和 value，不论是key还是value 都可以是redisObject。可以认为，指针链表的特性对redis的性能做出重要的作用。 Redis 中的数据结构与存储实现关系如下： INT压缩存储String，常量数字对象是共享的。SDS 存储string

什么是Redis Redis 是一个开源（BSD许可）的，内存中的数据结构存储系统，它可以用作数据库、缓存和消息中间件。 它支持多种类型的数据结构，如字符串， 散列， 列表， 集合， 有序集合与范围查询， bitmaps， hyperloglogs 和 地理空间（geospatial） 索引半径查询。 Redis 内置了复制，LUA脚本， LRU驱动事件，事务和不同级别的磁盘持久化， 并通过 Redis哨兵（Sentinel）和自动分区（Cluster）提供高可用性。 以上来自redis.cn 上的介绍，简单的说，Redis是一个支持多种数据结构并且能够持久化的高性能NoSQL 数据库。 Redis 的存储实现 Redis作为一个性能高达10万qps的key/value存储类型的NoSQL数据库，大致的存储实现体系如下： 一个RedisServer包含了N个redisDb，redisDb有dict的指针和失效时间的指针，核心是dictEntry 指针链表的指针，每一个具体的dictEntry链表节点存储了任意类型的key 和 value，不论是key还是value 都可以是redisObject。可以认为，指针链表的特性对redis的性能做出重要的作用。 Redis 中的数据结构与存储实现关系如下： INT压缩存储String，常量数字对象是共享的。SDS 存储string

一、flume限速拦截 flume架构图 flume源码查看分析 ExecSource exec数据源--实时收集 限速拦截器 代码实现 拦截器 Interceptor 接口 通过第一次发送的时间计算出 ，发送一个事件本应该所需的时间，与实际发送的时间做对比。如果实际的发送时间<本应该花费的时间，说明超速了 1 package com.oldboy.umeng.flume.interceptor; 2 3 import java.util.List; 4 5 import org.apache.flume.Context; 6 import org.apache.flume.Event; 7 import org.apache.flume.interceptor.Interceptor; 8 import org.slf4j.Logger; 9 import org.slf4j.LoggerFactory; 10 11 /** 12 * 限速拦截器 13 */ 14 public class SpeedInterceptor implements Interceptor { 15 private static final Logger logger = LoggerFactory.getLogger(org.apache.flume.interceptor

开篇 已经使用 python 开发 web（框架用的 flask） 项目两周了，从 java 一下子转到 python 虽然容易，但过程仍然会有不适应的地方，可能是切入的方式不对。 另一方面，也是因为时间原因，没有事先系统了解 python 的具体内容，所以开发过程中基本都是拿 java 的东西往 python 里面套。 比如： 某个功能用 java 的 ArrayList 可以解决，那 python 中有没有类似的东西呢？ java 中定义整形用 int i = 0 , 那 python 呢？ 也正是因为如此，遇到了很多问题。下面就总结一遍。 列一下问题大纲 觉得没用的就不用往下看了，大概会涉及到 python 语法及 API，redis 模块，requests 模块，flask 框架 python 局部变量作用域问题 python 常量定义 python 通过占位符进行字符串替换 python redis 包，get 方法返回值是 byte requests 库超时时间设置问题 flask 项目用 debug 模式运行会打印两遍启动日志。 flask 项目局域网内无法通过 ip 访问 具体问题 1. python 函数中变量在 try-catch 块的作用域问题 先来看 python 中，在 try 里面定义的变量，在 except 仍然可以访问 try: i = 1 #

【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> Redis数据库，持久化 数据库 Redis服务器将所有的数据库都保存在服务器状态redis.h/redisServer结构的db数组中，每个项目都是一个redis.h/redisDb结构，每个redisDb结构代表一个数据库。 struct redisServer { //... // 一个数组，保存这服务器中的所有数据库 redisDb *db; // 服务器数据库数量 int dbnum; // ... } 服务器初始化的时候，程序会根据服务器状态的dbnum属性来决定创建多少个数据库，这个属性值由redis.conf中配置项database选项决定，值默认是16。 切换数据库使用select +数据库号来切换，默认是0号数据库。例如：select 9。 在服务器内部，客户端状态redisClient结构的db属性记录了客户端当前的目标数据库，这是个指向redisDb结构的指针。 typedef struct redisClient { // ... // 记录客户端当前正在使用的数据库 redisDb *db; // ... } redisClient; 键空间 Redis是一个key-value数据库服务器，而每个数据库都有redis.h/redisDb结构表示，其中dict字典(hash表