offset

matplotlib模块 06

百般思念 提交于 2020-03-05 02:29:39
matplotlib模块 */ /*--> */ */ /*--> */ */ /*--> */ In [10]: import numpy as np import pandas as pd import matplotlib.pyplot as plt from matplotlib.font_manager import FontProperties # 修改字体 最简单的图表 ¶ In [3]: x = [5,7,2,10] plt.plot(x) ### 画折线图,传入一个值的话,这个值就是y轴值 plt.show() In [5]: x = [5,7,2,10] y = [3,9,10,5] plt.plot(x,y) ### 画折线图,传入两个值的话,第一个代表x值,第二个代表y值。 plt.show() In [13]: x = [1,3,6,9] y = [12,5,10,20] font=FontProperties(fname='C:\Windows\Fonts\simhei.ttf') plt.figure(figsize=(10,6)) #### 设置画板大小,第一个值表示宽度,第二个值表示高度。 plt.title('两个参数的折线图',fontproperties=font, fontsize=20, color='red') ### 设置标题 plt

什么是Kafka?

跟風遠走 提交于 2020-03-03 21:45:05
什么是Kafka? 通过Kafka的快速入门 https://www.cnblogs.com/tree1123/p/11150927.html 能了解到Kafka的基本部署,使用,但他和其他的消息中间件有什么不同呢? Kafka的基本原理,术语,版本等等都是怎么样的?到底什么是Kafka呢? 一、Kafka简介 http://kafka.apache.org/intro 2011年,LinkIn开源, November 1, 2017 1.0版本发布 July 30, 2018 2.0版本发布 参考官网的图: Kafka®用于构建实时数据管道和流式应用程序。它具有水平可扩展性、容错性、速度极快,并在数千家公司投入生产。 kafka官网最新的定义:Apache Kafka® is a distributed streaming platform 也就是分布式流式平台。 介绍: 三个特点: Publish and subscribe to streams of records, similar to a message queue or enterprise messaging system. Store streams of records in a fault-tolerant durable way. Process streams of records as they

内存对齐详细解释

天涯浪子 提交于 2020-03-03 21:02:01
内存对齐详细解释 如果 结构体存储下标从0 開始的 先是依照#pragma pack(8)參数依次和数据成员比較:依照 成员下标是比較结果中小者的倍数 ; 最后再依照#pragma pack(8)參数与结构体成员占空间最大者比較, 结构体总体的长度是比較结果中小者的倍数; 1、分析说明: 字节对齐(#pragma pack(2)) 输出结果:sizeof(structtest_t) = 10 [两个编译器输出一致] 分析过程: 1) 成员数据对齐 #pragmapack(2) structtest_t { inta; /* 长度4> 2 按2 对齐; 起始 offset=0 0%2=0;存放位置区间[0,3]*/ charb; /* 长度1< 2 按1 对齐; 起始 offset=4 4%1=0;存放位置区间[4]*/ shortc; /* 长度2= 2 按2 对齐; 起始 offset=6 6%2=0。存放位置区间[6,7]*/ chard; /* 长度1< 2 按1 对齐; 起始 offset=8 8%1=0;存放位置区间[8]*/ }; #pragmapack() 成员总大小 =9 2) 总体对齐 总体对齐系数=min((max(int,short,char), 2) = 2 总体大小 (size)=$( 成员总大小 ) 按 $( 总体对齐系数 ) 圆整 = 10 /* 10

Canal+Kafka实现MySql与Redis数据一致性

[亡魂溺海] 提交于 2020-03-02 14:26:40
  在生产环境中,经常会遇到MySql与Redis数据不一致的问题。那么如何能够保证MySql与Redis数据一致性的问题呢?话不多说,咱们直接上解决方案。   如果对Canal还不太了解的可以先去看一下官方文档: https://github.com/alibaba/canal   首先,咱们得先开启MySql的允许基于BinLog文件主从复制。因为Canal的核心原理也是相当于把自己当成MySql的一个从节点,然后去订阅主节点的BinLog日志。    开启BinLog文件配置   1. 配置 MySQL 的 my.ini/my.cnf 开启 允许基于 binlog 文件主从同步 log-bin=mysql-bin #添加这一行就ok binlog-format=ROW #选择row模式 server_id=1 #配置mysql replaction需要定义,不能和canal的slaveId重复   配置 该文件后,重启 mysql 服务器即可   show variables like 'log_bin';//查询MySql是否开启了log_bin. 没有开启 log_bin 的值是 OFF, 开启之后是 ON   2. 添加cannl 的账号 或者直接使用自己的 root 账号。添加完后 一定要检查 mysql user 权限为 y(SELECT* from `user`

NIO-EPollSelectorIpml源码分析

十年热恋 提交于 2020-03-02 14:26:21
目录 NIO-EPollSelectorIpml源码分析 目录 前言 初始化EPollSelectorProvider 创建EPollSelectorImpl EPollSelectorImpl结构 fdToKey 管道文件描述符 EPollArrayWrapper 注册 doSelect 关闭EpollSelectorImpl 总结 相关文献 NIO-EPollSelectorIpml源码分析 目录 NIO-概览 NIO-Buffer NIO-Channel NIO-Channel接口分析 NIO-SocketChannel源码分析 NIO-FileChannel源码分析 NIO-Selector源码分析 NIO-WindowsSelectorImpl源码分析 NIO-EPollSelectorIpml源码分析 前言 本来是想学习Netty的,但是Netty是一个NIO框架,因此在学习netty之前,还是先梳理一下NIO的知识。通过剖析 源码 理解NIO的设计原理。 本系列文章针对的是JDK1.8.0.161的源码。 NIO-Selector源码分析 对 Selector 的功能和创建过程进行了分析,本篇对Linux环境下JDK实现的 EPollSelectorImpl 源码进行详细讲解。 本篇文章不会对EPoll算法进行详细介绍,对epoll算法感兴趣或还不了解的同学可以看

Deformable convolutional networks(可变形卷积)使用keras/tensorflow主要代码及注释

旧城冷巷雨未停 提交于 2020-03-02 04:09:22
以下对Deformable convolutional networks(可变形卷积)keras/tensorflow主要的代码进行理解和注释 代码原地址: https://github.com/kastnerkyle/deform-conv layers.py from __future__ import absolute_import, division import tensorflow as tf from keras.layers import Conv2D from keras.initializers import RandomNormal from deform_conv.deform_conv import tf_batch_map_offsets class ConvOffset2D(Conv2D): #继承2D卷积 """ConvOffset2D""" def __init__(self, filters, init_normal_stddev=0.01, **kwargs): """Init""" self.filters = filters super(ConvOffset2D, self).__init__( self.filters * 2, (3, 3), padding='same', use_bias=False, #由于要计算x,y坐标的偏移量

java如何获取一个对象的大小

烂漫一生 提交于 2020-03-01 04:36:43
When---什么时候需要知道对象的内存大小 在内存足够用的情况下我们是不需要考虑java中一个对象所占内存大小的。但当一个系统的内存有限,或者某块程序代码允许使用的内存大小有限制,又或者设计一个缓存机制,当存储对象内存超过固定值之后写入磁盘做持久化等等,总之我们希望像写C一样,java也能有方法实现获取对象占用内存的大小。 How---java怎样获取对象所占内存大小 在回答这个问题之前,我们需要先了解java的基础数据类型所占内存大小。 数据类型 所占空间(byte) byte     1 short 2 int 4 long 8 float 4 double 8 char   2 boolean 1 当然,java作为一种面向对象的语言,更多的情况需要考虑对象的内存布局,java对于对象所占内存大小需要分两种情况考虑: 对象类型 内存布局构成 一般非数组对象 8个字节对象头(mark) + 4/8字节对象指针 + 数据区 + padding内存对齐(按照8的倍数对齐) 数组对象 8个字节对象头(mark) + 4/8字节对象指针 + 4字节数组长度 + 数据区 + padding内存对齐(按照8的倍数对齐) 可以看到数组类型对象和普通对象的区别仅在于4字节数组长度的存储区间。而对象指针究竟是4字节还是8字节要看是否开启指针压缩。Oracle JDK从6 update

大数据学习day34---spark14------1 redis的事务(pipeline)测试 ,2. 利用redis的pipeline实现数据统计的exactlyonce ,3 SparkStreaming中数据写入Hbase实现ExactlyOnce

☆樱花仙子☆ 提交于 2020-02-29 17:28:40
1 redis的事务(pipeline)测试   Redis本身对数据进行操作,单条命令是原子性的,但事务不保证原子性,且没有回滚。事务中任何命令执行失败,其余的命令仍会被执行,将Redis的多个操作放到一起执行,要成功多成功,如果失败了,可以把整个操作放弃,可以实现类似事物的功能。redis事务包含三个阶段:开始事务,命令入队,执行事务。redis的分片副本集集群不支持pipeline,redis只支持单机版的事务(pipeline),Redis的主从复制也支持pipeline(目前一些公司就是这样干的)。若是想用集群,可以使用MongoDB, MongoDB集群支持事物,是一个NoSQL文档数据库,支持存储海量数据、安全、可扩容。 RedisPipelineTest package com._51doit.spark14 import com._51doit.utils.JedisConnectionPool import redis.clients.jedis.{Jedis, Pipeline} object RedisPipeLineTest { def main(args: Array[String]): Unit = { val jedis: Jedis = JedisConnectionPool.getConnection jedis.select(1) //

如何构建批流一体数据融合平台的一致性语义保证?

不羁岁月 提交于 2020-02-29 10:17:52
作者:陈肃 整理:周奇,Apache Flink 社区志愿者 本文根据陈肃老师在 Apache Kafka x Flink Meetup 深圳站的分享整理而成,文章首先将从数据融合角度,谈一下 DataPipeline 对批流一体架构的看法,以及如何设计和使用一个基础框架。其次,数据的一致性是进行数据融合时最基础的问题。如果数据无法实现一致,即使同步再快,支持的功能再丰富,都没有意义。 另外,DataPipeline 目前使用的基础框架为 Kafka Connect。为实现一致性的语义保证,我们做了一些额外工作,希望对大家有一定的参考意义。 最后,会提一些我们在应用 Kafka Connect 框架时,遇到的一些现实的工程问题,以及应对方法。尽管大家的场景、环境和数据量级不同,但也有可能会遇到这些问题。希望对大家的工作有所帮助。 一、批流一体架构 批和流是数据融合的两种应用形态 下图来自 Flink 官网。传统的数据融合通常基于批模式。在批的模式下,我们会通过一些周期性运行的 ETL JOB,将数据从关系型数据库、文件存储向下游的目标数据库进行同步,中间可能有各种类型的转换。 另一种是 Data Pipeline 模式。与批模式相比相比, 其最核心的区别是将批量变为实时:输入的数据不再是周期性的去获取,而是源源不断的来自于数据库的日志、消息队列的消息。进而通过一个实时计算引擎

学习03-js(元素偏移量offset)

一个人想着一个人 提交于 2020-02-29 09:41:23
元素偏移量offset 获取元素距离带有定位父元素的位置 获得元素自身的大小(宽度高度) 注意:返回的数值都不带单位 offset系列属性 作用 element.offsetParent 返回作为该元素带有定位的父级元素,如果父级都没有定位则返回body element.offsetTop 返回元素相对带有定位父元素上方的偏移 element.offsetLeft 返回元素相对带有定位父元素左边框的偏移 element.offsetWidth 返回自身包括padding,边框,内容区的宽度,返回数值不带单位 element.offsetHeight 返回自身包括padding,边框,内容区的高度,返回数值不带单位 offset与style的区别 鼠标移动事件分析 可拖拽的模态框 来源: oschina 链接: https://my.oschina.net/u/4454049/blog/3178355