技术文章

HBase数据同步到ElasticSearch的方案

☆樱花仙子☆ 提交于 2021-02-18 02:18:19
<div id="article_content" class="article_content"> <p><br> </p> <h3>ElasticSearch的River机制</h3> <p>ElasticSearch自身提供了一个River机制,用于同步数据。</p> <p>这里能够找到官方眼下推荐的River:</p> <p><a target="_blank" href="http://www.elasticsearch.org/guide/en/elasticsearch/rivers/current/">http://www.elasticsearch.org/guide/en/elasticsearch/rivers/current/</a><br> </p> <p>可是官方没有提供HBase的River。</p> <p>事实上ES的River很easy,就是一个用户打包好的jar包,ES负责找到一个node,并启动这个River。假设node失效了。会自己主动找另外一个node来启动这个River。</p><p></p> <p></p> <pre code_snippet_id="520284" snippet_file_name="blog_20141115_1_5215483" name="code" class="java">public interface

MongoDB和Java(6):Spring Data整合MongoDB副本集、分片集群

a 夏天 提交于 2021-02-18 02:17:58
最近花了一些时间学习了下MongoDB数据库,感觉还是比较全面系统的,涉及了软件安装、客户端操作、安全认证、副本集和分布式集群搭建,以及使用Spring Data连接MongoDB进行数据操作,收获很大。特此记录,以备查看。 文章目录: MongoDB和Java(1):Linux下的MongoDB安装 MongoDB和Java(2):普通用户启动mongod进程 MongoDB和Java(3):Java操作MongoB MongoDB和Java(4):Spring Data整合MongoDB(XML配置) MongoDB和Java(5):Spring Data整合MongoDB(注解配置) MongoDB和Java(6):Spring Data整合MongoDB副本集、分片集群 MongoDB和Java(7):MongoDB用户管理 本文记录如何整合Spring data和MongoDB副本集、分片集群。 Java客户端这边的开发环境和《 MongoDB和Java(5):Spring Data整合MongoDB(注解配置) 》是一样的,实体类、数据层接口、测试类代码都不需要太多的改动,主要需要改的就是mongo的连接属性文件、MongoClient的创建方式。 源代码下载 MongoDB和Java学习代码.zip 1、副本集环境 主:10.10.13.195:27017 从:10

线性代数之机器学习常用矩阵概念及操作

时光总嘲笑我的痴心妄想 提交于 2021-02-18 02:16:03
文章目录 1 相关概念 2 矩阵操作 1 相关概念   1) 实对称矩阵 :如果有 n n n 阶矩阵 A \rm A A ,其元素都为实数,且 A T = A \rm A^{T} = A A T = A ,则称 A \rm A A 为实对称矩阵。   2) 矩阵等价、合同及相似 : 情形 定义 简要理解 矩阵等价 对于同行矩阵 A \rm A A 和 B \rm B B ,存在可逆矩阵 P \rm P P 和 Q \rm Q Q ,使得 B = P A Q \rm B = PAQ B = P A Q ,充要条件为 A \rm A A 、 B \rm B B 秩 相等 秩相等 矩阵合同 对于同行矩阵 A \rm A A 和 B \rm B B ,存在可逆矩阵 P \rm P P ,使得 B = P T A P \rm B = P^TAP B = P T A P 秩、 正负惯性指数 均相等 矩阵相似 对于同行矩阵 A \rm A A 和 B \rm B B ,存在可逆矩阵 P \rm P P ,使得 B = P − 1 A P \rm B = P^{-1}AP B = P − 1 A P 秩、正负惯性指数及 特征值 均相等   3) 正定矩阵 :设 A \rm A A 是 n n n 阶方阵,如果对任何非零向量 x \mathbf{x} x 都有 x T A x > 0 \rm

快速学习-机器学习(线性代数[矩阵])

冷暖自知 提交于 2021-02-18 02:15:39
线性代数 矩阵 矩阵的定义 特殊矩阵 矩阵中的概念 矩阵的加法 矩阵的乘法 矩阵的转置 矩阵的运算法则 矩阵的逆 本文同步分享在 博客“cwl_java”(CSDN)。 如有侵权,请联系 support@oschina.cn 删除。 本文参与“ OSC源创计划 ”,欢迎正在阅读的你也加入,一起分享。 来源: oschina 链接: https://my.oschina.net/u/4120230/blog/4797329

boost::asio::ip::tcp实现网络通信的小例子

ⅰ亾dé卋堺 提交于 2021-02-18 02:15:14
同步方式: Boost.Asio是一个跨平台的网络及底层IO的C++编程库,它使用现代C++手法实现了统一的异步调用模型。 头文件 #include <boost/asio.hpp> 名空间 using namespace boost::asio; ASIO库能够使用TCP、UDP、ICMP、串口来发送/接收数据,下面先介绍TCP协议的读写操作 对于读写方式,ASIO支持同步和异步两种方式,首先登场的是同步方式,下面请同步方式自我介绍一下: 大家好!我是同步方式! 我的主要特点就是执着!所有的操作都要完成或出错才会返回,不过偶的执着被大家称之为阻塞,实在是郁闷~~(场下一片嘘声),其实这样 也是有好处的,比如逻辑清晰,编程比较容易。 在服务器端,我会做个socket交给acceptor对象,让它一直等客户端连进来,连上以后再通过这个socket与客户端通信, 而所有的通信都是以阻塞方式进行的,读完或写完才会返回。 在客户端也一样,这时我会拿着socket去连接服务器,当然也是连上或出错了才返回,最后也是以阻塞的方式和服务器通信。 有人认为同步方式没有异步方式高效,其实这是片面的理解。在单线程的情况下可能确实如此,我不能利用耗时的网络操作这段时间做别的事情,不是好的统筹方法。不过这个问题可以通过多线程来避免,比如在服务器端让其中一个线程负责等待客户端连接

解决docker 容器内访问宿主机“No route to host”的问题

安稳与你 提交于 2021-02-18 02:14:52
解决docker 容器内访问宿主机“No route to host”的问题 参考文章: (1)解决docker 容器内访问宿主机“No route to host”的问题 (2)https://www.cnblogs.com/Phantom3389/p/10219746.html 备忘一下。 来源: oschina 链接: https://my.oschina.net/u/4437974/blog/4953493

[NewLife.XCode]功能设置

谁说胖子不能爱 提交于 2021-02-18 01:57:35
NewLife.XCode是一个有10多年历史的开源数据中间件,由新生命团队(2002~2019)开发完成并维护至今,以下简称XCode。 整个系列教程会大量结合示例代码和运行日志来进行深入分析,蕴含多年开发经验于其中,代表作有百亿级大数据实时计算项目。 开源地址: https://github.com/NewLifeX/X (求star, 652+) 连接字符串 XCode支持SqlServer、SQLite、MySql、Oracle、PostgreSQL、Access、SqlCe等多种数据库,常用连接字符串模板如下: < add name ="SQLite" connectionString ="Data Source=test.db;" providerName ="Sqlite" /> < add name ="MySql" connectionString ="Server=.;Port=3306;Database=mysql;Uid=root;Pwd=;" providerName ="MySql.Data.MySqlClient" /> < add name ="MSSQL" connectionString ="Server=.;User ID=sa;Password=sa;Database=Test;datapath=~\App_Data"

CMake学习笔记一:初识cmake

时光总嘲笑我的痴心妄想 提交于 2021-02-18 01:56:59
1 cmake简介 1.1 背景知识 cmake 是 kitware 公司以及一些开源开发者在开发几个工具套件(VTK)的过程中衍生品,最终形成体系,成为一个独立的开放源代码项目。项目的诞生时间是 2001 年。其官方网站是 www.cmake.org,可以通过访问官方网站获得更多关于 cmake 的信息。cmake的流行其实要归功于 KDE4 的开发,在 KDE 开发者使用了近 10 年 autotools之后,他们终于决定为 KDE4 选择一个新的工程构建工具,其根本原因用 KDE 开发者的话来说就是:只有少数几个“编译专家”能够掌握 KDE 现在的构建体系。在经历了 unsermake,scons 以及 cmake 的选型和尝试之后,KDE4 决定使用 cmake 作为自己的构建系统。在迁移过程中,进展异常的顺利,并获得了 cmake 开发者的支持。所以,目前的 KDE4 开发版本已经完全使用 cmake 来进行构建。像 kdesvn,rosegarden 等项目也开始使用 cmake,这也注定了 cmake 必然会成为一个主流的构建体系。 1.2 特点   a. 开放源代码 ,使用类 BSD 许可发布。 http://cmake.org/HTML/Copyright.html   b. 跨平台 ,并可生成 native 编译配置文件,在 Linux/Unix 平台,生成

java nio模型理解

只谈情不闲聊 提交于 2021-02-18 01:56:25
1、tcp信道,具体参数详情参考api ServerSocketChannel:创建、接收、关闭、读写、阻塞 SocketChannel:创建、连接、关闭、读写、阻塞(测试连接性) 2、Selector:创建、关闭选择器 案例一: NIOAccepter服务端线程 package com.warehouse.data.nio; import java.io.IOException; import java.net.InetSocketAddress; import java.nio.channels.SelectionKey; import java.nio.channels.Selector; import java.nio.channels.ServerSocketChannel; import java.nio.channels.SocketChannel; import java.util.Set; import javax.imageio.IIOException; /** * ${DESCRIPTION} * package com.warehouse.data.nio * * @author zli [liz@yyft.com] * @version v1.0 * @create 2017-03-28 9:55 **/ public class NIOAcceptor

事故频传的波音737 我们该加入更多传感器的机器「接管」生命控制权吗?

独自空忆成欢 提交于 2021-02-18 01:56:05
当前的自动化功设备都加上许多传感器,可以用来侦测环境、与环境互动,并且具有自动修正错误的功能,可以作为人类操作的辅助。但是,这种辅助长期下来有可能会变成一种依赖,人类如果长期不去做一些事情,在某些方面会因为疏于练习发生「退化」。2018年10月29日,一架载有189名乘客和机组人员的印度尼西亚狮子航空波音737 MAX 8客机,在起飞13分钟后失联,随后被确认在西爪哇附近海域坠毁,机上人员全部遇难。截止到目前,事故调查工作仍在进行。133天之后,2019年3月10日,埃塞俄比亚航空一架波音737Max 8航班从亚的斯亚贝巴起飞,6分钟后坠毁。机上载有149名乘客和8名机组人员,全部不幸遇难。据报导,此次失事的是一架全新的波音飞机,四个月前才交付给该航空公司。初期调查结果表明,飞机的传感器可能存在问题,飞行控制计算机出现「数据错误」。 而当机师意识到这一数据错误后,飞机没有将控制权交回人类,「人机」周旋许久,最终酿成了这一事故。一起来看看事件经过。 传感器错误数据酿成悲剧 一切要从波音公司最新推出的一套自动防失速系统相关,该系统改变了波音737之前的设计,强调「数据搜集」和「自动化」,简单来说就是,波音公司在飞机探测迎角安装了一系列传感器。攻角传感器(AOA) 可以在飞行时计算翼在空中切割时产生的升力量。因为如果迎角太陡,升力会开始减小,最终产生空气动力学失速,飞机无法继续高空飞行