alibaba

一、官网地址： https://github.com/alibaba/canal 二、安装 canal server 1. 下载canal 直接下载 访问： https://github.com/alibaba/canal/releases 下载： https://github.com/alibaba/canal/releases/download/canal-1.0.24/canal.deployer-1.0.24.tar.gz 2. 解压缩 mkdir canal tar zxvf canal.deployer-$version.tar.gz 解压完成后，进入canal目录，可以看到如下结构： drwxr-xr-x 2 jianghang jianghang 136 2013-02-05 21:51 bin drwxr-xr-x 4 jianghang jianghang 160 2013-02-05 21:51 conf drwxr-xr-x 2 jianghang jianghang 1.3K 2013-02-05 21:51 lib drwxr-xr-x 2 jianghang jianghang 48 2013-02-05 21:29 logs 3. 配置修改 应用参数： vi conf/example/instance.properties #############

64位操作系统，推荐使用Linux、Unix、MacOS 64λ JDK1.8+ Maven 3.2.x 适用于Broker服务器的4g +可用磁盘 从Apache RocketMQ的官网【http://rocketmq.apache.org/ 】可以进入RocketMQ的下载地址，目前最新的版本为4.5.2【http://rocketmq.apache.org/release_notes/release-notes-4.5.2/ 】，下载 Binary 文件即可 解压缩 unzip rocketmq-all-4.5.2-bin-release.zip 切换目录 cd rocketmq-all-4.5.2-bin-release 启动Name Server nohup sh bin/mqnamesrv & 验证是否启动成功 tail -f ~/logs/rocketmqlogs/namesrv.log 如果启动成功，可以看见如下日志： 2019-10-24 16:20:48 INFO FileWatchService - FileWatchService service started 2019-10-24 16:20:48 INFO main - The Name Server boot success. serializeType=JSON 启动Broker nohup sh

1.什么是DataX 2. DataX的设计 为了解决异构数据源同步问题，DataX将复杂的网状的同步链路变成了星型数据链路，DataX作为中间传输载体负责连接各种数据源。当需要接入一个新的数据源的时候，只需要将此数据源对接到DataX，便能跟已有的数据源做到无缝数据同步。 DataX本身作为离线数据同步框架，采用Framework + plugin架构构建。将数据源读取和写入抽象成为Reader/Writer插件，纳入到整个同步框架中。 Reader：数据采集模块，负责采集数据源的数据，将数据发送给Framework。 Writer：数据写入模块，负责不断向Framework取数据，并将数据写入到目的端。 Framework：用于连接reader和writer，作为两者的数据传输通道，并处理缓冲，流控，并发，数据转换等核心技术问题。 　　前置要求 　　　　- Linux 　　　　- JDK(1.8以上，推荐1.8) 　　　　- Python(推荐Python2.6.X) 　　　　1）将下载好的datax.tar.gz上传到hadoop101的/opt/software 　　　　　　[kris@hadoop101 software]$ ls 　　　　　　　　datax.tar.gz 　　　　2）解压datax.tar.gz到/opt/module 　　　　　　[kris

dubbo超时原理以及解决方案 本篇主要记录dubbo中关于超时的常见问题，实现原理，解决的问题 超时问题 为了检查对dubbo超时的理解，尝试回答如下几个问题，如果回答不上来或者不确定那么说明此处需要再多研究研究。 我只是针对个人的理解提问题，并不代表我理解的就是全面深入的，但我的问题如果也回答不了，那至少说明理解的确是不够细的。 超时是针对消费端还是服务端？ 超时在哪设置？ 超时设置的优先级是什么？ 超时的实现原理是什么？ 超时解决的是什么问题？ 问题解答 RPC场景 本文所有问题均以下图做为业务场景，一个web api做为前端请求，product service是产品服务，其中调用comment service(评论服务)获取产品相关评论，comment service从持久层中加载数据。 超时是针对消费端还是服务端？ 如果是争对消费端，那么当消费端发起一次请求后，如果在规定时间内未得到服务端的响应则直接返回超时异常，但服务端的代码依然在执行。 如果是争取服务端，那么当消费端发起一次请求后，一直等待服务端的响应，服务端在方法执行到指定时间后如果未执行完，此时返回一个超时异常给到消费端。 dubbo的超时是争对客户端的，由于是一种NIO模式，消费端发起请求后得到一个ResponseFuture，然后消费端一直轮询这个ResponseFuture直至超时或者收到服务端的返回结果

Spring Cloud Alibaba基础教程：Sentinel Dashboard中修改规则同步到Nacos 上一篇我们介绍了如何通过改造Sentinel Dashboard来实现修改规则之后自动同步到Apollo。下面通过这篇，详细介绍当使用Nacos作为配置中心之后，如何实现Sentinel Dashboard中修改规则同步到Nacos。关于下面改造的原理和分析可以见上一篇 《Sentinel Dashboard中修改规则同步到Apollo》 的头两节内容，这里不重复介绍了。 下面直接来看看如何实现的具体改造步骤，这里参考了 Sentinel Dashboard 源码中关于Nacos实现的测试用例。但是由于考虑到与Spring Cloud Alibaba的结合使用，略作修改。 第一步 ：修改 pom.xml 中的sentinel-datasource-nacos的依赖，将 <scope>test</scope> 注释掉，这样才能在主程序中使用。 <dependency> <groupId>com.alibaba.csp</groupId> <artifactId>sentinel-datasource-nacos</artifactId> <!--<scope>test</scope>--> </dependency> <li ui-sref-active="active"

Sentinel自身就支持了多种不同的数据源来持久化规则配置，目前包括以下几种方式： 文件配置 Nacos配置 ZooKeeper配置 Apollo配置 本文我们就来一起动手尝试一下，如何使用Apollo来存储限流规则。 下面我们将同时使用到 Apollo 和 Sentinel Dashboard ，所以可以先把 Apollo 和 Sentinel Dashboard 启动起来。 如果还没入门 Sentinel Dashboard 可以通过文末的系列目录先学习之前的内容。Apollo的话相对复杂一些，这里不做详细介绍了，如果还没有接触过Apollo的读者可以查看其 官方文档 进一步学习。 第一步 ：在Spring Cloud应用的 pom.xml 中引入Spring Cloud Alibaba的Sentinel模块和Apollo存储扩展： <dependencies> <dependency> <groupId>org.springframework.boot</groupId> <artifactId>spring-boot-starter-web</artifactId> </dependency> <dependency> <groupId>org.springframework.cloud</groupId> <artifactId>spring-cloud-starter

上一篇我们介绍了如何通过改造Sentinel Dashboard来实现修改规则之后自动同步到Apollo。下面通过这篇，详细介绍当使用Nacos作为配置中心之后，如何实现Sentinel Dashboard中修改规则同步到Nacos。关于下面改造的原理和分析可以见上一篇 《Sentinel Dashboard中修改规则同步到Apollo》 的头两节内容，这里不重复介绍了。 下面直接来看看如何实现的具体改造步骤，这里参考了 Sentinel Dashboard 源码中关于Nacos实现的测试用例。但是由于考虑到与Spring Cloud Alibaba的结合使用，略作修改。 第一步 ：修改 pom.xml 中的sentinel-datasource-nacos的依赖，将 <scope>test</scope> 注释掉，这样才能在主程序中使用。 <dependency> <groupId>com.alibaba.csp</groupId> <artifactId>sentinel-datasource-nacos</artifactId> <!--<scope>test</scope>--> </dependency> 第二步 ：找到 resources/app/scripts/directives/sidebar/sidebar.html 中的这段代码： <li ui-sref

什么是 Nacos？ Nacos 是阿里巴巴推出来的一个新开源项目，这是一个更易于构建云原生应用的动态服务发现、配置管理和服务管理平台。 Nacos 致力于帮助您发现、配置和管理微服务。Nacos 提供了一组简单易用的特性集，帮助您快速实现动态服务发现、服务配置、服务元数据及流量管理。 Nacos 帮助您更敏捷和容易地构建、交付和管理微服务平台。 Nacos 是构建以“服务”为中心的现代应用架构 (例如微服务范式、云原生范式) 的服务基础设施。 官网： https://nacos.io/zh-cn/index.html 前提条件 您需要先下载 Nacos 并启动 Nacos server，我下载的是目前最新的包 nacos-server-1.0.0.zip ，解压后直接启动bin目录下startup.cmd,直接访问locahost:8848/nacos/index.html,用户名与密码都是nacos 第二步：新建一个maven项目在pom.xml引入以下包 <parent> 第三步：新建命名空间 规则参考第四步骤 第四步：bootstrap.properties 接入nacos相关配置 spring.application.name=service-consumer #nacos服务地址 spring.cloud.nacos.discovery.server-addr=127

JOSNPath 是一个非常强大的工具，对于处理 json 对象非常方便。 官方地址： https://github.com/alibaba/fastjson/wiki/JSONPath 基本用法： https://blog.csdn.net/itguangit/article/details/78764212 1. JSONPath介绍 fastjson 1.2.0之后的版本支持JSONPath。这是一个很强大的功能，可以在java框架中当作对象查询语言（OQL）来使用。 2. API package com.alibaba.fastjson; public class JSONPath { // 求值，静态方法 public static Object eval(Object rootObject, String path); // 求值，静态方法，按需计算，性能更好 public static Object extract(String json, String path); // 计算Size，Map非空元素个数，对象非空元素个数，Collection的Size，数组的长度。其他无法求值返回-1 public static int size(Object rootObject, String path); // 是否包含，path中是否存在对象 public static

版权声明：本文为博主原创文章，未经博主允许不得转载。 https://blog.csdn.net/zhifeng172/article/details/89215098 环境 对类对象进行序列化，转换成json string做后续处理，在JSON.toJSONString的时候，报下面的异常导致APP奔溃了 # Bean对象的定义如下 public class AppBean implements Serializable{ private Long id; private String name; private String pkgname; private Integer version; private String filepath; private Long filesize; private Drawable icon; . . . 分析 这个问题十有八九就是序列化的问题，对于所定义的这个Bean，有可能不能进行正常序列化的是Drawable，那么猜测的解决办法有： 一个是将Drawable转为二进制存储（转Bitmap，再转bytes）； 一个是忽略这个字段，因为请求远程的Bean，我是不需要传这个字段的 日志 2019-04-11 16:44:11.567 27693-27693/com.jeff.demo E/CrashReport: java.lang