ElasticSearch

点击上方 “ 民工哥技术之路 ” 选择“星标” 每天 10点 为你 分享 不一样的干货 读者福利！多达 2048G 各种资源免费赠送 本文授权转自差评公众号，如需转载请联系授权。 不知道差友们有没有想过， 为啥 QQ 的图标是一只小企鹅呢？ 关于这个问题的答案，坊间一直流传着一些不靠谱的传说。 而流传最广的大概就是一个 BBC 拍摄的关于企鹅的纪录片。 纪录片里的企鹅，在南极冰天雪地里用小石头为自己垒窝，可是在南极找到 一块合适的小石头需要小企鹅费劲千辛万苦 。 可是一些不守规矩的小企鹅，盯上了一条 “ 捷径 ” ： 把别的企鹅的石头叼到自己窝前。 而腾讯正是靠着一招驰名天下的绝技“ 血轮眼 ”，拿下了互联网的半边天。 当然了，以上这个说法都是坊间流传的无稽之谈，差友们全当看个笑话，不能作数。 这些八卦除了这个最不靠谱以外，另外的传说简直五花八门。 甚至还有强行做了一波阅读理解的： 企鹅生活中地球极端，用企鹅做 LOGO 也蕴含着 QQ 网络可以联络世界两端的寓意。 就在几天前，腾讯 QQ 终于坐不住了。 在他们的官方微信号上，发表了一篇长文来解释这只 20 岁的企鹅的前世今生。 所以今天，世超想和差友们聊聊就是这只 20 岁的胖企鹅这些年里的变化， 这事情还要从 1999 年开始说起， 那时候 QQ 还叫做 OICQ ，是一个非常具有年代感的名字。 那时候腾讯 QQ 用的

前言 简单说明下，APM全称Application Performance Management应用性能管理，通过各种收集请求数据，同时搭配Dashboard以实现对应用程序性能管理和故障管理的系统化解决方案。 HttpReports 介绍 HttpReports 是针对.Net Core 开发的轻量级APM系统，基于MIT开源协议, 使用HttpReports可以快速搭建.Net Core环境下统计,分析,图表,监控一体化的站点，并且支持多种数据库存储，适应.Net Core WebAPI,MVC，Web项目, 通过引用Nuget构建Dashboard面板，非常适合中小项目使用。 Github地址： https://github.com/SpringLeee/HttpReports 感兴趣的同学欢迎 Github Star 一波... 在线预览： https://moa.hengyinfs.com 账号: admin 密码 123456 主要功能 接口调用指标分析 多服务节点数据聚合分析 慢请求，错误请求分析 接口调用日志查询 趋势数据分析 (维度： 小时,天，月) 多类型预警监控 HTTP调用分析 多数据库支持，集成方便 数据库支持 Dashboard-UI 快速开始 Step1: 初始化数据库 HttpReports 需要手动创建数据库, 我这里使用 SqlServer

　　Elasticsearch为开发者提供了一套基于Http协议的Restful接口，只需要构造rest请求并解析请求返回的json即可实现访问Elasticsearch服务器。Elasticsearch的API接口功能丰富，包含集群、监控、部署管理等，也包含常用的文档、索引操作，本文主要是使用Postman工具对文档操作相关的api做学习记录。 新增文档 PUT方式：http://localhost:9200/store/product/1 //指定id，存在则更新，不存在则新增 POST方式：http://localhost:9200/store/product //自动生成id 其中store表示Index，product表示Type，数字1表示的是Document(文档)的主键，主键可以是任意的形式，也可以不指定主键，Elasticsearch将会自动生成一个唯一主键，但是必须是post方式提交请求。 测试： 返回结果中_id：自动生成的主键，_shards:表示分区信息，total:2表示有两个分区，successful：1 表示成功赋值了一份。_version：1表示该文档的版本号，每修改一次，版本号都会自增。 Elasticseach-head中查看数据： 根据主键查询 GET方式：http://localhost:9200/store/product

1. 下载 2.解压后修改配置文件 #唯一编号 broker.id=1 #用来监听的地址 listeners=PLAINTEXT://127.0.0.1:9092 #日志路径 log.dirs=E:/kafka_2.13-2.7.0/kafka_2.13-2.7.0/tmp/kafka-logs #zk的连接 zookeeper.connect=localhost:2181 3.启动 1.先启动zk 2.启动kafka kafka-server-start.bat ..\..\config\server.properties #创建主题 kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic kafka-test-topic #查看创建的主题 kafka-topics.bat --list --zookeeper localhost:2181 #启动生产者 kafka-console-producer.bat --broker-list localhost:9092 --topic kafka-test-topic #启动消费者 kafka-console-consumer.bat --bootstrap-server localhost

点击上方 “ 民工哥技术之路 ” 选择“星标” 每天 10点 为你 分享 不一样的干货 读者福利！多达 2048G 各种资源免费赠送 前几天，据央视新闻报道，上海公安机关接到共享单车企业报案，随后破获了一起共享单车万能解锁 App 案， 犯罪嫌疑人开发的 App 软件能解锁所有的共享单车。 （视频如上，可以看看） 据警方介绍，“万能钥匙”的实际操作是“将这些共享单车的数据包截取并破解，再将会员信息更改添加到里面，等于是伪装成这些共享单车真正的月卡或者年卡会员。再将这些数据包发送给共享单车的服务器，等于是骗过了服务器的检测，导致开锁的结果。 ‍ 这款 App 影响了多家共享单车企业的正常服务， 造成共享单车公司损失约 3亿 元 。目前开发者 3 名犯罪嫌疑人被依法批准逮捕，11 名犯罪嫌疑人被依法采取强制措施。 在共享单车万能解锁 App 案破获的消息发出后，不少网友发现自己还使用过这款软件，看来钻的空子真的蛮大。 有网友就评论道： 有这样的技术，做点什么不好，非得拿来干这些。 看来程序员也是个高危职业啊，一念之间，就会走向监狱！ 技术无罪，有罪的是使用技术动私念的技术人。 版权申明： 文章源自于网络，具体来源及原作者不详，无法溯源 ，版权归原创者所 有。 除非无法确认，我们都会标明作者及出处，如有侵权烦请告知，我们会立即删除并表示歉意， 谢谢。 关注 民工哥技术之路

preference 查询选择副本分片的倾向性(即在一个复制组中选择副本的分片值。默认情况下，es以未指定的顺序从可用的碎片副本中进行选择，副本之间的路由将在集群章节更加详细的介绍 。可以通过该字段指定分片倾向与选择哪个副本。preference可选值： _primary 只在节点上执行，在6.1.0版本后废弃，将在7.x版本移除。 _primary_first 优先在主节点上执行。在6.1.0版本后废弃，将在7.x版本移除。 _replica 操作只在副本分片上执行，如果有多个副本，其顺序随机。在6.1.0版本后废弃，将在7.x版本移除。 _replica_first 优先在副本分片上执行，如果有多个副本，其顺序随机。在6.1.0版本后废弃，将在7.x版本移除。 _only_local 操作将只在分配给本地节点的分片上执行。_only_local选项保证只在本地节点上使用碎片副本，这对于故障排除有时很有用。所有其他选项不能完全保证在搜索中使用任何特定的碎片副本，而且在索引更改时，这可能意味着如果在处于不同刷新状态的不同碎片副本上执行重复搜索，则可能产生不同的结果。 _local 优先在本地分片上执行。 _prefer_nodes:abc,xyz 优先在指定节点ID的分片上执行，示例中的节点ID为abc、xyz。 _shards:2,3 将操作限制到指定的分片上执行。(这里是2和3

架构设计相关 0. 什么是分布式系统，什么是微服务？ 集群：多机器做同一件事情； 分布式系统： 一件事情，多系统协同完成； 微服务架构：构建分布式系统的一种架构方式， 核心思路是：去中心化； http://www.cnblogs.com/liuning8023/p/4493156.html 1. RPC和RPC框架 RPC是指远程过程调用，实现远程过程调用的方式有很多中，Dubbo，Rmi，Hessian等等； RPC的核心过程包括了客户端和服务端的通讯协议，寻址，数据序列化/反序列化； 对上述过程进行了封装，不需要开发人员自己去定义通讯协议，去实现序列化的细节工作， 这样的组件称为RPC框架；常见RPC框架有 thrift，gRpc，dubbo，motan 2. 序列化方式及作用 序列化：将java对象或者其他内存中的数据，转换为一种特定格式的流，使之可以在网络中传输或者磁盘上存储； 反序列化：将流以特定的格式转为java对象或者内存中其他形式的数据；# json，jdk serializable, Hessian，Dubbo, Protobuf, 作用：压缩；持久化存储；跨网络传输； 3. 分布式系统中事务的处理 参考：https://wenku.baidu.com/view/be946bec0975f46527d3e104.html https://segmentfault