中间件技术

转自 http://www.itisedu.com/phrase/200604241155005.html 中间件 (IDC) 定义： 中间件 （ middleware ）是一种独立的系统 软件 或服务 程序 ，分布式应用软件借助这种软件在不同的技术之间共享资源，中间件位于客户机服务器的 操作系统 之上，管理计算资源和网络通信 提出原因： 为解决分布异构问题这些服务具有标准的程序接口和协议。针对不同的操作系统和硬件平台，它们可以有符合接口和协议规范的多种实现。 也许很难给中间件一个严格的定义，但中间件应具有如下的一些特点： 满足大量应用的需要 运行于多种硬件和 OS 平台 支持分布计算，提供跨网络、硬件和 OS 平台的透明性的应用或服务的交互 支持标准的协议 支持标准的接口 IDC 分类： 终端仿真 / 屏幕转换中间件、数据访问中间件、 远程过程调用 中间件、 消息 中间件、交易中间件、 对 象 中间件。下面，针对几类主要的中间件分别加以简要的介绍。 1 、远程过程调用 远程过程调用是一种广泛使用的分布式应用程序处理方法。一个应用程序使用 RPC 来 “ 远程 ” 执行一个位于不同地址空间里的过程，并且从效果上看和执行本地调用相同。事实上，一个 RPC 应用分为两个部分： server 和 Client 。 server 提供一个或多个远程过程； client 向 server

定义 　　　　分布式系统是若干个独立的计算机的集合，但这些计算机对用户来说就像是单个相关的系统。 特性 　　　　　　1.不共享内存——传递消息靠通信 　　　　　　2.每一个独立的计算机都运行自己的操作系统 　　　　　　3.异构性 特征 　　　　　　1.呈现单系统映像（接口统一，内部细节通信对用户隐藏） 　　　　　　2.易扩展 　　　　　　3.持续可用性（个体出现问题整体依然可用） 　　　　　　4.被中间件所支持 　　　　　　　　* 中间件是一种独立的系统软件或服务程序，分布式应用软件借助这种软件在不同的技术之间共享资源。中间件位于客户机/ 服务器的操作系统之上，管理计算机资源和网络通讯。是连接两个独立应用程序或独立系统的软件。相连接的系统，即使它们具有不同的接口，但通过中间件相互之间仍能交换信息。执行中间件的一个关键途径是信息传递。通过中间件，应用程序可以工作于多平台或OS环境。 目标 　　　　　　1.使资源可被访问（成本降低，性能增强，安全忧虑） 　　　　　　2.透明性（隐藏细节，好似单一，多维度）——访问、位置、迁移、重定位、复制、并发、故障、持久性——设计时需权衡透明度与其他因素 　　　　　　3.开放性（接口定义语言IDL，应该是可扩展的）——IDL，开放的分布式OS支持互操作性、可移植性、可扩展性（Extensibility） 　　　　　　4.可扩展性Scalability

中间件是一种独立的系统软件或服务程序，分布式应用软件借助这种软件在不同的技术之间共享资源。中间件位于客户机/服务器的操作系统之上，管理计算机资源和网络通讯。中间件特点：满足大量应用的需要；运行于多种硬件和OS平台；支持分布式计算，提供跨网络、硬件和OS平台的透明性的应用或服务的交互功能；支持标准的协议；支持标准的接口。中间件分类：分为数据访问中间件、远程过程调用中间件、消息中间件、交易中间件、对象中间件等。中间件应该具备两个关键特征:首先要为上层的应用层服务，这是一个基本条件;此外，又必须连接到操作系统的层面，并却保持运行工作状态，具备了这样两个特征才能称为中间件。现在很多人把开发工具也称为中间件是不合适的，因为开发工具开发出来的软件，并不依赖开发工具与底层操作系统连接。windows中没有听说有中间件组件或是什么． 来源： https://www.cnblogs.com/zyq122/p/10255968.html

什么是消息中间件？ 消息中间件可以理解成就是一个服务软件，保存信息的容器，比如生活中的快递云柜。我们把数据放到消息中间件当中, 然后通知对应的服务进行获取。消息中间件是在 消息的传输过程中保存信息的容器 。 作用 在soa分布式架构系统中，或者企业中的多个项目中，进行 多个系统异步传递消息 。 优点 1.使用消息服务器当做大的队列使用，先进先出，来 处理高并发写入操作 。 2.使用消息服务器可以 将业务系统的串行执行改为并行执行 ，处理效率高，更合理的榨取服务器的性能。 缺点 1.消息中间件 实时性不高 ，因为发送方将消息发送给消息服务器后，消息服务器末必能够立即处理。 2.主要看消息服务器是否繁忙，队列中先进先出，如果数据量大，要排队等待执行。 同步技术 dubbo是一种同步技术, 实时性高, controller调用service项目, 调用就执行。如果service项目中的代码没有执行完, controller里面的代码一致等待结果.。 异步技术 mq消息中间件技术(jms) 是一种异步技术, 消息发送方, 将消息发送给消息服务器。消息服务器未必立即处理.什么时候去处理, 主要看消息服务器是否繁忙,。消息进入服务器后会进入队列中, 先进先出.实时性不高。 什么是JMS？ jms的全称叫做Java message service (Java消息服务)

面试官：请谈谈写入消息中间件的数据，如何保证不丢失？【石杉的架构笔记】 欢迎关注个人公众号：石杉的架构笔记（ID:shishan100） 周一至周五早8点半！精品技术文章准时送上！ 精品学习资料获取通道，参见文末 目录 1、背景引入 2、Kafka分布式存储架构 3、Kafka高可用架构 4、画图复现Kafka的写入数据丢失问题 5、Kafka的ISR机制是什么？ 6、Kafka写入的数据如何保证不丢失？ 7、总结 （1）背景引入 这篇文章，给大家聊一下写入Kafka的数据该如何保证其不丢失？ 看过之前的文章面试官：消息中间件如何实现每秒几十万的高并发写入？的同学，应该都知道写入Kafka的数据是会落地写入磁盘的。 我们暂且不考虑写磁盘的具体过程，先大致看看下面的图，这代表了Kafka的核心架构原理。 （2）Kafka分布式存储架构 那么现在问题来了，如果每天产生几十TB的数据，难道都写一台机器的磁盘上吗？这明显是不靠谱的啊！ 所以说，这里就得考虑数据的分布式存储了，其实关于消息中间件的分布式存储以及高可用架构，之前的一篇文章面试一线互联网大厂？那这道题目你必须得会！也分析过了，但是这里，我们结合Kafka的具体情况来说说。 在Kafka里面，有一个核心的概念叫做“Topic”，这个topic你就姑且认为是一个数据集合吧。 举个例子

应用集成原理与工具集成实验报告 实验环境：普通PC机，Windows 2003或Windows XP 系统、网络交换机、VS.Net 开发环境、数据库运行环境。 实验目的： 通过这次实验掌握并了解基于中间件集成的实验原理与实验操作； 掌握MVC模式设计系统； 体会MVC模式下集成的好处。 实验内容： 1.创建两个数据库，每个数据库各两张表。 注意：两张表中虽然基本内容⼀致，但是它们的表名字不同，表中字段和类型也有所区别。 2. ⽤xml完成针对数据库本身表中字段，属性，格式等的描述。 说明： 2.1 ⼀个数据库⾄少⽤1个xml⽂件来描述，此外，还需⽤1个xml⽂件来统⼀所有异构字段名称和类型。 2.2 这些xml表就是中间件中关于元数据表的建⽴，会在阶段4中⽤到。 2.3 请注意xml表中针对不同DB中相同信息表中的字段描述，最好标签相同，但是标签中的内容不同，这都是为了最终集成的需要。 3. 完成⼀个jsp+Servlet+javaBean的信息管理系统. 说明： 3.1 针对2个数据库表的查询，譬如可以查询所有男性学⽣的信息，所有选修某⻔课程学⽣的信息，可以⼿动增加⼀个新的学⽣到某个指定的班级，可以批量删除选择某⼀⻔课程的学⽣，可以增加⼏⻔课程到2个数据库中等，功能越多越好。 3.2 所有的逻辑功能不可以写在jsp中，必须写⼊servlet。 4. 完成中间件集成功能。 说明：

Asp.Net Core-中间件 在这一章，我们将了解如何设置中间件。中间件技术在 ASP.NET Core中控制我们的应用程序如何响应 HTTP 请求。它还可以控制应用程序的异常错误，这是一个在如何进行身份验证和授权用户执行特定的操作的关键。 中间件是组装成应用的管道来处理请求和响应的软件组件。 每个组件可以选择是否要在管道中将请求传递到下一个组件，并可以在管道中执行某些操作之前和之后的任务。 Request委托用于构建请求管道。Request委托用来处理每个HTTP请求。 每件中间件在 ASP.NET Core都是一个对象，并且每一块有非常具体、 专注和有限的作用。 最终,我们需要很多的中间件为应用程序提供适当的行为。 现在让我们假设我们想将每个对我们应用程序的请求都记录日志。 在这种情况下,我们安装到应用程序中的第一块中间件是一个日志组件。 这个日志程序可以看到一切传入的请求,然后该中间件只是记录一些信息,然后传递这个请求下一个块中间件。 中间件是以一系列的组件出现在这个处理管道中。 我们安装到应用程序的下一个中间件是一个授权组件。 一个组件可能是寻找特定cookie或访问HTTP标头中的令牌。 如果授权组件发现一个令牌,它允许请求继续。 如果不是,授权组件本身可能会响应请求的HTTP错误代码或将用户重定向到登录页面。 否则,授权组件将请求传递给下一个路由器的中间件。

最近研究了一下项目的组件化，把 casa 、 bang 、 limboy 的有关组件化的博客看了一遍，学到了不少东西，对目前业界的组件化方案有了一定的了解。这些高质量的博客大致讨论了组件化的三种方案： url-block 、 protocol-class (和 url-controller 类似)、 target-action ，以及应用这三种组件化方案的时机、步骤、利弊等等。 本文主要介绍一下这三种组件化方案的技术实现过程，针对不同组件化方案具体应用过程中可能出现的问题加以介绍，也针对 casa 批判蘑菇街的组件化方案加以自己的思考，希望对需要了解组件化的朋友有一定的帮助。 为什么需要组件化 随着公司业务的不断发展，项目的功能越来越复杂，各个业务代码耦合也越来越多，代码量也是急剧增加，传统的 MVC 或者 MVVM 架构已经无法高效的管理工程代码，因此需要用一种技术来更好地管理工程，而组件化是一种能够解决代码耦合的技术。项目经过组件化的拆分，不仅可以解决代码耦合的问题，还可以增强代码的复用性，工程的易管理性等等。 组件化的过程 之前根据蘑菇街的组件化方案， limboy 和 casa 等人做了深入的讨论，并根据各自的观点给出了方案实施的理由以及利弊关系，然后又有人改进了他们的组件化方案，我总结了一下，大致有三种，下面分别介绍各自的实现过程： 方案一、url-block

1、为什么要使用消息队列? 主要有三个原因: 解耦、异步、削峰 (1)解耦 传统模式: 传统模式的 缺点 ： 系统间耦合性太强，如上图所示，系统A在代码中直接调用系统B和系统C的代码，如果将来D系统接入，系统A还需要修改代码，过于麻烦！ 中间件模式: 中间件模式的的 优点 ： 将消息写入消息队列，需要消息的系统自己从消息队列中订阅，从而系统A不需要做任何修改。 (2)异步 传统模式: 传统模式的 缺点 ： 一些非必要的业务逻辑以同步的方式运行，太耗费时间。 中间件模式: 中间件模式的的 优点 ： 将消息写入消息队列，非必要的业务逻辑以异步的方式运行，加快响应速度 (3)削峰 传统模式 传统模式的 缺点 ： 并发量大的时候，所有的请求直接怼到数据库，造成数据库连接异常 中间件模式: 中间件模式的的 优点 ： 系统A慢慢的按照数据库能处理的并发量，从消息队列中慢慢拉取消息。在生产中，这个短暂的高峰期积压是允许的。 2、使用了消息队列会有什么缺点? 分析 :一个使用了MQ的项目，如果连这个问题都没有考虑过，就把MQ引进去了，那就给自己的项目带来了风险。我们引入一个技术，要对这个技术的弊端有充分的认识，才能做好预防。 要记住，不要给公司挖坑！ 回答 :回答也很容易，从以下两个个角度来答 系统可用性降低 :你想啊，本来其他系统只要运行好好的，那你的系统就是正常的。现在你非要加个消息队列进去

题目 为什么使用消息队列？ 消息队列有什么优点和缺点？ Kafka、ActiveMQ、RabbitMQ、RocketMQ 都有什么区别，以及适合哪些场景？ 消息中间件各种面试题： 消息中间件面试题：消息丢失怎么办？ 消息中间件面试题：消息队列的优缺点，区别 消息中间件面试题：消息中间件的高可用 消息中间件面试题：如何保证消息的顺序性 消息中间件面试题：如何保证消息不被重复消费 消息中间件面试题：如何解决消息队列的延时以及过期失效问题？消息队列满了以后该怎么处理？有几百万消息持续积压几小时呢？ 消息中间件面试题：如果让你写一个消息队列，该如何进行架构设计？ 面试题剖析 为什么使用消息队列 先说一下消息队列常见的使用场景吧，其实场景有很多，但是比较核心的有 3 个：解耦、异步、削峰。 解耦 看这么个场景。A 系统发送数据到 BCD 三个系统，通过接口调用发送。如果 E 系统也要这个数据呢？那如果 C 系统现在不需要了呢？A 系统负责人几乎崩溃… mq-1 在这个场景中，A 系统跟其它各种乱七八糟的系统严重耦合，A 系统产生一条比较关键的数据，很多系统都需要 A 系统将这个数据发送过来。A 系统要时时刻刻考虑 BCDE 四个系统如果挂了该咋办？要不要重发，要不要把消息存起来？头发都白了啊！ 如果使用 MQ，A 系统产生一条数据，发送到 MQ 里面去，哪个系统需要数据自己去 MQ 里面消费