网络传输协议

零散知识点总结 概述 比特(bit), 字节(byte), 1 byte = 8 bit(空间上,位数上) kbps = 10 3 bps 时延带宽积中的时延是传播时延, 单向的, 不是RTT 传输层是 数据段 ; 网络层是 数据报 .数据链路层是 数据帧 计算机网络就是互连的、自治的计算机集合 计算机网络结构: 网络边缘, 接入网络, 网络核心 端到端层: 传输层以上层次 OSI各层次(共7个)功能: 物理层: 比特编码, 时钟同步.. 数据链路层: 组帧, 流量控制,差错控制,访问控制,物理寻址... 网络层: 逻辑寻址, 路由, 分组转发 传输层: 连接控制,差错控制, 连接控制, 分段与重组, SAP寻址 会话层 : 会话控制, 同步 (最薄的一层) 表示层 : 加密/解密, 压缩/解压缩. 数据表示转换. 应用层: 支持用户通过软件使用网络服务 完成路由选择功能的层次是: 网络层 多路复用技术: TDM,FDM,WDM,CDM 采用10Mbps的HFC接入Internet可能比2Mbps的ADSL接入还慢。 端到端原则：网络高层次的功能应尽可能的实现在网络边缘（终端设备），网络核心框架只提供最基本的标准的服务。 接入网络的方式: DSL. 电缆， FTTH， 拨号和卫星，以太网， wifi， 光纤。 常见的物理媒体： 双绞铜线， 同轴电缆， 光纤 ，陆地无线电信道

TCP/IP_TCP与UDP TCP/IP中两个具有代表性的传输层协议，他们分别是TCP和UDP。TCP提供可靠的通信传输，而UDP则常被用于让广播和细节控制交给应用的通信传输。 在IP首部中有一个协议字段，用来标识网络层的上一层所采用的是哪一种传输层协议。根据这个字段的协议号，就可以识别IP传输的数据部分究竟是TCP内容，还是UDP内容。同样传输层的TCP和UDP，为了识别自己所传输的数据部分究竟应该发送给哪个应用，也设定了一个这样的编号。以包裹传递为例，邮递员（IP）根据收件人的地址（目标IP地址）向目的地（计算机）投递包裹（IP数据报）。包裹到达目的地以后由对方（传输层协议）根据包裹信息判断最终的接收人（接收端应用程序）： 为了实现这一功能，使用端口号这样一种识别码。根据端口号就可以识别在传输层上一层的应用层中所要进行处理的具体程序。 TCP/IP的众多应用协议大多以客户端/服务端的形式运行，例如对于HTTP连接请求： 这些服务端程序叫做守护进程。在unix中不需要将这些守护进程逐个启动，而是启动一个可以代表他们接收客户端请求的inetd服务程序即可。它是一种超级守护进程，该超级守护进程收到客户端请求以后会fork新的进程并且exec为sshd等各个守护进程。确认一个请求究竟发送给的是哪个服务端，可以通过所收到数据包的目标端口号轻松识别。 端口号 数据链路和IP中的地址

TCP/IP协议栈 TCP/IP协议是规范不同主机之间进行通信的一系列协议，其中涉及到数据的封装，传输，寻址等一系列内容，是计算机领域非常重要的基础知识，我们在Java中用到的Socket通信就是基于TCP/IP协议中的TCP协议，开发为一系列封装好的API供用户使用。为什么要制定这些协议呢？这些协议为通信领域指定了唯一的标准，为不同的网络供应商，设备制造商的生产和服务提供了一个统一的标准。TCP/IP协议栈就是一个类似数据结构中的栈的模型，它有很多层，每层承担着不同的功能，有不同的协议。我们一般可以把协议栈理解为一个四层的模型：应用层、传输层、网络层、链路层。应用层中有一些面向用户的与应用相关的协议，涉及到对数据的一些分析和处理，使得用户信息和数据流之间得到转换；传输层是负责执行数据流和数据段之间的转换，是数据信息的管理层面；网络层涉及到与其他主机的联系，对数据封装并找到合适的路径把信息发出去或者接收进来；链路层中主要是一系列为了实现相应功能的接口，是协议栈的最底层。一般来说，用户信息会从应用层开始，往下逐步被包装，当传到另一个主机的时候，再从下到上一步步打开包装，最终解析还原为用户信息。在这个过程中，各项协议确保了传输过程的实现以及数据的安全。 TCP/IP协议栈： 协议栈之应用层 应用层包括的协议有： 1、文件传输类：HTTP（超文本传输协议）、FTP（文件传输协议）

网络层次划分 为了使不同计算机厂家生产的计算机能够相互通信，以便在更大的范围内建立计算机网络，国际标准化组织（ISO）在1978年提出了“ 开放系统互联参考模型 ” 即著名的OSI/RM模型（Open System Interconnection/Reference Model）。 它将计算机网络体系结构的通信协议划分为七层 自下而上依次为： 物理层（Physics Layer） 数据链路层（Data Link Layer） 网络层（Network Layer） 传输层（Transport Layer） 会话层（Session Layer） 表示层（Presentation Layer） 应用层（Application Layer） 其中第四层完成数据传送服务， 上面三层面向用户。 除了标准的OSI七层模型以外，常见的网络层次划分还有TCP/IP四层协议以及TCP/IP五层协议 它们之间的对应关系如下图所示： OSI七层网络模型 TCP/IP协议是互联网基础协议，没有它就根本不可能上网 任何和互联网有关的操作都离不开TCP/IP协议 。 不管是OSI七层模型还是TCP/IP的四层、五层模型，每一层中都要自己的专属协议，完成自己相应的工作以及与上下层级之间进行沟通。 由于OSI七层模型为网络的标准层次划分，所以我们以OSI七层模型为例从下向上进行一一介绍。 物理层 物理层

第三章 网络安全 3.1 网络安全及管理概述 3.1.1 网络安全的概念 网络安全是个涉及计算机科学、网络技术、通信技术、密码技术、信息安全技术、应用数学、数论、信息论等的综合性领域。 网络安全包括网络硬件资源和信息资源的安全性。其中，网络硬件资源包括通信线路、通信设备(路由机、交换机等)、主机等，要实现信息快速安全的交换，必须有一个 可靠的物理网络。信息资源包括维持网络服务运行的系统软件和应用软件，以及在网络中存储和传输的用户信息数据等。信息资源的安全也是网络安全的重要组成部分。 3.1.2 网络管理的概念 网络管理是指监督、组织和控制网络通信服务，以及信息处理所必需的各种活动的总称。其 目标 是确保计算机网络的持续正常运行，使网络中的资源得到更加有效的利用，并在计算机网络运行出现异常时能及时响应和排除故障。从网络管理范畴来分类，可分为对网络设备的管理和对行为的管理。 3.1.3 安全网络的特征 安全网络的特征即为能够通过网络安全与管理技术或手段保障可靠性、可用性、保密性、完整性、可控性、可审查性的网络。 可靠性：网络信息系统能够在规定条件下和规定的时间内完成规定功能的特性。可靠性是所有网络信息系统建设和运行的目标。 可用性：可用性是指网络信息可被授权实体访问并按需求使用的特性。 保密性：保密性是指网络信息不被泄露给非授权的用户、实体或过程，或者供其的特性。 完整性

1.介绍一下websocket和通信过程？ 1.1 基本概念 [!NOTE] Websocket是应用层第七层上的一个应用层协议，它必须依赖 HTTP 协议进行一次握手 ，握手成功后，数据就直接从 TCP 通道传输，与 HTTP 无关了。即：websocket分为握手和数据传输阶段，即进行了HTTP握手 + 双工的TCP连接。 1.2 通信过程 下面我们分别来看一下这两个阶段的具体实现原理： 1.2.1 握手阶段 客户端发送消息： GET /chat HTTP/1.1 Host: server.example.com Upgrade: websocket Connection: Upgrade Sec-WebSocket-Key: dGhlIHNhbXBsZSBub25jZQ== Origin: http://example.com Sec-WebSocket-Version: 13 服务端返回消息： HTTP/1.1 101 Switching Protocols Upgrade: websocket Connection: Upgrade Sec-WebSocket-Accept: s3pPLMBiTxaQ9kYGzzhZRbK+xOo= 这里值得注意的是Sec-WebSocket-Accept的计算方法： base64(hsa1(sec-websocket-key +

RPC（Remote Procedure Call）：远程过程调用，它是一种通过网络从远程计算机程序上请求服务，而不需要了解底层网络技术的思想RPC 是一种技术思想而非一种规范或协议，常见 RPC 技术和框架有： 应用级的服务框架：阿里的 Dubbo/Dubbox、Google gRPC、Spring Boot/Spring Cloud。 远程通信协议：RMI、Socket、SOAP(HTTP XML)、REST(HTTP JSON)。 通信框架：MINA 和 Netty。 目前流行的开源 RPC 框架还是比较多的，有阿里巴巴的 Dubbo、Facebook 的 Thrift、Google 的 gRPC、Twitter 的 Finagle 等。 下面重点介绍三种： gRPC：是 Google 公布的开源软件，基于最新的 HTTP 2.0 协议，并支持常见的众多编程语言。RPC 框架是基于 HTTP 协议实现的，底层使用到了 Netty 框架的支持。 Thrift：是 Facebook 的开源 RPC 框架，主要是一个跨语言的服务开发框架。 用户只要在其之上进行二次开发就行，应用对于底层的 RPC 通讯等都是透明的。不过这个对于用户来说需要学习特定领域语言这个特性，还是有一定成本的。 Dubbo：是阿里集团开源的一个极为出名的 RPC 框架，在很多互联网公司和企业应用中广泛使用

0.前言 代码目录: https://github.com/brandon-rhodes/fopnp/tree/m/py3 0.1.网络实验环境:理解客户端与服务器是如何通过网络进行通信的 每台机器通过一个Docker容器实现 0.1.1.调制解调器A和B下面的客户机(h1~h4)表示典型客户端场景，家庭或咖啡店(内部网络，不能访问互联网,如果要连互联网，都通过调制解调器IP进行连接) 0.1.2.调制解调器通过ISP网关连接广域网(主干路由器，负责将数据包发送至与之相连的网络) 0.1.3.example.com及相连机器表示机房配置。没有网络地址转换或伪装，互联网上的各个客户端可随意访问example.com后的三个服务器提供的服务端口 0.1.4.ftp、mail、www服务器运行正确配置的守护进程，Python脚本可以运行在其他机器，并成功连接到上述服务 0.1.5.所有服务器成功安装TLS证书，所有客户机有example.com的签名及安装受信证书，及要求TLS认证的Python脚本可以成功获取认证 0.1.6.可以在网络环境的任意一台机器上连接并运行命令，可对网络中的任意一个点进行数据包追踪，查看客户端和服务端之间的网络数据传输情况 1.客户端、服务器网络编程 1.1.协议栈与库 1.1.1.协议栈:复杂的网络服务建立在简单网络服务的基础上 1.1.2

tcp/ip 5层架构: 资源子网: 应用层: 为用户的应用程序提供网络通信服务 表示层: 处理被传送数据的表示问题 会话层: 建立.管理,中止不同机器上应用程序间的会话 连接资源子网与通信子网: 传输层: 为源端主机到目的端主机提供可靠的,满足服务质量要求的数据传输服务 屏蔽不同通信子网的差异,使上层不受通信子网技术变化的影响;弥补资源子网和通信子网间差异;提供进程级通信能力 TCP: 面向连接的 可靠通信方式 在网络状况不佳的时候尽量降低系统由于重传带来的带宽开销 通信连接维护是面向通信的两个端点的，而不考虑中间网段和节点 三次握手,四次挥手 数据分片：在发送端对用户数据进行分片，在接收端进行重组，由TCP确定分片的大小并控制分片和重组 超时重发：发送方在发送分片时启动超时定时器，如果在定时器超时之后没有收到相应的确认，重发分片 滑动窗口：TCP连接每一方的接收缓冲空间大小都固定，接收端只允许另一端发送接收端缓冲区所能接纳的数据，TCP在滑动窗口的基础上提供流量控制，防止较快主机致使较慢主机的缓冲区溢出 失序处理：作为IP数据报来传输的TCP分片到达时可能会失序，TCP将对收到的数据进行重新排序，将收到的数据以正确的顺序交给应用层 到达确认：接收端接收到分片数据时，根据分片数据序号向发送端发送一个确认 数据校验：TCP将保持它首部和数据的检验和，这是一个端到端的检验和

1.OSI七层网络模型介绍 　　OSI（Open System Interconnection，开放系统互连）七层网络模型称为开放式系统互联参考模型 ，是一个逻辑上的定义，一个规范，它把网络从逻辑上分为了7层。每一层都有相关、相对应的物理设备，比如路由器，交换机。 　　OSI七层模型是一种框架性的设计方法，建立七层模型的主要目的是为解决异种网络互连时所遇到的兼容性问题，其最主要的功能就是帮助不同类型的主机实现数据传输。它的最大优点是将服务、接口和协议这三个概念明确地区分开来，通过七个层次化的结构模型使不同的系统不同的网络之间实现可靠的通讯。 OSI七层结构图： 各层简介： 物理层（Physical Layer） ：主要定义物理设备标准，如网线的接口类型、光纤的接口类型、各种传输介质的传输速率等。它的主要作用是传输比特流（就是由1、0转化为电流强弱来进行传输,到达目的地后在转化为1、0，也就是我们常说的数模转换与模数转换），这一层的数据叫做比特，单位是bit比特。 数据链路层（Datalink Layer） ：定义了如何让格式化数据以进行传输，以及如何让控制对物理介质的访问，这一层通常还提供错误检测和纠正，以确保数据的可靠传输。交换机(二层)、网桥设备在这一层。数据链路层协议的代表包括：PPP、STP、帧中继等。 网络层（Network Layer）