网络硬件

1.地址解析协议ARP：知道一个机器的IP地址，需要找到其相应的硬件地址；ARP协议的用途是为了从网络层使用的IP地址解析出在链路层使用的硬件地址； 2.由于是IP协议使用了ARP协议，因此通常就把ARP协议划归为网络层； 3.网络层使用的IP地址，但在实际网络的链路上传送数据帧时，最终还是必须使用该网络的硬件地址； 4.地址解析协议ARP解决IP地址和硬件地址的映射问题方法： **在主机ARP高速缓存区中应存放一个从IP地址到硬件地址的映射表； **当A主机要向本局域网上的某个主机B发送IP数据报时，就先在其ARP高速缓存中查看有无主机B的IP地址；如有，就在ARP高速缓存中查出其对应的硬件地址，再把这个硬件地址写入MAC帧，然后通过局域网把该MAC帧发往此硬件地址； **当A主机高速缓存是空的，或者B主机才入网，这种情况下，A主机就自动运行ARP，按照以下方式步骤找出主机B的硬件地址： ①ARP进程在本局域网上广播发送一个ARP请求分组：我的IP地址是.....，硬件地址是.....，我想知道IP地址.....的主机的硬件地址； ②在本局域网上的所有主机上运行的ARP进程都收到此ARP请求分组； ③主机B的IP地址与ARP请求分组中要查询的IP地址一致，就收下这个ARP请求协议，并向主机A发送ARP响应分组，并在这个响应分组中写入自己的硬件地址；虽然，ARP请求分组是广播发送的

前言 网络层是OSI参考模型中的第三层，同时也是TCP/IP模型的第二层。它介于传输层和数据链路层之间，它在数据链路层提供的两个相邻端点之间的数据帧的传送功能上，进一步管理网络中的数据通信，将数据设法从源端经过若干个中间节点传送到目的端，从而向运输层提供最基本的端到端的数据传送服务。主要内容有：虚电路分组交换和数据报分组交换、路由选择算法、阻塞控制方法、X.25协议、综合业务数据网（ISDN）、异步传输模式（ATM）及网际互连原理与实现。 一、功能目的 网络层的目的是实现两个端系统之间的数据透明传送，具体功能包括寻址和路由选择、连接的建立、保持和终止等。它提供的服务使传输层不需要了解网络中的数据传输和交换技术。 网络层提供的两种服务： 1.网络层向上只提供简单灵活的、无连接的、尽最大努力交付的数据报服务，以及每一个分组独立交付的策略。 2.网络层不提供服务质量的承诺。 虚电路服务与数据报服务的对比： 二、网际协议IP 网际协议IP是TCP/IP体系中两个最主要的协议之一，同时IP协议也是最重要的互联网标准协议之一。 与IP协议配套使用的还有三个协议： （1）地址解析协议 ARP（ address resolution protocol ） （2）网际控制报文协议 ICMP（ internet control message protocol ） （3）网际组管理协议 IGMP（

某厂面试归来，发现自己落伍了！>>> 前言 从字面意义上讲，有人可能会认为TCP/IP是指TCP和IP两种协议。实际生活当中有时也确实就是指这两种协议。然而在很多情况下，它只是利用IP进行通信时所必须用到的协议群的统称。具体来说，IP或ICMP、TCP或UDP、TELNET或FTP、以及HTTP等都属于TCP/IP协议。 该文章主要为《TCP-IP详解卷1：协议》归纳笔记 1. 网络的分层 网络协议通常分不同层次进行开发，每一层分别负责不同的通信功能。一个协议族，比如TCP/IP，是一组不同层次上的多个协议的组合。TCP/IP通常被认为是一个四层的协议系统。 链路层 有时也称作 数据链路层或网络接口层 ，通常包括操作系统中的设备驱动程序和计算机中对应的网络接口卡。它们一起处理与电缆（或其他任何传输媒介）的物理接口细节。 网络层 有时也称作互联网层，处理分组在网络中的活动，例如分组的选路。在TCP/IP协议族中，网络层协议包括 IP 协议（网际协议）， ICMP协议 （Internet互联网控制报文协议），以及 IGMP协议 （Internet组管理协议）。 运输层 主要为两台主机上的应用程序提供端到端的通信。在TCP/IP协议族中，有两个互不相同的传输协议： TCP（传输控制协议）和UDP（用户数据报协议）。 TCP为两台主机提供高可靠性的数据通信

近年来随着Internet/Intranet的迅猛发展和B/S计算模式的广泛应用，跨地域、跨网络的业务急剧增长，业界和用户深感传统的路由器在网络中的瓶颈效应。 而三层交换机既可操作在网络协议的第三层，起到路由决定的作用，又具有几乎达到第二层交换的速度，且价格相对较低。 一时间，三层交换机将取代路由器成为网络界最流行的话题。但事实果真如此吗？ 传统的路由器在网络中有路由转发、防火墙、隔离广播等作用，而在一个划分了VLAN以后的网络中，逻辑上划分的不同网段之间通信仍然要通过路由器转发。 由于在局域网上，不同VLAN之间的通信数据量很大，这样，如果路由器要对每一个数据包都路由一次，随着网络上数据量的不断增大，它将成为瓶颈。而第三层交换技术就是将路由技术与交换技术合二为一的技术。 在对第一个数据流进行路由后，它将会产生一个MAC地址与IP地址的映射表，当同样的数据流再次通过时，将根据此表直接从二层通过而不是再次路由，从而消除了路由器进行路由选择而造成网络的延迟，提高了数据包转发的效率。 路由器的转发采用最长匹配的方式，实现复杂，通常使用软件来实现。而三层交换机的路由查找是针对流的，它利用CACHE技术，很容易采用ASIC实现，因此，可以大大节约成本，并实现快速转发。 但从技术上讲，路由器和三层交换机在数据包交换操作上存在着明显区别。路由器一般由基于微处理器的引接执行数据包交换

将工作负载转移到云平台并不容易。但并不是所有的工作负载都能从云迁移中受益，因此需要首先制定一个可靠的云迁移策略。 云计算的吸引力似乎使企业的所有资源都应该立即迁移。诚然，在某些情况下，公共云平台可以带来巨大的好处。但在其他情况下，云迁移可能没有任何意义。 企业需要认真考虑他们在基础设施方面的现有投资，从硬件到应用程序组合再到网络架构，以确定云迁移是否有益。这里探讨了三个步骤，它们将指导企业云迁移计划，并帮助确定是否将内部工作负载转移到公共云。 1.评估当前的基础设施 作为云迁移过程的一部分，首先要考虑的因素之一是公司现有的数据中心投资。它不仅涉及许可成本，还涉及与硬件资源消耗和支持基础设施相关的成本。因此，始终存在与本地服务器相关的重大投资。将服务器数据或功能外包到云平台可能意味着放弃公司的内部投资，除非公司可以重用这些服务器。 尽管这种云迁移改进和迁移的方法对于在本地数据中心进行重大投资的公司来说可能在财务上并不重要，但公司仍然可以从将一些本地资源迁移到云平台中获益。 不管你的服务器硬件有多好，它最终都会过时。传统上，公司采取硬件生命周期策略来应对。例如，企业可能会选择在五年后逐步淘汰服务器。尽管如此，云计算服务路线图可以集成到其硬件生命周期战略中。通过这种方式，IT团队可以将本地资源迁移到云平台，而无需将其应用在内部部署数据中心更新的硬件中。 对于小型企业和初创企业来说

在介绍交换机和路由器之前先介绍两个概念：数据交换、路由。 数据交换：指在多个终端设备之间为任意两个终端设备建立数据通信临时互连的过程。 路由：指分组从源到目的地时，决定端到端路径的网络范围的过程。 路由器与交换机主要区别体现在以下几个方面： 1、工作层次不同 最初的的交换机是工作在OSI/RM开放体系结构的数据链路层，也就是第二层，而路由器一开始就设计工作在OSI模型的网络层。由于交换机工作在链路层，所以它的工作原理比较简单，而路由器工作在网络层，可以得到更多的协议信息，可以做出更加智能的转发决策。 2、数据转发所依据的对象不同 交换机是利用物理地址或者说MAC地址来确定转发数据的目的地址。而路由器则是利用不同网络的ID号（即IP地址）来确定数据转发的地址。IP地址是在软件中实现的，描述的是设备所在的网络，有时这些第三层的地址也称为协议地址或者网络地址。MAC地址通常是硬件自带的，由网卡生产商来分配的，而且已经固化到了网卡中去，一般来说是不可更改的。而IP地址则通常由网络管理员或系统自动分配。 3、传统的交换机只能分割冲突域，不能分割广播域；而路由器可以分割广播域 由交换机连接的网段仍属于同一个广播域，广播数据包会在交换机连接的所有网段上传播，在某些情况下会导致通信拥挤和安全漏洞。连接到路由器上的网段会被分配成不同的广播域，广播数据不会穿过路由器

　　首先，我们应该明白一个东西，凡是能上网的设备都是有调制解调器的，比如手机，电脑，平板电脑，甚至路由器。。。 　　其次，网络数据传输的两大方式：1。通过电话线（现在指的是光缆），适合远距离传输，如连接光猫的就是　　2.通过无线信号，如移动或者信号塔覆盖范围内都可连接4g(即将推出5g),但由于无线电波在传输过程中容易丢失数据，故一般都是近距离传输。 　　故此，调制解调器应分两种：有线的和无线的，有线的如光猫等；无线的就多了，可以连接无线网的都有无线调制解调器，如无线网卡，手机，路由器等。 （注：以下所述的计算机是广义上的具有计算功能的机器设备或者说网络通讯终端） 　　调制解调器是一种计算机硬件，它能把计算机的数字信号翻译成可沿电话线传送的模拟信号（光猫——将数字电子信号转换成光信号，也可以是将数字信号翻译成无线网信号，不过一般都是近距离传输，远距离传输还是要靠电话线【光缆或者电缆】），而这些模拟信号又可被线路另一端的调制解调器接收，并翻译成计算机可懂的语言，这一简单过程完成了两台计算机之间的通信。 调制解调：既可将数字信号（计算机二进制语言）调制成模拟信号，又可将模拟信号（光信号或者无线网信号【波】）解调成数字信号。 　　故调制解调器又被称为模拟信号和数字信号的“翻译员”！ 来源： https://www.cnblogs.com/wsw-blog/p/10483848.html

调优概述 # 几乎在很多场景,MapRdeuce或者说分布式架构,都会在IO受限,硬盘或者网络读取数据遇到瓶颈.处理数据瓶颈CPU受限.大量的硬盘读写数据是海量数据分析常见情况. IO受限例子： 索引 分组 数据倒入导出 数据移动和转换 CPU受限例子： 聚类/分类 复杂的文本挖掘 特征提取 用户画像 自然语言处理 我们需要从硬件规划和软件规划等多方面结合实现性能和效率的提升。 硬件规划 # 评估集群规模 # 我们需要搭建多少节点的hadoop集群？回答这个问题考虑的因素比较多：预算？数据量？计算资源？ 需要多少计算资源可能不是特别好评估，推荐横向扩展，随业务规模和应用发展再考虑扩展。开始可以就按照数据量来评估数据规模，估计一下每天的数据增量？保存数据的周期是多少？有没有冷数据方案？ 假设每天增长的数据为600G、3备份存储，以一年规划为例,大概存储为600G 3 360天=633T, 再考虑增加%20的预留，考虑未来数据增长的趋势，考虑应用计算等空间需求。为节省空间可考虑压缩存储（大概可以节省70%空间）。 同时考虑一定冗余量，如果集群一部分节点不可用也要保证业务正常使用（根据集群规模评估冗余比例）。 然后结合节点硬件规划和预算，确定集群规模。假如我们需要650T存储，可以采用30台12 x 2TB的存储配置或者 60台6 x 2TB配置，但是节点数量翻翻

软件开发的架构 我们了解的涉及到两个程序之间通讯的应用大致可以分为两种： 第一种是应用类：qq、微信、网盘、优酷这一类是属于需要安装的桌面应用 第二种是web类：比如百度、知乎、博客园等使用浏览器访问就可以直接使用的应用 这些应用的本质其实都是两个程序之间的通讯。而这两个分类又对应了两个软件开发的架构～ C/S架构 C/S即：Client与Server ，中文意思：客户端与服务器端架构，这种架构也是从用户层面（也可以是物理层面）来划分的。 这里的客户端一般泛指客户端应用程序EXE，程序需要先安装后，才能运行在用户的电脑上，对用户的电脑操作系统环境依赖较大。 B/S架构 B/S即：Browser与Server,中文意思：浏览器端与服务器端架构，这种架构是从用户层面来划分的。 Browser浏览器，其实也是一种Client客户端，只是这个客户端不需要大家去安装什么应用程序，只需在浏览器上通过HTTP请求服务器端相关的资源（网页资源），客户端Browser浏览器就能进行增删改查。 计算机网络的发展及基础概念 问题：网络到底是什么？计算机之间是如何通信的？ 早期：联机 以太网局域网交换机 广播 主机之间“一对所有”的通讯模式，网络对其中每一台主机发出的信号都进行无条件复制并转发，所有主机都可以接收到所有信息（不管你是否需要），由于其不用路径选择，所以其网络成本可以很低廉

本文转自 https://blog.csdn.net/caodao2015/article/details/100955837 一原理 1在讲静态路由之前我们先来讲讲路由表： 路由表的定义： 1.路由器中维护的路由条目的集合 2.路由器根据路由表做路径选择 路由表的形成 直连网段：配置IP地址，端口为UP状态，形成直连路由 非直连网段：自己身上的是直连网段，别人身上的是非直连网段 2静态路由 静态路由，一种路由的方式，路由项由手动配置，而非动态决定。与动态路由不同，静态路由是固定的，不会改变，即使网络状况已经改变或是重新被组态。一般来说，静态路由是由网络管理员逐项加入路由表。 1.优点： 使用静态路由的好处是网络安全保密性高。动态路由因为需要路由器之间频繁地交换各自的路由表，而对路由表的分析可以揭示网络的拓扑结构和网络地址等信息。因此，网络出于安全方面的考虑也可以采用静态路由。不占用网络带宽，因为静态路由不会产生更新流量。 2.缺点 大型和复杂的网络环境通常不宜采用静态路由。一方面，网络管理员难以全面地了解整个网络的拓扑结构；另一方面，当网络的拓扑结构和链路状态发生变化时，路由器中的静态路由信息需要大范围地调整，这一工作的难度和复杂程度非常高。当网络发生变化或网络发生故障时，不能重选路由，很可能使路由失败。 3默认路由 默认路由，是对IP数据包中的目的地址找不到存在的其他路由时