adsl

前一两年抓过某工商信息网站，几三周时间大约抓了过千万多万张页面。那时由于公司没啥经费，报销又拖得很久，不想花钱在很多机器和带宽上，所以当时花了较多精力研究如何让一台爬虫机器达到抓取极限。 Python爬虫这两年貌似成为了一项必备技能，无论是搞技术的，做产品的，数据分析的，金融的，初创公司做冷启动的，都想去抓点数据回来玩玩。这里面绝大多数一共都只抓几万或几十万条数据，这个数量级其实大可不必写爬虫，使用 chrome 插件web scraper或者让selenium驱动 chrome 就好了，会为你节省很多分析网页结构或研究如何登陆的时间。 本篇只关注如何让爬虫的抓取性能最大化上，没有使用scrapy等爬虫框架，就是多线程+Python requests库搞定。 对一个网站定向抓取几十万张页面一般只用解决访问频率限制问题就好了。对机器内存，硬盘空间，URL去重，网络性能，抓取间隙时间调优一般都不会在意。 如果要设计一个单台每天抓取上百万张网页，共有一亿张页面的网站时 ，访问频率限制问题就不是最棘手的问题了，上述每一项都要很好解决才行。硬盘存储，内存，网络性能等问题我们一项项来拆解。 一、优化硬盘存储 所以千万级网页的抓取是需要先设计的，先来做一个计算题。共要抓取一亿张页面，一般一张网页的大小是400KB左右， 一亿张网页就是1亿X200KB=36TB 。这么大的存储需求

光纤，物理层 交换机，数据链路层 网络层进行升级 web服务器，应用层 osi 分层排除网络故障; 1、首先物理层开始 查找》观察发送的包 与 收到的包 有多少，计算机通信，收发故障。 2、数据链路层发生的故障 mac地址，mac地址冲突，数据链路问题 　　ADSL 故障，重启猫， ADSL拨号上网，欠费，造成数据链路层断开，数据链路层问题 　 来源： https://www.cnblogs.com/wbly2019/p/11381556.html

基于ADSL的Internet接入体系结构　作者：李华　发布时间：2001/01/08 文章摘要: 　　基于ADSL的接入网体系结构涉及多方面因素的考虑，本文提出了一种基于现成的通信协议（ATM，PPP，L2TP等）的可行的Internet接入体系结构。本文介绍了目前讨论较多的一种基于ADSL的Internet接入体系结构。 　　关键词：接入网；端到端模型；异步传送模式；点到点协议；第2层隧道协议 正文: 基于ADSL的Internet接入体系结构 　　 引言 　　ADSL技术是提供宽带服务到家庭和小公司的一种利用原有铜质双绞电话用户线的新型接入技术。它可以支持多种高速宽带应用，例如高速因特网访问、远程办公、虚拟专用网等等。传统的拨号接入数据传送技术要么不能支持这些应用，要么就是效率低下。因此目前的商家越来越趋向于ADSL技术。 　　本文介绍了目前讨论较多的一种基于ADSL的Internet接入体系结构。 1 端到端的ADSL交互网络体系结构 　　这种体系结构基于现有的标准，即PPP over ATM，选择这些标准是因为它们满足： 　　· 可实现对因特网、企业网、本地信息提供商的访问和对等实体的通信 　　· 易实现从现有的ISP内部结构的移植 　　· 可以同时连接多种服务 　　· 多协议支持 　　· 安全性 　　· 支持组播 　　· 支持多种服务类型 　　· 保证QoS （1）

物理层是所有网络的基础。物理性质给所有信道强加了两个根本限制，而这些限制决定了它们的 带宽 。 1）处理无噪声信息的尼奎斯特极限 2）处理有噪声信息的香农极限 传输介质： 1）引导性的：双绞线、同轴电缆和光纤 2）非引导性的：地面无线电、微波、红外线、激光和卫星 数字调制方式可以通过引导性和非引导性介质上的模拟信号来发送比特 大多数广域网络的关键元素是电话系统：ADSL 、PON 移动应用，1G 2G 3G 4G 5G 有线电视系统,变成混合光纤同轴电缆，从单纯的电视演进为电视和Internet。 来源： https://www.cnblogs.com/yeni/p/11338941.html

前言 文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。 作者： 王平 源自：猿人学Python PS：如有需要Python学习资料的小伙伴可以加点击下方链接自行获取 http://note.youdao.com/noteshare?id=3054cce4add8a909e784ad934f956cef 前一两年抓过某工商信息网站，几三周时间大约抓了过千万多万张页面。那时由于公司没啥经费，报销又拖得很久，不想花钱在很多机器和带宽上，所以当时花了较多精力研究如何让一台爬虫机器达到抓取极限。 本篇偏爬虫技术细节，先周知。 Python爬虫这两年貌似成为了一项必备技能，无论是搞技术的，做产品的，数据分析的，金融的，初创公司做冷启动的，都想去抓点数据回来玩玩。这里面绝大多数一共都只抓几万或几十万条数据，这个数量级其实大可不必写爬虫，使用 chrome 插件 web scraper 或者让 selenium 驱动 chrome 就好了，会为你节省很多分析网页结构或研究如何登陆的时间。 本篇只关注如何让爬虫的抓取性能最大化上，没有使用scrapy等爬虫框架，就是多线程+Python requests库搞定。 对一个网站定向抓取几十万张页面一般只用解决访问频率限制问题就好了。对机器内存，硬盘空间，URL去重，网络性能