搜索引擎基本工作原理

一、爬虫的定义 定义：程序或者脚本，自动爬取万维网的数据的程序或者脚本 二、爬虫可以解决的问题 解决冷启动的问题 搜索引擎的根基，（通用爬虫） 帮助机器学习建立知识图谱 制作各种比价软件 三、爬虫工程师 初级爬虫工程师 web前端的知识：HTML、CSS、JavaSc1ipt、 DOM、 DHTML 、Ajax、jQuery、json 等； 正则表达式， 能提取正常一般网页中想要的信息，比如某些特殊的文字， 链接信息， 知道什么是懒惰， 什么是贪婪型的正则； 会使用 XPath 等获取一些DOM 结构中的节点信息； 知道什么是深度优先， 广度优先的抓取算法， 及实践中的使用规则； 能分析简单网站的结构， 会使用urllib或requests 库进行简单的数据抓取。 中级爬虫工程师 了解什么是Hash，会简单的使用MD5，sha1等算法对数据进行Hash一遍存储 熟悉HTTP，HTTPS协议的基础知识，了解GET，POST方法，了解HTTP头中的信息，包括返回状态码，编码，user-agent，cookie，session等 能设置user-agent进行数据爬取，设置代理等 知道什么是Request，什么是response，会使用Fiddler等工具抓取及分析简单地网络数据包；对于动态爬虫，要学会分析ajax请求，模拟制造post数据包请求，抓取客户端session等信息

| 0 什么是全文搜索 什么是全文搜索引擎？ 百度百科中的定义 ： 全文搜索引擎是目前广泛应用的主流搜索引擎。它的工作原理是计算机索引程序通过扫描文章中的每一个词，对每一个词建立一个索引，指明该词在文章中出现的次数和位置，当用户查询时，检索程序就根据事先建立的索引进行查找，并将查找的结果反馈给用户的检索方式。这个过程类似于通过字典中的检索字表查字的过程。 从定义中我们已经可以大致了解全文检索的思路了，为了更详细的说明，我们先从生活中的数据说起。 我们生活中的数据总体分为两种： 结构化数据 和 非结构化数据 。 结构化数据 ： 指具有固定格式或有限长度的数据，如数据库，元数据等。 非结构化数据 ： 非结构化数据又可称为全文数据，指不定长或无固定格式的数据，如邮件，word文档等。 当然有的地方还会有第三种： 半结构化数据 ，如XML，HTML等，当根据需要可按结构化数据来处理，也可抽取出纯文本按非结构化数据来处理。 根据两种数据分类，搜索也相应的分为两种：结构化数据搜索和非结构化数据搜索。 对于结构化数据，我们一般都是可以通过关系型数据库(mysql，oracle等)的 table 的方式存储和搜索，也可以建立索引。 对于非结构化数据，也即对全文数据的搜索主要有两种方法： 顺序扫描法 ， 全文检索 。 顺序扫描 ：通过文字名称也可了解到它的大概搜索方式

网络爬虫技术总结 http://mp.weixin.qq.com/s?__biz=MzI3MTI2NzkxMA==&mid=2247484132&idx=1&sn=8db587fabc3c630decf0419b6130770e&scene=23&srcid=0720ZByjAlOM9YC5c76N9uKU#rd 　　对于大数据行业，数据的价值不言而喻，在这个信息爆炸的年代，互联网上有太多的信息数据，对于中小微公司，合理利用爬虫爬取有价值的数据，是弥补自身先天数据短板的不二选择，本文主要从爬虫原理、架构、分类以及反爬虫技术来对爬虫技术进行了总结。 1、爬虫技术概述 网络爬虫(Web crawler)，是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本，它们被广泛用于互联网搜索引擎或其他类似网站，可以自动采集所有其能够访问到的页面内容，以获取或更新这些网站的内容和检索方式。从功能上来讲，爬虫一般分为数据采集，处理，储存三个部分。 传统爬虫从一个或若干初始网页的URL开始，获得初始网页上的URL，在抓取网页的过程中，不断从当前页面上抽取新的URL放入队列,直到满足系统的一定停止条件。聚焦爬虫的工作流程较为复杂，需要根据一定的网页分析算法过滤与主题无关的链接，保留有用的链接并将其放入等待抓取的URL队列。然后，它将根据一定的搜索策略从队列中选择下一步要抓取的网页URL

爬虫（爬虫原理与数据抓取） 通用爬虫和聚焦爬虫 根据使用场景，网络爬虫可分为 通用爬虫 和 聚焦爬虫 两种. 通用爬虫 通用网络爬虫 是 捜索引擎抓取系统（Baidu、Google、Yahoo等）的重要组成部分。主要目的是将互联网上的网页下载到本地，形成一个互联网内容的镜像备份。 通用搜索引擎（Search Engine）工作原理 通用网络爬虫 从互联网中搜集网页，采集信息，这些网页信息用于为搜索引擎建立索引从而提供支持，它决定着整个引擎系统的内容是否丰富，信息是否即时，因此其性能的优劣直接影响着搜索引擎的效果。 第一步：抓取网页 搜索引擎网络爬虫的基本工作流程如下： 首先选取一部分的种子URL，将这些URL放入待抓取URL队列； 取出待抓取URL，解析DNS得到主机的IP，并将URL对应的网页下载下来，存储进已下载网页库中，并且将这些URL放进已抓取URL队列。 分析已抓取URL队列中的URL，分析其中的其他URL，并且将URL放入待抓取URL队列，从而进入下一个循环… 搜索引擎如何获取一个新网站的URL： 新网站向搜索引擎主动提交网址：（如百度http://zhanzhang.baidu.com/linksubmit/url） 在其他网站上设置新网站外链（尽可能处于搜索引擎爬虫爬取范围） 搜索引擎和DNS解析服务商(如DNSPod等）合作，新网站域名将被迅速抓取。

介绍几本搜索引擎的书给大家 我觉得要想研究搜索引擎，以下三本是目前为止最好的书，我们期待有更好的书以飨读者，我也将为你做些引介。我后面还会为大家介绍些 关于无线搜索方面的书，请大家多多关注。 1、书名：开发自己的搜索引擎 Lucene 2.0+Heritrix-(附光盘) 作 者：邱哲 【内容简介】 本书详细介绍了如何应用Lucene进行搜索引擎开发，通过学习本书，读者可以完成构建一个企业级的搜索引擎网站。. 全书共分为14章，内容包括搜索引擎与信息检索基础，Lucene入门实例，Lucene索引的建立，使用Lucene构建搜索，Lucene的排序，Lucene的分析器，对Word、Excel和PDF格式文档的解析，Compass搜索引擎框架，Lucene分布式和Google Search API，爬虫Heritrix，综合实例之准备篇，综合实例之HTMLParser篇，综合实例之DWR篇，综合实例之Web编。.. 本书是国内第一本使用Lucene和Heritrix来讲解搜索引擎构建的书，通过详细的对API和源代码的分析，力求使读者在应用的基础上，能够深入其核心，自行扩展和开发相应组件，发挥想象力，开发出更具有创意的搜索引擎产品。本书适合Java程序员和从事计算机软件开发的其他编程人员阅读，同时也可以作为搜索引擎爱好者的入门书籍。 由于目前市面上从技术层面介绍搜索引擎的书并不多

根据使用场景，网络爬虫可分为 通用爬虫 和 聚焦爬虫 两种. 通用爬虫 通用网络爬虫 是 捜索引擎抓取系统（Baidu、Google、Yahoo等）的重要组成部分。主要目的是将互联网上的网页下载到本地，形成一个互联网内容的镜像备份。 通用搜索引擎（Search Engine）工作原理 通用网络爬虫 从互联网中搜集网页，采集信息，这些网页信息用于为搜索引擎建立索引从而提供支持，它决定着整个引擎系统的内容是否丰富，信息是否即时，因此其性能的优劣直接影响着搜索引擎的效果。 第一步：抓取网页 搜索引擎网络爬虫的基本工作流程如下： 首先选取一部分的种子URL，将这些URL放入待抓取URL队列； 取出待抓取URL，解析DNS得到主机的IP，并将URL对应的网页下载下来，存储进已下载网页库中，并且将这些URL放进已抓取URL队列。 分析已抓取URL队列中的URL，分析其中的其他URL，并且将URL放入待抓取URL队列，从而进入下一个循环.... 索引擎如何获取一个新网站的URL： 1. 新网站向搜索引擎主动提交网址：（如百度 http://zhanzhang.baidu.com/linksubmit/url ） 2. 在其他网站上设置新网站外链（尽可能处于搜索引擎爬虫爬取范围） 3. 搜索引擎和DNS解析服务商(如DNSPod等）合作，新网站域名将被迅速抓取。

1.<meta> 元素可提供有关页面的元信息（meta-information），比如针对 搜索引擎 和更新频度的描述和关键词。<meta> 标签位于文档的头部，不包含任何内容。 2.<meta> 标签的属性定义了与文档相关联的名称/值对。 3.常见的代码： <meta http-equiv="content-Type" content="text/html; charset=gb2312" > <meta http-equiv="X-UA-Compatible" content="IE=edge" />； <meta name ="keywords" content="science,education,culture,politics,ecnomics,relationships,entertainment,human"> 即：<meta> 标签永远位于 head 元素内部。元数据总是以名称/值的形式被成对传递的。 4.meta标签共有两个属性，它们分别是http-equiv属性和name属性，不同的属性又有不同的参数值，这些不同的参数值就实现了不同的网页功能。 一. name属性 name属性主要用于描述 网页 ，与之对应的 属性值 为content，content中的内容主要是便于搜索引擎机器人查找信息和分类信息用的。 meta标签的name属性语法格式是：<meta

搜索引擎依靠自己的程序扫描整个互联网上的网页，这个扫描程序的蜘蛛，主要工作就是去收集各种网页，努力的带回大量的信息，把这个信息放到蜘蛛的原始数据库后，基本上是无序的，用户提出搜索请求的时候，才会对这些信息进行加工，然后把加工好的网页再提供给用户，如果信息不进行加工，而只是简单的呈现给用户，那么用户要想找到自己想要的东西就会很困难，就没有办法满足用户的需求了。 比如广大的用户在百度的搜索框里面输入牛肉价格这个关键词后,搜索弓|擎就要开始以飞速开始工作了，正确在几百万分之-秒的时间里面给大家提供有关牛肉价格的信息结果出来。 百度如果是把自己收集到的网页通过临时的计算然后再反馈给用户时间远远不止这么多，因为我们往往搜索一个关键词的时候会出现很多的页面，因此搜索弓|擎在内容索引和结构索引的过程中都会有个预备计算,如果在搜索引擎执行了计算之后在过去如果出现和牛肉价格这个关键词排名条件的网页太多的时候往往就会出现网页报析错误或者其他的提示来，现在这个问题已经解决了，就是把相关的网页信息提供到现在专有的排名程序，然后请排名程序将相关的信息按照和关键词最相关的和不相关的顺序进行排列，排名程序于是就能够从预备计算过的索引里面进行排列，大大缩短了计算的时间，从而能够迅速的提供一份综合的排名给用户。 搜索引擎的工作原理，并非要学习原理本身的纯理论，而是要学习根据这些理论，得出SEO的指导

　　做过网站优化的朋友都知道，搜索引擎蜘蛛爬行抓取网站时首先会去访问根目录下的robots.txt文件，如果robots文件存在，则会根据robots文件内设置的规则进行爬行抓取，如果文件不存在则会顺着首页进行抓取，那么robots文件的工作原理是什么呢？如何对robots.txt文件进行设置。 　　robots.txt是一个纯文本的文件，文件的名字必须全部小写，并且放置在网站的根目录下面，通过文件中的规则声明网站哪些内容不想被搜索引擎蜘蛛抓取收录，或者指定某个搜索引擎不能收录robots.txt也叫做爬虫协议，遵循爬虫协议的搜索引擎蜘蛛，都会根据协议的内容对网站进行爬虫抓取的。 一、什么是robots.txt？ 　　 这是一个文本文件，是搜索引擎爬行网页要查看的第一个文件，你可以告诉搜索引擎哪些文件可以被查看，哪些禁止。 　　当搜索机器人访问一个站点时，它首先会检查根目录是否存在robots.txt，如果有就确定抓取范围，没有就按链接顺序抓取。 二、robots.txt有什么用？ 　　为何需要用robots.txt这个文件来告诉搜索机器人不要爬行我们的部分网页，比如：后台管理文件、程序脚本、附件、数据库文件、编码文件、样式表文件、模板文件、导航图片和背景图片等等。说到底了，这些页面或文件被搜索引擎收录了，用户也看不了，多数需要口令才能进入或是数据文件。既然这样

版权声明：转载请注明出处！ https://blog.csdn.net/qq_35993946/article/details/88087827 这是博主我大学期间写的课程设计，希望能对看这篇博客的你有所帮助。 课程设计主要要求如下： 结合本学期《信息检索与搜索引擎技术》课程教学内容，利用网络爬虫技术、文档倒排索引技术、向量空间模型技术、检索排序技术，编写一个搜索引擎系统，系统能够实现根据输入关键词检索出与查询关键词相关的文档，并写出对应的程序设计及实现报告。具体要求如下： 利用网络爬虫技术编写程序实现从互联网中动态爬去网页数据； 利用分词工具（如ICTCLAS、结巴分词等）实现对爬取的文本进行分词，并建立倒排索引； 利用向量空间模型对分词后的文本及查询文本进行向量化表示，并计算查询向量和文档向量之间的相似性； 利用BM25算法、统计语言模型方法、或PageRank算法计算查询文本与文档之间的相关度得分，并根据相关度得分对文档进行排序。 目录 一、 系统概述 1.1搜索引擎概述 1.2本搜索引擎概述 二、 系统需求分析 2.1云南旅游业分析 2.2系统可行性分析 三、算法原理及程序实现 3.1系统架构设计 3.2网络爬虫 3.2.1网络爬虫简介 3.2.2网页分析 3.3结巴分词并建立索引 3.3.1结巴分词简介 3.3.2倒排索引原理 3.3.3程序实现 3.4向量空间模型 3