个人认为爬虫框架分抓取框架和分析框架
1）抓取框架
.net 市面上好的似乎不多，选择要素分两种：1.轻量型，2.重量型。
1. 轻量型是可以定制一些特殊的功能或者插件开关形式。总体性能高，速度快。
自己写的webclient，httprequest,httpclient等。或者直接socket编写！
2. 重量型是可以基本模式浏览器，更加傻瓜化，也基本屏蔽了一些反爬虫机制。
如webbrower或者其他的webkit浏览器内核封装的.net框架。
如：https://github.com/cefsharp/CefSharp （.NET (WPF and Windows Forms) bindings for the Chromium Embedded Framework）
抓取的特殊功能包括：cookie支持（默认），301自动跳转，https默认支持，gzip等压缩默认支持，自动多种方式识别编码，默认模拟浏览器header，模拟css和js执行等等。
当然越是功能强大，性能越差些，但是适应各种情况的能力越强（反爬虫能力），轻量型和重量型适应的抓取场景也都不一样。
如:携程的高级手法
技术选择:
HttpHelper(作者是收费的，看了源码，其实功能也不强大；自己也能做，只是原来写的http框架源码没了，急着用暂时用下)
scrapysharp 中的ScrapingBrowser
.net HttpWebRequest 简单封装下
.net webclient 简单封装下
2）分析框架
旧技术：正则表达式
新方式: scrapysharp,HtmlAgilityPack,CsQuery 等等（还有很多）
scrapysharp：扩展自HtmlAgilityPack，非常好用。（支持css选择器方式，快速上手）
css的选择器语法:http://www.w3school.com.cn/cssref/css_selectors.asp
参考资料: http://www.cnblogs.com/arxive/p/7075306.html
示例
HtmlAgilityPack：本来就好用，但是用的时候还是要进行部分算法处理。（支持xpath方式获取，快速上手）
百度一下，资料不少。
示例
CsQuery：似乎对中文 的支持有bug，获取html的时候，中文会乱码，不知道为什么。（支持jq（jquery）方式获取，快速上手）
https://github.com/jamietre/CsQuery
示例
Csoup
.net 版本的jsoup。当然csoup的相关文档少，建议直接看jsoup的文档（也一样的）。(支持jq（jquery）的方式获取，快速上手)
地址: http://nsoup.codeplex.com/
文档:http://www.open-open.com/jsoup/
欢迎交流，一起了解爬虫技术更多知识，完善技术栈，.net 开源因你更美好。开源QQ群: .net 开源基础服务 238543768
by 车江毅
来源：https://www.cnblogs.com/chejiangyi/p/7211277.html