tds

程序来源：中国大学MOOC网《 网络爬虫与信息提取课程 》。 程序目的：获取 大学排名网页 内容，并格式化输出。 读懂以下程序需提前了解requests库和BeautifulSoup库，在《 网络爬虫与信息提取课程 》有提供相关知识。 from bs4 import BeautifulSoup import bs4 import requests def getHTMLText(url): try: r = requests.get(url) # 得到的r是一个包含服务器资源的Response对象 r.raise_for_status() # 如果状态码不是200，则抛出异常 r.encoding = r.apparent_encoding return r.text except: return '' def fillUnivList(ulist, html): soup = BeautifulSoup(html, 'html.parser') # 解析html文档的内容 for tr in soup.find('tbody').children: # 循环遍历'tbody'标签中的所有儿子标签或字符串 if isinstance(tr, bs4.element.Tag): # 如果是标签 tds = tr('td') # 找到该标签下的所有'td'标签，返回形式为列表

“中国最好大学定向爬取”实例 定向爬虫：仅对输入的URL进行爬取，不扩展爬取 三个模块： 1、 从网页上获取大学排名网页内容 getHTMLText() 2、 提取网页内容的信息到合适的数据结构中 fillUnivList() 3、 立用数据结构展示并输出结果 printUnivList() 两个要点： 1、requests-bs4进行定向爬虫 2、打印中的 中英文混排 中文字符的空格填充 chr(12288) import requests from bs4 import BeautifulSoup import bs4 ## 爬取网页内容 def getHTMLText(url): try: r = requests.get(url,timeout=30) r.raise_for_status() r.encoding = r.apparent_encoding return r.text except: return '' ## 将网页内容存储到列表中 def fillUnivList(ulist,html): soup = BeautifulSoup(html,'html.parser') for tr in soup.find('tbody').children: ##查找页面中的‘tbody’标签，并遍历其孩子 if isinstance(tr,bs4.element

Python爬虫--2019大学排名数据抓取 准备工作 输入：大学排名URL连接 输出：大学排名信息屏幕输出 所需要用到的库：requests，bs4 思路 获取网页信息 提取网页中的内容并放到数据结构中 利用数据结构展示并输出结果 程序设计 定义函数getHTMLText()获取网页信息 定义函数UnivList()放入数据结构 定义函数printUnivList()输出到屏幕 总体而言： 写出需要自定义的函数，制作出总体的框架 写出主函数框架，实现功能 最后调用函数 步骤 查看url源代码 分析源代码，查看需要爬取的内容在什么位置 从图片中可以看出，排名信息是在 <tbody> 标签 具体的信息是在 <tr> 标签下的 <td> 标签内的string 定义函数getHTMLText def getHMLText(url): ''' 获取url信息，输出url的内容，来抓取网页的信息 ''' try: r = request.get(url, timeout=30) r.raise_for_status() r.encoding = r.apparent_encoding return r.text except: return "抓取失败！" 定义函数UnivList() def UnivList(ulist, html): ''' 提取html中的数据，放入到ulist列表

内容整理自中国大学MOOC——北京理工大学-蒿天-Python网络爬虫与信息提取 相关实战章节 我们预爬取的url如下 http://www.zuihaodaxue.cn/zuihaodaxuepaiming2019.html 网页节选 在浏览器中读取网页源代码 可以 发现表格数据信息是直接写入HTML页面信息中，所以我们可以直接采取定向爬虫操作。 我们的整体设计思路如下： 1.从网络上获取大学排名网络内容 2.提取网页内容中信息到合适的数据结构 3.利用数据结构展示并输出结果 仔细观察可以发现，HTML的结构中，每个<tr>标签包含一所大学的全部信息，而一组<tr>内，大学的校名、省市、名次等信息由<td>标记 所有<tr>均为<tbody>的子节点 根据设计思路几网页结构信息，代码如下 1 import requests 2 from bs4 import BeautifulSoup 3 import bs4 4 5 def getHTMLText(url): #获取url信息 6 try: 7 r = requests.get(url,timeout = 30) 8 r.raise_for_status() 9 r.encoding = r.apparent_encoding 10 return r.text 11 except: 12 return "" 13 14 def

import requests from bs4 import BeautifulSoup import bs4 url = "http://www.zuihaodaxue.cn/zuihaodaxuepaiming2019.html" ulist = [] # 获取HTML页面 def getHTML(url): try: r = requests.get(url, timeout=30) r.raise_for_status() r.encoding = r.apparent_encoding return r.text except: print("异常") return "" # 提取排名信息 def getUniv(ulist, html): soup = BeautifulSoup(html, "html.parser") for tr in soup.tbody.children: if isinstance(tr, bs4.element.Tag): # tr是bs4语句 tds = tr('td') ulist.append( [tds[0].string, tds[1].string, tds[2].string, tds[3].string]) return ulist # 输出排名信息 def readUniv(ulist): s = eval(input(

参考文献： netmon中解析非1433端口的TDS协议 TDS的解析 在前面一篇博客 netmon中解析非1433端口的TDS协议 中我们提到了netmon如何去解析非1433端口的TDS。我们是通过在tcp.npl这个文件中添加命名实例的tcp端口号，让该端口的tcp包跳转到tds.npl中去解析。下面我们来看一下tds.npl中有哪些内容呢？首先我看到在tds.npl中定义了一个 TDSPacketTypeTable： View Code Table TDSPacketTypeTable( value ) { switch( value ) { case 0x01: "SQLBatch"; case 0x02: "PreTDS7Login"; case 0x03: "RPCRequest"; case 0x04: "Response"; case 0x06: "Attention"; case 0x07: "BulkLoadBCP"; case 0x0E: "TransMgrReq"; case 0x10: "Login7"; case 0x11: "SSPIMessage"; case 0x12: "Prelogin"; case 0x17: "SSL"; default: "Undefined"; } } 这里面的这些值是不是很熟悉？是的，这些就是我们TDS包的名字