url格式

PHP解决搜索时在URL地址栏输入中文字符搜索结果出现乱码

女生的网名这么多〃 提交于 2020-03-26 15:36:17
3 月,跳不动了?>>> 这 个问题的出现的前提是本站代码采用utf-8格式, php空间 当页面停留在搜索页面时,在浏览器的地址栏输入中文的关键字进行搜索时会出现乱码,在网上查找资料说 明,是因为浏览器默认将url中的中文字符编码为gb2312格式,而我的程序中的文件编码是使用的utf-8的格式,所以才会出现这个问题,但是如果是 直接使用表单提交的数据就不会出现这种问题。解决办法如下,需要PHP开启mb_string支持。 if (!mb_check_encoding($word, 'utf-8')){ $word = iconv('gb2312', 'utf-8', $word); } 就是这么简单,记录下来,方便以后查找。 来源: oschina 链接: https://my.oschina.net/u/878503/blog/98949

20200311_最新爬取mzitu

拟墨画扇 提交于 2020-03-11 08:37:37
废话不多, 直接上代码, python3.6: import requests from bs4 import BeautifulSoup import os import time; import random #pip install BeautifulSoup4 -i https://pypi.douban.com/simple #pip install requests -i https://pypi.douban.com/simple # http请求头 Hostreferer = { 'Referer': 'http://www.mzitu.com', 'Upgrade-Insecure-Requests': '1', 'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36' } # 此请求头Referer破解盗图链接 Picreferer = { # 'User-Agent': 'Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1)', # 'User-Agent':'Mozilla/5.0 (Windows NT 10.0;

GO 解析json 字符串

不羁的心 提交于 2020-03-09 21:45:48
goframe 框架 // 数据格式 [{"title":"首页", "ur l":"asdasdasdas", "image_url":"fdgfdgfgfc","list_order":1},{"title":"订单", "url":"asdasdasdas", "image_url":"fdgfdgfgfc","list_order":2},{"title":"个人中心", "url":"asdasdasdas", "image_url":"fdgfdgfgfc","list_order":3}] var arr g.Array images := r.GetString("images") err = json.Unmarshal([]byte(images), &arr) if err != nil{ return err } imgList := g.List{} for _, v := range arr{ rpcId, err := genId.GetId() if err != nil{ return nil } image := gconv.Map(v) checkRes := checkImages(image) if checkRes != nil{ return checkRes } imgList = append(imgList, g.Map{ "id

JDBC连接ORACLE的三种URL格式

我是研究僧i 提交于 2020-03-06 15:57:19
使用jdbc连接oracle时url有三种格式 格式一: Oracle JDBC Thin using an SID: jdbc:oracle:thin:@host:port:SID Example: jdbc:oracle:thin:@localhost:1521:orcl 这种格式是最简单也是用得最多的 你的oracle的sid可以通过一下指令获得: sqlplus / as sysdba select value from v$parameter where name=’instance_name’; import java.sql.*; public class TestOrclConnect { public static void main(String[] args) { ResultSet rs = null; Statement stmt = null; Connection conn = null; try { Class.forName("oracle.jdbc.driver.OracleDriver"); String dbURL = "jdbc:oracle:thin:@localhost:1521:orcl"; conn = DriverManager.getConnection(dbURL, "admin2", "123"); System.out

0721复习

江枫思渺然 提交于 2020-03-05 07:56:27
要把这些内容导入自己的电脑上,下节课使用 一步步导入调用,填坑,最终在ClientSelenium.py中实例化,拉起webdriver和浏览器和打开目标url 通过本次复习收获,课堂的视频一定再看一遍并按照步骤重新搭建框架,才能把知识点真正搞明白 config.ini [Driver] chrome = E:\PageObject\driver\chromedriver.exe firefox = E:\PageObject\driver\geckodriver.exe [Url] ali_url = https://618.tmall.com baidu_url = https://www.baidu.com/ setting.py import os #E:\PageObject project_path = os.path.dirname(os.path.abspath(".")) driver_path = project_path + "\\driver" ini_path = project_path +"\\Conf\\config.ini" ReadIni.py from configparser import ConfigParser # 可以把类名重命名 as cf from Conf.setting import * from time import

服务器搭建个人图床,展示git仓库的图片

浪尽此生 提交于 2020-03-04 18:18:35
设立多location的nginx映射 原来自己的Nginx已经搭建了自己的网站,所以需要配置多个location,用第二个location来展示自己的图片,因此 location如果要一个特定的url(不是 / 的时候)要使用别名,不能用root,alias指定的目录是准确的,直接指向目标文件的物理地址 主要是要注意自己的第二个location下面一定要有对应的目录, 然后要启动图片浏览,文件下载,就必须使用 autoindex on; 需要添加的location格式如下 # 原来的网站的节点 location / { root /var/www/blog ; index index.html index.htm ; } # 为了搞自己的图床,2020年3月4日13:56:42 再来折腾 # 一定要在www建立img目录--这是你去访问才能看到绿锁,然后加入index.html才能看到内容 location /img { #img /var/www/img; # 好像只能使用alias,不然连nginx -t都过不了 alias /var/www/img ; # index index.html index.htm; autoindex on ; } 搭建git服务器并添加git-hooks 看完注意点再操作 添加githooks可以看这个

代码审计变成CTF

試著忘記壹切 提交于 2020-02-25 16:11:17
0x01 代码审计中的信息收集 一个cms代码量确实不少,通读代码耗时长,效果也不一定好.而一个功能点如果之前出过漏洞,特别是多次出现漏洞的地方,证明开发者对这个漏洞的理解不充分,很容易再次绕过补丁.这样,一整个CMS的代码审计就可以降维到一道ctf题目.特别是对于经常参加ctf的各位大佬来说,这样的代码审计更加简单休闲.我记得之前也有机构统计过,出过漏洞的地方更容易再次出现漏洞,普通CMS的开发者通常不是专业的安全人员,也不一定有专业的安全专家协助修复,再次出现漏洞的可能性就更大了. 我以github上的一个百星icms为例. icms github链接: https://github.com/idreamsoft/iCMS \ 在issue中搜索SSRF https://github.com/idreamsoft/iCMS/issues?utf8=%E2%9C%93&q=is%3Aissue+ssrf 在cve列表中查找,应该对应的就是这三个cve了 可以看到这个功能点已经出现了三次的绕过与过滤. 大致了解下这个功能点,是一个自动更新文章的爬虫,多处都可以控制url参数. 点开issue查看具体信息,我们从最早出现漏洞的版本看起. 通过查看具体的commits,可以找到开发者修复漏洞的思路.这给我们代码审计带来很大的便利. CVE-2018-14514 漏洞分析 commit:

爬虫 request库

醉酒当歌 提交于 2020-02-13 11:02:05
reponse对象属性: r.status_code HTTP请求的返回状态,200表示连接成功,404表示失败 r.text HTTP响应内容的字符串形式,即,url对应的页面内容 r.encoding 从HTTP header中猜测的响应内容的编码方式 r.apparent_encoding 从内容中分析出响应内容编码方式 r.content HTTP响应内容的二进制形式 request库连接异常 requests.ConnectionError 网络连接错误异常,如DNS查询失败、拒绝连接等 requests.HTTPError HTTP错误异常 requests.URLRequired URL缺失异常 requests.TooManyRedicects 超过最大重定向次数,产生重定向异常 requests.ConnectTimeout 连接远程服务器超时异常 requests.Timeout 请求URL超时,产生超时异常 requests.raise_for_status() 如果不是200,产生异常requests.HTTPError request库7个主要方法: requests.request() 构造一个请求,支撑以下各方法的基础方法 requests.request(method,url,**kwargs) method:请求方式,对应get/put/post

mitmproxy抓取pc接口及数据处理

喜你入骨 提交于 2020-01-26 01:17:55
前边已经写好了一个请求对象和返回对象,但是大家是否发现,即使我们通过一系列处理之后,好像还是没有得到我们想要的,我们现在仅仅是说吧这个东西运用于监听或者说抓包,也就是在我们的测试过程中,而且测试过程中更多的是用于我们内部的http或者说其他移动端,现在想测试我们web端的接口行不行呢,答案是,当然不行的,因为没有设置代理,那么怎么在web端设置代理呢,这里就需要简单进行一个设置 其实这里就可以抓取到数据了,但是肯定告诉你不安全,安装个证书即可,浏览器mitm.it,安装windows证书,一顿下一步,密码为空,然后就会出现下图,操作浏览器,例如百度 各种八卦出现,抓取pc接口成功,这时候整体就已经能都串联起来了,不过还是存在一定的问题,如果测接口时,我就想抓某个url的地址,因为我在测接口或者调试的时候不可能只有url,特别是浏览器会有很多其他的东西存在,咋整? 可见,上边我们已经拿到了request的url,那么我们可不可以使用与response的url呢,也就是说我下载拿request的url无外乎我们调试的时候request——url下的响应数据,更新代码 from mitmproxy import http class GetData(object): def request(self,flow): request_data = flow.request self

爬取小说

痞子三分冷 提交于 2020-01-01 15:39:22
爬取小说 1.分析网址结构 2.代码实现 3.结果显示 1.分析网址结构 由上可知小说的网址。然后分析章节的地址。 分析文本具体位置 2.代码实现 # 用于获取网页的html from urllib import request # 用于解析html from bs4 import BeautifulSoup import re # 得到网页的html def getHtml ( url ) : url = url res = request . urlopen ( url ) res = res . read ( ) . decode ( ) # print ( res ) return res # 解析小说章节页面 , 获取所有章节的子链接 def jsoupUrl ( html ) : # 获取soup对象 url_xiaoshuo = BeautifulSoup ( html ) # 因为我们要拿取 class 为box1中的div class_dict = { 'target' : '_blank' } url_xiaoshuo = url_xiaoshuo . find_all ( 'a' , attrs = class_dict ) # 因为分析html中的代码可以发现div的 class 为box1的有两个 , 通过上面的代码返回的是一个list格式的结果