TCPDUMP

Python爬虫入门教程 妹子图网站爬取

喜你入骨 提交于 2021-02-17 14:42:51
妹子图网站----前言 从今天开始就要撸起袖子,直接写Python爬虫了,学习语言最好的办法就是有目的的进行,所以,接下来我将用10+篇的博客,写 爬图片 这一件事情。希望可以做好。 为了写好爬虫,我们需要准备一个火狐浏览器,还需要准备抓包工具,抓包工具,我使用的是CentOS自带的tcpdump,加上wireshark ,这两款软件的安装和使用,建议你还是学习一下,后面我们应该会用到。 妹子图网站---- 网络请求模块requests Python中的大量开源的模块使得编码变的特别简单,我们写爬虫第一个要了解的模块就是requests。 妹子图网站---- 安装requests 打开终端:使用命令 pip3 install requests 等待安装完毕即可使用 接下来在终端中键入如下命令 # mkdir demo # cd demo # touch down.py 上面的linux命令是 创建一个名称为 demo 的文件夹,之后创建一个 down.py 文件,你也可以使用GUI工具,像操作windows一样,右键创建各种文件。 为了提高在linux上的开发效率,我们需要安装一个 visual studio code 的开发工具 对于怎么安装vscode,参考官方的https://code.visualstudio.com... 有详细的说明。 对于centos则如下: sudo

配置Linux实现静态路由

三世轮回 提交于 2021-02-17 02:39:18
配置Linux实现静态路由 背景和原理 路由器的功能是实现一个网段到另一个网段之间的通信,路由分为静态路由、动态路由、 默认路由和直连路由。静态路由是手工指定的,使用静态路由的好处是网络安全保密性高。动态路由因为需要路由器之间频繁地交换各自的路由表,而对路由表的分析可以揭示网络的拓扑结构和网络地址等信息。因此,网络出于安全方面的考虑也可以采用静态路由。不占用网络带宽,因为静态路由不会产生更新流量。 网络规划模拟 模拟使用四台Linux机器,分别命名为Linux1、Linux2(router1)、Linux3(router) 和Linux4,其中Linux2和Linux3当做路由器来配置静态路由功能,每两台机器之间的通信使用不同的网段和网络模式 环境模拟 克隆四台Linux机器并命名,分别按照网络规划图配置每台机器的网卡,只使用静态ip和子网掩码,克隆的机器需要执行命令>/etc/udev/rules.d/70-persistent-net.rules清空网卡相关信息文件,配置完后查看ip并检验同网段设备之间的通信 Linux1 Linux2 Linux3 Linux4 配置静态路由 4.1 添加静态路由: 常用参数: add 增加路由 del 删除路由 -net 设置到某个网段的路由 -host 设置到某台主机的路由 gw 出口网关 IP地址 dev 出口网关 物理设备名 第1步

linux系统管理命令集合

情到浓时终转凉″ 提交于 2021-02-12 04:49:00
系统 # uname -a # 查看内核/操作系统/CPU信息 # head -n 1 /etc/issue # 查看操作系统版本 # cat /proc/cpuinfo # 查看CPU信息 # hostname # 查看计算机名 # lspci -tv # 列出所有PCI设备 # lsusb -tv # 列出所有USB设备 # lsmod # 列出加载的内核模块 # env # 查看环境变量 资源 # free -m # 查看内存使用量和交换区使用量 # df -h # 查看各分区使用情况 # du -sh <目录名> # 查看指定目录的大小 # grep MemTotal /proc/meminfo # 查看内存总量 # grep MemFree /proc/meminfo # 查看空闲内存量 # uptime # 查看系统运行时间、用户数、负载 # cat /proc/loadavg # 查看系统负载 磁盘和分区 # mount | column -t # 查看挂接的分区状态 # fdisk -l # 查看所有分区 # swapon -s # 查看所有交换分区 # hdparm -i /dev/hda # 查看磁盘参数(仅适用于IDE设备) # dmesg | grep IDE # 查看启动时IDE设备检测状况 网络 # ifconfig # 查看所有网络接口的属性 #

is tcpdump affected by iptables filtering?

倖福魔咒の 提交于 2021-02-10 14:35:26
问题 If my development machine has an iptables rule to FORWARD some packets, are those packets being captured by tcpdump? I have this question because I know there exist other chain called INPUT which filters packets to apps, if a packet is routed to FORWARD chain, will it reach tcpdump app? May you make some reliable reference to official documentation or express well explained ideas to solve this question? 回答1: TCPDump captures traffic from the hardware device. Iptables handles network frames at

【绿盟大讲堂】 渗透测试流程解析

我们两清 提交于 2021-02-10 11:27:42
4 months ago 游江 阅读: 1,100 渗透测试的标准流程,你get到了吗? 文章目录 一、渗透测试相关名词解析 二、渗透测试流程 一般渗透测试流程 2.1 明确目标 2.2 信息收集 2.3 漏洞探索 2.4 漏洞验证 2.5 信息分析 2.6 获取所需 2.7 信息整理 2.8 形成报告 2.9 流程总结 一、渗透测试相关名词解析 1.1 一些前置知识(包含但不限于): 脚本(asp、php、jsp) html(css、js、html) HTTP协议 CMS(B/S) 1.2 肉鸡 被黑客入侵并被长期驻扎的计算机或服务器。可以随意控制,可以是任意系统的设备,对象可以是企业,个人,政府等等所有单位。 1.3 抓鸡 利用使用量大的程序的漏洞,使用自动化方式获取肉鸡的行为。 1.4 Webshell 通过Web入侵的一种脚本工具,可以据此对网站服务进行一定程度的控制。 1.5 漏洞 硬件、软件、协议等等的可利用安全缺陷,可能被攻击者利用,对数据进行篡改,控制等。 1.6 木马 通过向服务端提交一句简短的代码,配合本地客户端实现webshell功能的木马。 <%eval request(“pass”)%> <%execute(request(“pass”))%> request(“pass”)接收客户端提交的数据,pass为执行命令的参数值。 eval/execute

Kali学习笔记3:TCPDUMP详细使用方法

試著忘記壹切 提交于 2021-02-07 00:20:18
Kali自带Wireshark,但一般的Linux系统是不带的,需要自行下载,并且过程略复杂 而纯字符界面的Linux系统无法使用Wireshark 但是,所有Linux系统都会安装TCPDUMP:一种基于命令行的抓包工具 注意事项:默认只抓68字节,能够获得基本信息,但无法做到完整分析 1:开始抓包,-i 参数:eth0网卡,-s 0 表示抓取全部,-w a.cap 表示把抓到的内容放在a.cap文件中 随意打开一个网站,然后Ctrl+c结束,发现抓了370个包 接下来我们看看抓取的包: 总览信息: 详细查看:这里的-A 意思是以ASCII码解析 还可以用十六进制的方式查看(-X): 刚才是抓取所有的包 类似Wireshark,TCPDUMP也有过滤器: 比如我这里只抓80端口的数据包: 除了抓包筛选器,还可以显示筛选(抓到之后筛选自己需要的数据包) 1.通过Linux系统手动筛选 -n 的意思是不解析域名,awk分隔开只看其中的某一列,sort -u 去重 2.用TCPDUMP的方法: 这里我只抓取来源是222.199.191.32的数据包 不止来源,这里设置只抓目的IP为:222.199.191.32的数据包 再比如:只抓域名解析数据包: 这些是基础筛选,还有高级筛选: TCP包头结构如下,8个位为一个字节,每一行为四个字节,一共是32个位 源端口占了前面的16个位,两个字节

TCP协议

感情迁移 提交于 2021-02-06 20:58:46
在前篇文章中介绍了TCP协议的三大特性,其中可靠性是依赖一系列的机制,如:校验和,分组发送,超时重传,流量控制得到保证。 一.数据交互 TCP在交互数据时,采用多种机制保证可靠性,同时也保证TCP的性能,主要是分组、延迟ACK等等。 1.分组确认 对于连续的数据传输有三种方式: 单个单个字节发送 将整个连续数据发送 将整个连续数据拆分成一个个的分组包,然后逐个发送 显然前两种方式都是比较极端,单个单个字节发送对于成块连续数据而言效率非常低,整块连续数据发送对于比较大的数据而言更不现实,TCP缓冲区有限,网络带框也是有限,对于过大数据不可能这样发送。 在TCP协议栈中,有发送缓冲区和接收缓冲区用于缓冲存储即将发送的数据和收到的数据。当应用需要发送连续数据时,TCP将应用的数据存储到缓冲区中,TCP会根据一定的机制将缓冲区数据发送出去,应用同时也将数据写入缓冲区。接收方TCP在收到数据后,存入接收缓冲区中,TCP根据一定机制再将缓冲区中数据提交给应用处理。 TCP将成块的数据发送分成一个个的分组报文发送出去,其中分组报文大小不会超过MSS(Max Segment Size,最大的报文段大小)。TCP对发送的每个字节都采用序号的方式进行标识追踪,序号在建立TCP连接时即已经确定。发送端发送第一个字节数据的序号为建立TCP连接时的SEQ + 1。序号在这里有以下几种作用:

Saving the displayed/filtered packets in wireshark

▼魔方 西西 提交于 2021-02-05 20:40:34
问题 I applied a filter in wireshark to display only the incoming packets to my PC. When I save the filtered/displayed packets to a .csv file, I actually saves all the packets (un-filtered). How can I save only the displayed/filtered packets? 回答1: Exporting data Just select Displayed in the Packet Range frame. Note that with newer builds of Wireshark for Windows, this is available only with "Export Specified Packets", not with "Save" or "Save as" options. 来源: https://stackoverflow.com/questions

Hping使用方法详解

我是研究僧i 提交于 2021-02-01 11:44:10
一、原理基础 Hping是一个命令行下使用的TCP/IP数据包组装/分析工具,其命令模式很像Unix下的ping命令,但是它不是只能发送ICMP回应请求,它还可以支持TCP、UDP、ICMP和RAW-IP协议,它有一个路由跟踪模式,能够在两个相互包含的通道之间传送文件。Hping常被用于检测网络和主机,其功能非常强大,可在多种操作系统下运行,如Linux,FreeBSD,NetBSD,OpenBSD,Solaris,MacOs X,Windows。 HPING和ping的区别:典型ping程序使用的是ICMP回显请求来测试,而HPING可以使用任何IP报文,包括ICMP、TCP、UDP、RAWSOCKET。 Hping的主要功能有: 防火墙测试 实用的端口扫描 网络检测,可以用不同的协议、服务类型(TOS)、IP分片 手工探测MTU(最大传输单元)路径 先进的路由跟踪,支持所有的协议 远程操作系统探测 远程的运行时间探测 TCP/IP堆栈审计 二、安装 Centos yum install hping Debian/Ubuntu apt-get install hping 三、Hping的详细参数 -h —help 显示帮助信息 -v —version 显示Hping的版本信息 -c —count 指定数据包的次数 -i —interval 指定发包间隔为多少毫秒,如-i m10

Debian Buster: “tcpdump -w file” works only in some directories

烂漫一生 提交于 2021-01-29 10:00:39
问题 The following command (called as user root with and without -i eno ) tcpdump -w a.dump -i eno1 portrange 27900-27901 works only in some directories, eg. /tmp and /root . But it works not in other directories, for example not in /temp created with: mkdir /temp chown root.root /temp chmod 700 /temp Stopped apparmor , but it doesn't help. Any ideas to enable other directories? 回答1: Problem solved. It was AppArmor. I learned the stopping the service does not stop the protection. In detail, there