spm

第8课:非JS 动态网站的分析

筅森魡賤 提交于 2020-11-24 13:31:58
@[TOC](Html 分析目录:) HTML 和 网站是什么关系? HTML 是一种超文本语言,是用来编写前端网站的语言之一。我们也俗话把HTML 称之为 网站,网页。 如何分析网站: 在这里我们拿 上节课 《第7课: bs4 库 的 BeautifulSoup 基础学习》 的作业来做一个例子。 上节课的作业是 爬去 搜狐新闻的 文章标题。搜索网站网址: http://news.sohu.com/ 分析网站用到的第一个工具:就是浏览器自带的 调试工具。我这里默认使用的是谷歌浏览器,我建议大家也使用 谷歌浏览器。 首先,我们要打开这个网站,进入到首页后,需要 按<font color=#DC143C> F12</font> ,进入到调试模式。 按 F12 ,进入到调试模式,如下图。 然后我们可以看到一些代码,还有一个行工具栏。 工具栏中有 Elements ,Console ,Sourecs,Nerword,Perfornance,Memory,Application,Security,Lighthouse 。这些工具栏目。 爬虫需要的栏目名称 作用解释 Elements 主要是用来查看需要爬去的数据的 HTML 标签 属性等信息 Nerword 【爬虫最重要的】查看网站加载了 json文件,html 文件,媒体文件等等 其他的你们也不需要了解了,主要就是这四个,四个钟,重要的是

Spark在MaxCompute的运行方式

泪湿孤枕 提交于 2020-11-24 03:37:28
一、Spark系统概述 左侧是原生Spark的架构图,右边Spark on MaxCompute运行在阿里云自研的Cupid的平台之上,该平台可以原生支持开源社区Yarn所支持的计算框架,如Spark等。 二、Spark运行在客户端的配置和使用 2.1打开链接下载客户端到本地 http://odps-repo.oss-cn-hangzhou.aliyuncs.com/spark/2.3.0-odps0.30.0/spark-2.3.0-odps0.30.0.tar.gz?spm=a2c4g.11186623.2.12.666a4b69yO8Qur&file=spark-2.3.0-odps0.30.0.tar.gz 2.2将文件上传的ECS上 2.3将文件解压 tar -zxvf spark-2.3.0-odps0.30.0.tar.gz 2.4配置Spark-default.conf # spark-defaults.conf # 一般来说默认的template只需要再填上MaxCompute相关的账号信息就可以使用Spark spark.hadoop.odps.project.name = spark.hadoop.odps.access.id = spark.hadoop.odps.access.key = # 其他的配置保持自带值一般就可以了 spark.hadoop

.NET Core 跨平台物联网开发:连接阿里云IOT(一)

对着背影说爱祢 提交于 2020-11-13 01:41:13
系列教程目录 (一) 连接阿里云IOT (二) 设置委托事件 (三) 上报属性 (四) SDK文档 属性、方法、委托、类 http://pan.whuanle.cn/index.php?dir=uploads/阿里云IOT/AliIOTXFclient-dll类库&response 下载三个库,头部引入 即可使用 using AliIOTXFClient; 示例下载地址 http://pan.whuanle.cn/index.php?dir=uploads/阿里云IOT/demo示例 本章使用示例 AliIOTXF.One 二,阿里云 IOT 创建产品设备 打开地址 https://iot.console.aliyun.com/product 创建一个产品 节点类型选择设备、非网关,因为是直接对接有网络能力的设备。透传需要写 JS 解析脚本,Alink Json 使用方便、不易出错,也更便于理解。ID² 提供了双向身份认证能力,但是收费。 创建设备 创建成功后记得 “ 一键复制 ” ,然后存放到记事本等保存。(保不保存没事,可以到里面复制) 附上阿里云创建产品的文档 https://help.aliyun.com/document_detail/73705.html?spm=a2c4g.11174283.6.553.3a8b1668QRyRs7 创建后的设备 三,创建项目

基于FPGA的序列检测器

本秂侑毒 提交于 2020-11-11 00:56:45
配套FPGA开发板(含该设计的工程代码):https://item.taobao.com/item.htm?spm=a1z10.1-c.w4004-4676525296.4.6e8950ed57YPhv&id=17848039135 功能说明 本设计主要分为3个模块:序列产生模块、序列检测模块、检测结果数码管显示模块。 其中序列产生模块主要用来产生序列,用于仿真测试;序列检测模块用于对序列进行检测,本设计设计的检测序列的长度为8bit,当检测到一个对应的序列的时候,检测成功计数器会进行计数,该计数器能够计数的范围为0~999;检测结果数码管显示模块用于显示检测成功计数器的结果。 FPGA软件 下载链接: Quartus II 9.0 软件: http://pan.baidu.com/s/1jHSS0vG 仿真软件 ModelSimSEv6.2b 链接:http://pan.baidu.com/s/1o8lo0sU 密码:88wp 大西瓜-modelsim实用教程 链接:http://pan.baidu.com/s/1dFxJvuL 密码:v09a 原理 顶层原理图 本设计主要分为3个模块:序列产生模块、序列检测模块、检测结果数码管显示模块。 其中序列产生模块主要用来产生序列,用于仿真测试;序列检测模块用于对序列进行检测,本设计设计的检测序列的长度为8bit

SQL baseline_11g

☆樱花仙子☆ 提交于 2020-11-11 00:56:16
conn sh/sh --执行想要创建基线的语句,语句的执行计划将会被缓存 set autotrace on select /*ghbaselines1*/ count(*) from customers join countries using ( country_id ) where country_name = 'New Zealand' and cust_income_level = 'G: 130,000 - 149,999' and cust_year_of_birth < '1952' ; --从游标缓存区中手动载入关于这个SQL的执行计划做为基线 conn / as sysdba declare v_sql_id v$sql.sql_id%type ; v_plan_count number ; begin select sql_id into v_sql_id from v$sql where sql_text like 'select /*ghbaselines1*/%' ; v_plan_count := dbms_spm.load_plans_from_cursor_cache( sql_id => v_sql_id ) ; dbms_output.put_line( v_plan_count || ' plans loaded' ) ; end ; / -

BRAS

放肆的年华 提交于 2020-11-10 22:03:13
BRAS(Broadband Remote Access Server,宽带远程接入服务器)是一种面向宽带网络应用的接入网关,是宽带接入网和骨干网之间的桥梁,提供基本的接入手段和宽带接入网的管理功能。 1.1 BRAS的网络定位 本产品作为BRAS设备,在运营商应用中的网络定位如图所示: 1.2 BRAS功能组件 1.3 BRAS业务 本产品作为BRAS接入设备,各BRAS功能组件分别支持以下业务特性。 1. 用户接入 Portal Portal认证通常也称为Web认证,即通过Web页面接受用户输入的用户名和密码,对用户进行认证。Portal认证技术提供一种灵活的访问控制方式,不需要安装客户端,就可以在接入层以及需要保护的关键数据入口处实施访问控制。 未认证用户上网时,设备强制用户登录到特定的Web页面上,用户可以免费访问其中的服务。当用户需要使用互联网中的其它资源时,必须在网站提供的Portal认证页面上进行身份认证,只有认证通过后才可以使用互联网资源。关于Portal的详细介绍,请参见“BRAS业务配置指导”中的“Portal”。 IPoE IPoE(IP over Ethernet)为IPoX中的一种常见的接入方式。在IPoE接入方式中,用户从以太网链路接入,用户的IP报文经过以太网封装后到达BRAS接入设备,由BRAS接入设备对用户进行基于接入位置信息或报文特征的身份认证

k8s部署mysql集群master--slave

荒凉一梦 提交于 2020-11-06 08:51:04
一、环境信息 CentOS Linux release 7.8.2003 (Core) 4.4.240-1.el7.elrepo.x86_64 k8s 集群版本:1.15 docker 版本:Docker version 17.03.3-ce 集群信息: NAME STATUS ROLES AGE VERSION km-1.11 Ready master 7d7h v1.15.1 kn-1.11 Ready <none> 7d7h v1.15.1 kn1-1.11 Ready <none> 31h v1.15.1 二、MySQL的高可用方案 MySQL高可用方案采用主从复制+读写分离,即由单一的master和多个slave所构成。其中,客户端通过master对数据库进行写操作,通过slave端进行读操作。master出现问题后,可以将应用切换到slave端。 此方案是MySQL官方提供的一种高可用解决方案,节点间的数据同步采用MySQL Replication技术。MySQL Replication从一个MySQL数据库服务器(master)的数据复制到一个或多个MySQL数据库服务器(slave)。在默认情况下,复制是异步的;slave不需要一直接收来自主机的更新。根据配置,可以复制数据库中的所有数据库、选定的数据库,或者特定的表。 三、架构说明 通过mysql

低功耗蓝牙搜索广播的实现流流程介绍 /BLE scan flow ----- 蓝牙低功耗协议栈

元气小坏坏 提交于 2020-10-29 11:32:01
零. 概述 主要介绍下蓝牙协议栈(bluetooth stack)低功耗蓝牙搜索广播的流程以及协议栈的实现流程,BLE scan flow btsnoop以及流程在资料中的......\STM32_UBUNTU_BLUETOOTH\2-蓝牙资料\蓝牙协议分析\BLE搜索广播.log 一. 声明 本专栏文章我们会以连载的方式持续更新,本专栏计划更新内容如下: 第一篇:蓝牙综合介绍 ,主要介绍蓝牙的一些概念,产生背景,发展轨迹,市面蓝牙介绍,以及蓝牙开发板介绍。 第二篇:Transport层介绍,主要介绍蓝牙协议栈跟蓝牙芯片之前的硬件传输协议,比如基于UART的H4,H5,BCSP,基于USB的H2等 第三篇:传统蓝牙controller介绍,主要介绍传统蓝牙芯片的介绍,包括射频层(RF),基带层(baseband),链路管理层(LMP)等 第四篇:传统蓝牙host介绍,主要介绍传统蓝牙的协议栈,比如HCI,L2CAP,SDP,RFCOMM,HFP,SPP,HID,AVDTP,AVCTP,A2DP,AVRCP,OBEX,PBAP,MAP等等一系列的协议吧。 第五篇:低功耗蓝牙controller介绍,主要介绍低功耗蓝牙芯片,包括物理层(PHY),链路层(LL) 第六篇:低功耗蓝牙host介绍,低功耗蓝牙协议栈的介绍,包括HCI,L2CAP,ATT,GATT,SM等 第七篇:蓝牙芯片介绍

阿里云OSS(对象存储服务)整合测试

回眸只為那壹抹淺笑 提交于 2020-10-29 07:27:12
一 点睛 官方参考: https://help.aliyun.com/document_detail/32009.html?spm=a2c4g.11174283.6.916.341e7da2ntnkHl https://github.com/alibaba/aliyun-spring-boot/tree/master/aliyun-spring-boot-samples/aliyun-oss-spring-boot-sample 二 准备工作——开通AccessKey的方法 三 原生方式 1 导入依赖 <!-- 阿里云对象存储SDK--> <dependency> <groupId>com.aliyun.oss</groupId> <artifactId>aliyun-sdk-oss</artifactId> <version>3.5.0</version> </dependency> 2 测试代码 @Test public void testupLoads1() throws FileNotFoundException { // 从阿里云控制台获取。 String endpoint = "oss-cn-chengdu.aliyuncs.com"; // 云账号AccessKey有所有API访问权限,建议遵循阿里云安全最佳实践,创建并使用RAM子账号进行API访问或日常运维, //

淘宝直播PC客户端使用手册

久未见 提交于 2020-10-27 07:39:11
现在淘宝直播挺火的,但是为什么官方连个电脑版的链接都不放呢,百度N久才能找到,为了大家的需要这里做个记录。 真的不是为淘宝直播做广告,只是告诉踏入了直播业务要涉及。 为了需要的小伙伴。最新下载的软件要根据文章里给的才行,我这边只做个转载文章 最新地址来源: https://tblive.m.taobao.com/wow/tblive/act/tblivestudio-help?spm=a1z9u.8142865.0.0.7e7434edWeWFcv 淘宝直播PC客户端适合哪些场景使用? 手机直播时,无线网络不稳定,电脑可以使用有线网络来直播,网络会更加稳定,有效避免直播卡顿。 在直播过程中,电脑直播软件可以对音视频进行加工,增加更多趣味元素。 不满足于普通手机拍摄设备,有更好拍摄设备进行拍摄。 长时间直播,手机发烫、电源不够等造成直播卡顿、暂停,但是用电脑直播不存在这样的困扰。 设备要求 电脑:Windows系统,最好用台式机直播,笔记本不要用轻薄款,用游戏本。处理器intel i5及以上,最好i7,独立显卡,固态硬盘。 (注意,电脑硬件配置过低时,可能导致画面卡顿或者音画不同步) 拍摄设备:支持大部分视频拍摄设备,即插即用 (注意:推荐罗技(Logitech)Pro C920,C925e,C930e 等型号摄像头,也可使用其他性能更好的产品) 音频设备:支持各种音频设备