DFF

python深挖65万人的明星贴吧,探究上万个帖子的秘密

早过忘川 提交于 2020-08-06 04:56:10
前言 本文的文字及图片来源于网络,仅供学习、交流使用,不具有任何商业用途,版权归原作者所有,如有问题请及时联系我们以作处理。 最近一直在关注百度明星吧,发现很多有趣的帖子,于是我就想用python把这些帖子都爬下来,并对内容进行分析。 很多人学习python,不知道从何学起。 很多人学习python,掌握了基本语法过后,不知道在哪里寻找案例上手。 很多已经做案例的人,却不知道如何去学习更加高深的知识。 那么针对这三类人,我给大家提供一个好的学习平台,免费领取视频教程,电子书籍,以及课程的源代码! QQ群:1097524789 本文的知识点: 介绍了mysql数据库内容插入及提取的简单应用; 介绍了如何从mysql数据库提取文本并进行分析; 介绍了数据分析的切入点及思路。 对于初学者想更轻松的学好Python开发技术,Python爬虫,Python大数据分析,人工智能等技术,这里给大家分享一套系统教学资源,加一下我建的Python技术的学习裙;七八四七五八二一四,一起学习。有相关开发工具,学习教程,每天还有专业的老司机在线直播分享知识与技术答疑解惑! 下面给大家详细介绍一下实现过程: 一、网站分析 贴吧的翻页通过url的变化来实现,主要是pn参数: https: //tieba.baidu.com/f?kw=明星&ie=utf-8&pn=页数*50 帖子的内容

nodejs 用 axios 向osc服务器上传图片[需要cookie]

偶尔善良 提交于 2020-08-05 00:10:47
通过http请求查看request数据, 复制请求头和cookie 代码 const axios = require('axios') const fs = require('fs') const img_path = './t2.jpg' const FormData = require("form-data"); const url = "https://my.oschina.net/ahaoboy/space/ckeditor_dialog_img_upload" const headers = { "accept": "*/*", "accept-language": "zh-CN,zh;q=0.9,en;q=0.8", "sec-fetch-dest": "empty", "sec-fetch-mode": "cors", "sec-fetch-site": "same-origin", "cookie": "===", "referrer": "https://my.oschina.net/ahaoboy/blog/write/4326713", "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103

大公司都在做的大数据平台,为你精选这一份书单

梦想与她 提交于 2020-08-04 16:58:03
​ 现如今每个公司都有自己的大数据平台和大数据团队,可以看出大数据建设在公司的重要地位,不管是用于做数据分析、BI还是做用于机器学习、人工智能等领域,大数据都是基础,海量数据成为了互联网公司的重要资产。 今天这一份书单,我们将推荐几本综合介绍大数据平台和技术栈的优质书籍,帮各位对大数据技术感兴趣的小伙伴快速入门和学习大数据。 大数据技术栈系列书单 ​ 大数据技术原理与应用 (1) 概念篇:介绍当前紧密关联的*新IT领域技术云计算、大数据和物联网。 (2) 大数据存储与管理篇:介绍分布式数据存储的概念、原理和技术,包括HDFS、HBase、NoSQL数据库、云数据库。 (3) 大数据处理与分析篇:介绍MapReduce分布式编程框架、基于内存的分布式计算框架Spark、图计算、流计算、数据可视化。 (4) 大数据应用篇:介绍基于大数据技术的推荐系统。 作者简介 林子雨,北大博士,厦门大学计算机科学系老师,中国高校**"数字教师"的提出者和建设者。在数据库、数据仓库、数据挖掘、大数据、云计算和物联网等领域有着十多年的知识积累,对各个领域知识都有比较深入的了解,有比较宽泛的视野。 ​ 大数据平台基础架构指南 当前不乏大数据具体技术组件的书籍,但却很少有从大数据平台整体建设和产品形态的宏观角度入手来阐释的。 本书重点介绍大数据开发平台服务构建的整体思路和解决方案

Spring Boot Admin简介及实践

穿精又带淫゛_ 提交于 2020-08-04 11:44:04
#Spring Boot Admin简介及实践 ##来源背景 codecentric的Spring Boot Admin是一个社区项目, 用于管理和监视您的Spring Boot®应用程序。这些应用程序在我们的 Spring Boot Admin Client中注册(通过HTTP),或者是通过Spring Cloud® (例如Eureka,Consul)发现的。 UI只是Spring Boot Actuator端点之上的Vue.js应用程序。 ##功能介绍 Spring Boot Admin提供了很多服务治理方面的功能,利用它能节省我们很多在治理服务方面的时间和精力。 Spring Boot Admin提供了如下功能(包括但不限于): 显示健康状态及详细信息,如JVM和内存指标、数据源指标、缓存指标 跟踪并下载日志文件 查看jvm系统-和环境属性 查看Spring启动配置属性 方便loglevel管理 查看线程转储 视图http-traces 查看http端点 查看计划任务 查看和删除活动会话(使用spring-session) 状态更改通知(通过电子邮件、Slack、Hipchat…) 状态变化的事件日志(非持久性) ##搭建Spring Boot Admin Server 在编写本文的时候,Spring Boot Admin的最新版本为: 2.2.7

视频剪辑APP测评,必备软件之清爽视频编辑!

拥有回忆 提交于 2020-07-29 06:17:55
市面上现在有多种不同的剪辑视频软件,好多都功能不太完善,使用起来不是那么顺手,目前拍视频成为了当前最流行的生活趣事,为了让自己的视频看起来更高档,会使用到视频剪辑软件,今天小编就为大家带来视频剪辑APP测评,必备软件之清爽视频编辑!让你感受一下不一样的视频体验。 测评软件:清爽视频编辑APP 一、视频编辑,该功能非常强大,可以满足大家对视频常用的功能需求,在此功能内编辑视频,可以满足剪辑,添加文字,更改声音,贴纸,几十种滤镜,特效,加水印,马赛克,画中画等功能,比其他编辑软件功能更多,让你的视频瞬间出彩。 二、电子相册,这个功能也是当下非常流行,平时出门旅游时,制作一个简单的相册分享到朋友圈,让照片动起来不在单一。该功能还能有多种模板可以选择,把背景音乐换成自己喜欢的音乐,教你轻松制作vlog。 三、软件首页中的视频工具栏,包含了十种不同功能的选项,每一种都可以帮助你在创作视频中起到不同的作用,大家在制作视频中常用的视频裁剪,视频拼接,快放慢放,添加背景音乐,添加合适的字幕等,都可以轻松实现。 四、轻松学会软件使用,在软件下方有一个教程玩法,里面有很多不同好玩的教程,可以让你快速学会,变成视频编辑大神,不用担心自己不会使用,即使你是一个视频小白,跟着教程也能做出酷炫视频。 为大家分享的视频剪辑APP测评,必备软件之清爽视频编辑!内容就到这里,如果想要在各大平台发酷炫视频

CAJ怎么转PDF?迅捷PDF转换器还有这个功能!

跟風遠走 提交于 2020-07-28 19:07:08
CAJ怎么转PDF?CAJ和PDF是学术领域常用的两种格式,相对而言,PDF的使用更简单也更普遍,因此在面对CAJ的时候,我们可以将CAJ文档转换成PDF进行阅读和编辑。今天小编就教大家如何将CAJ转换成PDF。 打开一款CAJ或者PDF的转换软件,小编在试用过很多软件之后,决定给大家推荐这款“迅捷PDF转换器,”打开软件,在页面上方找到特色转换,然后在左侧的特色功能中找到“CAJ转PDF。” 导入一份或者多份需要进行转换的CAJ文档,点击添加文件,在弹出的打开窗口中进行选择,如果大家一时之间找不到电脑中的CAJ文档,可以通过打开窗口中的搜素框,输入关键词进行搜索,最后点击打开进行导入。 导入完成之后,在输出目录中点击“浏览,”选择转换完成后PDF文档的保存位置,最后点击页面右下角的“开始转换”就可以了。 以上就是使用迅捷PDF转换器将CAJ转换成PDF的具体操作步骤,感兴趣的小伙伴可以在浏览器搜索软件名称进入官网下载安装。迅捷PDF转换器还有很多特色功能等着大家去发现,心动的小伙伴快去试试吧。 来源: oschina 链接: https://my.oschina.net/u/4524402/blog/4292921

好物分享:上班族电脑必装的迅捷PDF转换器!

眉间皱痕 提交于 2020-07-28 10:13:35
不管是word、Excel还是ppt文件,我们都可以直接打开编辑,那么在日常办公的过程中,你是否有遇上一些不能直接打开的文件呢?例如小喵今天要提到的PDF文件,这就是日常无法直接打开的文件,那么遇上PDF,我们要如何处理呢?今天,小喵就为大家推荐一款上班族电脑必装的软件:迅捷PDF转换器。 小喵为什么会推荐迅捷PDF转换器呢?事实上,这款软件除了可以对PDF文件起作用之外,还具备很多日常办公需要的功能,如果你也想了解的话,不妨先下载这款迅捷PDF转换器吧! 打开软件,你会看到如下这样的界面。 一般来说,上方的选项,软件会默认第一个,也就是PDF转换,我们看一下左侧的栏目,这里有“文件转PDF”和“PDF转其他”以及“wps文件转换”三个选项,点击不同的选项,会再次出现下滑界面,出现不同的功能,通过这个操作,我们可以实现PDF格式与其他格式之间的互换。 点击上方的“PDF操作”,我们可以实现对PDF文件的一些编辑,例如将几个PDF文件合并在一起,将一个PDF文件分割开来,对PDF文件进行页面内容提取,进行压缩,给它加密解密,给它添加水印等等。 此外,上方还有一个CAD转换,可以实现CAD与PDF之间的转换,也可以将CAD转换成图片、dwf等格式。 除了上述介绍的功能之外,迅捷PDF转换器还可以实现文字语音互换,实现图片格式的转换等等,这些大家都可以一一点击,一一了解。

来领上云消费券!2020阿里云618全攻略

限于喜欢 提交于 2020-07-28 03:36:59
阿里云618活动(6.1-6.30) 火热进行中,发亿元 “上云消费券”——来活动会场立领618大礼包。 活动入口>>> 越来越多企业开始重视业务的在线化和云化,以降本提效、增加业务弹性。年中的618,与年末的双11,在国内云计算市场也已经形成一腰一尾两次价格谷底。现在正是时候上云升级你的数字基建,准备下半年打一个漂亮的翻身仗。 除了主流产品超级好价,这次会场特别甄选了超低门槛的入门级产品,为企业的初次上云“减负”。以下是我们为你梳理的阿里云618全场看点: 看点1:最高12000元消费券 本次活动的会场简单易逛,进场首先领上云大礼包,满千元购物车立减权益,最高12000元补贴。而这个权益与大部分会场的云产品是可以叠加使用的,并且新老用户均能领取。 看点2:云服务器低至89.8元狂甩价 弹性、稳定、安全的ECS入门款1核2G,低至89.8元(0.88折),不愧为性价比之王,个人开发者建站必备,是你迈出上云第一步的最好机会。而主流机型如ECS计算型c5,2核4G包年也有低至2.6折的好价。初次上云的用户还有免费试用机会。 看点3:企业应用解决企业全方位需求 阿里云日益丰富了企业应用产品矩阵,这次参与活动的产品从公司注册到商标注册,从logo设计到定制建站,从企业邮箱到办公协同,为企业提供从萌芽到成长的“保姆式服务”。其中域名新注0元起;工商注册低至9.9元;商标注册推出提货券形式

OSChina 周六乱弹 —— 妈妈快看,外面有只人类

好久不见. 提交于 2020-07-27 21:59:25
Osc乱弹歌单(2020)请戳( 这里 ) 【今日歌曲】 @ 薛定谔的兄弟 :分享洛神有语创建的歌单「我喜欢的音乐」: 《1万年の时を越えて》- 上松範康 手机党少年们想听歌,请使劲儿戳( 这里 ) @ 火眼金睛容嬷嬷 :前天刚送走了姥姥,今天早上老爸电话来,说大姑也走了。今年到底是怎么了? 今年悲欢离合太多了, 现在这已经是全球常态了, 前几天还看了看, 因为疫情,外国贫民忍受力太低了。 没有储备粮很多人都悲剧了。 还好我们面临的只是死亡, 我们逃过了疾病, 世界上更多的人要面临赤贫、饥饿……(话题这么严肃,我找了半天的配图也不合适,反正我就随便说说我想说的话吧。) 现在我们面对的更多的是磨练而不是绝望。 @ 金拱门 :哥哥前几天离开医院,听说当兵去了…弟弟顶替哥哥陪妈妈一起照顾父亲。作为一名路人或者说同是病友的陪护,生活给人希望同时给人绝望。也磨练了人的意志, 人生太难了, 不止是病人, 还有陪护的人。 所以大家都尽量照顾好自己, 别让自己病了, @ 大眼睛_小耳朵 :不知道坐的姿势不对,还是怎么的,整个右肩贼疼,疼了两三天了都,有什么缓解办法吗 肩膀疼? @ 贰拾陆 :刚才那个说右肩膀疼的小姐姐,我真不是故意吓你,刚好中午看到这个漫画 肩膀疼就是鬼坠着啊? 万一不是呢, “只是鬼拍了一下而已。” 我觉得自己可能是真病了, @ 达尔文 : 大家不要熬夜了,对眼睛不好

基于Java的32位CRC校验分享

蹲街弑〆低调 提交于 2020-07-26 23:42:19
基于Java的32位CRC校验分享 经验分享:Java32位校验,String转byte[],byte[]校验完成返回String 笔者公司是物联网公司,所以对接硬件协议那是常有的事情,各种16进制的UPD/Zigbee文档。。。。。。今天来分享一下我与CRC的爱恨情仇 1. 都是程序员,话不多说直接进入正题,首先你手上有一坨String类型16进制字符串。你需要把这坨字符串丢到某各地方,某个地方再回你一坨你想要的东西 (不用说你们也知道是什么了吧------当然是校验结果) 好的说到这里,上代码!!! //首先把手里的字符串转为Byte数组 public static byte [ ] getHexBytes ( String str ) { byte [ ] bytes = new byte [ str . length ( ) / 2 ] ; for ( int i = 0 ; i < str . length ( ) / 2 ; i ++ ) { String subStr = str . substring ( i * 2 , i * 2 + 2 ) ; bytes [ i ] = ( byte ) Integer . parseInt ( subStr , 16 ) ; } return bytes ; } 2. 这样呢,我们拿到了一个数组,然后改干什么? -----