Anaconda Python

使用anaconda，本来是为了减少装第三方模块依赖出错问题的。 但是，今天发现，也是有坑啊。 首先 import ssl 报错， import _ssl 说DLL load failed 解决办法：用官方的python zip文件包的 _ssl.pyd 替换anaconda中的 _ssl.pyd 文件 1.在anaconda 安装目录找到DLLs/_ssl.pyd文件，改名为_ssl.pyd_bk，作为本分，以防不测。如果是使用了虚拟环境，也要将env中的虚拟环境中的_ssl.pyd替换 2.查看本机的python具体版本，并在 Python的官网 中下载相对应的版本的Python ZIP文件 3.解压，获取zip文件中的_ssl.pyd,并放在相应的anaconda 安装目录（就是_ssl.pyd_bk的目录） 4.import 测试 参考：http://www.pianshen.com/article/6230302890/ 然后接着是 psycopg2 的报错， 我之前的项目是使用pg数据库的，今天在新电脑clone了代码，跑的时候发现没有 psycopg2 想当然的使用conda install psycopg2 了 安装后接着跑代码，发现。。。 网上说换一个编译版，but,已经打不开他们说的网站了。找了一大通无果， 烦躁的我直接 conda uninstall

目录 操作环境 网页分析 明确目标 提取漫画地址 提取漫画章节地址 提取漫画图片 编写代码 导入需要的模块 获取漫画地址 提取漫画的内容页 提取章节名 获取漫画源网页代码 下载漫画图片 下载结果 完整代码 操作环境 编译器：pycharm社区版 python 版本：anaconda python3.7.4 浏览器选择：Google浏览器 需要用到的第三方模块：requests , lxml , selenium , time , bs4,os 网页分析 明确目标 首先我们打开 腾讯动漫 首页，分析要抓取的目标漫画。 找到腾讯动漫的漫画目录页，简单看了一下目录，发现全站的漫画数量超过了三千部（感觉就是爬下来也会把内存撑爆） 于是我觉得爬取首页的推荐漫画会是一个比较好的选择（爬取全站漫画只需要稍稍改一下网址构造就可以做到了） 提取漫画地址 选定了对象之后，就应该想办法来搞到漫画的地址了 右击检查元素，粗略看一遍网页的源代码，这时我发现里面有很多连续的 标签，我猜测每部漫画的地址信息就存储在这些标签里面 随便打开一个《li》标签，点击里面包裹的链接地址会跳转到一个新的网页，这个网页正是我想要找的漫画地址，可以见得我的猜测是正确的，等到实际操作的时候再用表达式提取信息就非常容易了 提取漫画章节地址 进入漫画的目录页，发现一页最多可以展示20章的漫画目录

国内镜像加速还是很给力的。收集一些常用的镜像。 清华 pypi https://pypi.tuna.tsinghua.edu.cn/simple 临时使用 pip install -i https://pypi.tuna.tsinghua.edu.cn/simple some-package 设置默认 修改 ~/.config/pip/pip.conf (Linux), %APPDATA%\pip\pip.ini (Windows 10) 或 $HOME/Library/Application Support/pip/pip.conf (macOS) (没有就创建一个)， 修改 index-url 至tuna，例如 [global] index-url = https://pypi.tuna.tsinghua.edu.cn/simple 阿里 pypi https://mirrors.aliyun.com/help/pypi 在 ~/.pip/pip.conf 文件中添加或修改 [global] index-url = http://mirrors.aliyun.com/pypi/simple/ [install] trusted-host=mirrors.aliyun.com 清华 Anaconda 镜像 https://mirrors.tuna.tsinghua.edu.cn

近年来，数据分析师成为了一个高薪而又热门的职业，如果你想跨入这一行又没什么编程基础，那么学习Python绝对是一个好的选择。因为Python的代码风格使代码更易于阅读和理解，和其他语言相比，其学习曲线没有那么陡峭。Python的一系列丰富的内建库和附加库可以方便地完成许多一般的数据处理和分析操作，让你可以轻松地一站式完成数据处理与分析任务，从而大大减轻编程的工作量。 开发环境搭建 如果你还是一个不会编程的小白，那么从安装python到下载各种包再到运行起程序的整个过程都够让你喝一壶的了。《Python数据分析基础》书中推荐了Anaconda Python，不过笔者认为安装Anaconda Python依然略显繁琐，下面是笔者总结的只需要三步就能玩转《Python数据分析基础》的具体步骤： 1、安装Docker Docker是什么？可参考拙作《 离不开的工具之Docker开发指南 》，简单讲是一个用于环境封装的工具（集装箱）。如果没精力去了解也没关系，你只需要知道Docker用起来很方便就行了。Windows用户 从 https://www.docker.com/docker-windows 下载，Mac用户从 https://www.docker.com/docker-mac 下载，只需轻点Download Now from Docker Store按钮，按部就班的等待安装完成即可