数据科学家

想从事数据科学家的自我修炼(浪叫兽的书单)一年之内从零基础入门(以不抱大腿的姿势)拿下数据竞赛 一等奖 ,二等奖,三等奖

本秂侑毒 提交于 2020-03-12 14:59:01
想从事数据科学家的自我修炼(浪叫兽的书单)一年之内从零基础入门(以不抱大腿的姿势)拿下数据竞赛 一等奖 ,二等奖,三等奖 携程赛的初练书单 在科赛网站上,我第一次报名参加了比赛是,酒店未来30天产量预测,当时参加比赛是16年的7月中旬了。距今日的17年5月中旬,不到一年的时间,在科赛网,同样是在携程的出题下拿到了一个冠军一等奖 进入正题把,我来写一下我的历史读书记录 和 自发学习过程: 其实刚刚入门是因为想玩爬虫爬新闻做预测: 入门读的书有: PYTHON自然语言处理中文翻译 NLTK 中文版 quantmod-R中的金融分析包 R数据导入和导出(包括RODBC) RODBC中文介绍 上面可能也是一些介绍把 了解了一下R语言,因为当初搞不定字符问题 就转战了Python爬虫,进入到了Python语言的学习 Python数据分析基础教程:NumPy学习指南(第2版) 然后找寻金融相关的资料 11.金融时间序列分析 第3版 依旧对R 不放心的时代 R语言核心技术手册(第2版) 自己动手写网络爬虫 用Python写网络爬虫 此时应该是在QQ群里找大鱼学的爬虫 scrapy 和 urllib ,后面发现requests + bs4 入门爬虫比较适合我,写了爬虫直接写个for 就把新闻爬到数据库中了。 在学numpy的过程中加入到了pandas的学习群 和牛叫兽学习pd

在“云”上做科研,是种什么体验?

99封情书 提交于 2020-01-03 21:09:41
  如今,做研究的人需要什么?   试管?文献?电脑?如果再来一朵 “云”会怎样?   别误会,并不是让科研人员上天做科研,而是——给他们一朵“中国科技云”。   <strong>大数据时代呼唤科技云</strong>   以“数据密集型”和“大数据”驱动的科学研究范式带来了科研方法论的变革,正成为科学发现的新引擎。   数据与计算平台已经成为当代科学研究重要的信息基础设施,并且将融汇贯穿于整个科学研究活动的全过程。<strong>近年来,几乎在任何一项的重大科学发现和重大科技计划中,数据与计算平台都在扮演着无可替代的角色</strong>   <strong>2013 年诺贝尔化学奖</strong>   2013 年诺贝尔化学奖授予了三位美国科学家,获奖理由是"为复杂化学系统创立了多尺度模型",对于化学家而言,多尺度计算化学模型的建立使计算机变得像试管一样重要。从应用的角度而言,大规模的计算资源和大量的"黑箱"计算程序的出现使得越来越多的研究可以应用理论和计算的方法研究自然科学问题。   <strong>2017 年诺贝尔物理学奖</strong>   2017 年诺贝尔物理学奖授予了“首次探测到引力波”的三位美国科学家,在引力波的这一发现过程中,激光干涉仪前四个月的观测数据量达 500TB,总共消耗了 17 亿 CPU 核小时的计算资源对数据进行处理。   <strong

在“云”上做科研,是种什么体验?

人盡茶涼 提交于 2020-01-03 20:28:11
  如今,做研究的人需要什么?   试管?文献?电脑?如果再来一朵 “云”会怎样?   别误会,并不是让科研人员上天做科研,而是——给他们一朵“中国科技云”。   <strong>大数据时代呼唤科技云</strong>   以“数据密集型”和“大数据”驱动的科学研究范式带来了科研方法论的变革,正成为科学发现的新引擎。   数据与计算平台已经成为当代科学研究重要的信息基础设施,并且将融汇贯穿于整个科学研究活动的全过程。<strong>近年来,几乎在任何一项的重大科学发现和重大科技计划中,数据与计算平台都在扮演着无可替代的角色</strong>   <strong>2013 年诺贝尔化学奖</strong>   2013 年诺贝尔化学奖授予了三位美国科学家,获奖理由是"为复杂化学系统创立了多尺度模型",对于化学家而言,多尺度计算化学模型的建立使计算机变得像试管一样重要。从应用的角度而言,大规模的计算资源和大量的"黑箱"计算程序的出现使得越来越多的研究可以应用理论和计算的方法研究自然科学问题。   <strong>2017 年诺贝尔物理学奖</strong>   2017 年诺贝尔物理学奖授予了“首次探测到引力波”的三位美国科学家,在引力波的这一发现过程中,激光干涉仪前四个月的观测数据量达 500TB,总共消耗了 17 亿 CPU 核小时的计算资源对数据进行处理。   <strong

在“云”上做科研,是种什么体验?

若如初见. 提交于 2020-01-03 00:04:16
  如今,做研究的人需要什么?   试管?文献?电脑?如果再来一朵 “云”会怎样?   别误会,并不是让科研人员上天做科研,而是——给他们一朵“中国科技云”。   <strong>大数据时代呼唤科技云</strong>   以“数据密集型”和“大数据”驱动的科学研究范式带来了科研方法论的变革,正成为科学发现的新引擎。   数据与计算平台已经成为当代科学研究重要的信息基础设施,并且将融汇贯穿于整个科学研究活动的全过程。<strong>近年来,几乎在任何一项的重大科学发现和重大科技计划中,数据与计算平台都在扮演着无可替代的角色</strong>   <strong>2013 年诺贝尔化学奖</strong>   2013 年诺贝尔化学奖授予了三位美国科学家,获奖理由是"为复杂化学系统创立了多尺度模型",对于化学家而言,多尺度计算化学模型的建立使计算机变得像试管一样重要。从应用的角度而言,大规模的计算资源和大量的"黑箱"计算程序的出现使得越来越多的研究可以应用理论和计算的方法研究自然科学问题。   <strong>2017 年诺贝尔物理学奖</strong>   2017 年诺贝尔物理学奖授予了“首次探测到引力波”的三位美国科学家,在引力波的这一发现过程中,激光干涉仪前四个月的观测数据量达 500TB,总共消耗了 17 亿 CPU 核小时的计算资源对数据进行处理。   <strong

为什么数据科学家们总是在离职的路上

旧街凉风 提交于 2019-12-01 08:27:50
相信在这个时代的当下,大家或多或少都有看到过类似“数据科学是21世纪最性感工作”的故事,以及数据科学家在这个时代显得是一份十分理想且具有超强吸金能力的工作。因为这个领域需要大量高技能人才,他们需要寻求解决复杂问题的办法(这对于“极客”来说是一件很有吸引力的好事)。总之,大家的描述都让这份工作在技术人的眼中显得十分梦幻、可爱。 但事实是,正如英国《金融时报》在这篇文章中所说,数据科学家通常“每周花1-2小时寻找新工作”。此外,文章还指出,“机器学习专家在说他们正在寻找一份新工作的开发人员中排名第一,占14.3%。数据科学家紧随其后,占13.2%,“这些数据是在他们对64000名开发者的调查中通过堆栈溢出的方法收集的。 作为数据科学从业人员,我也一直有着这样的状态和想法。 那么为什么有这么多数据科学家在寻找新的工作呢? 在回答这个问题之前,我应该澄清一点,我仍然是一名数据科学家。总的来说,我很喜欢这份工作,我不想让其他人不想成为数据科学家,因为这份工作真的是有趣的、刺激的和有意义的。本文的目的是扮演一个魔鬼的倡导者并袒露这项工作的一些消极方面。 从我的角度来看,许多数据科学家对他们的工作不满意主要有以下4个原因: 1.期望与现实不符 Big data is like teenage sex: everyone talks about it, nobody really knows

为什么数据科学家们总是在离职的路上

五迷三道 提交于 2019-11-30 07:43:29
相信在这个时代的当下,大家或多或少都有看到过类似“数据科学是21世纪最性感工作”的故事,以及数据科学家在这个时代显得是一份十分理想且具有超强吸金能力的工作。因为这个领域需要大量高技能人才,他们需要寻求解决复杂问题的办法(这对于“极客”来说是一件很有吸引力的好事)。总之,大家的描述都让这份工作在技术人的眼中显得十分梦幻、可爱。 但事实是,正如英国《金融时报》在这篇文章中所说,数据科学家通常“每周花1-2小时寻找新工作”。此外,文章还指出,“机器学习专家在说他们正在寻找一份新工作的开发人员中排名第一,占14.3%。数据科学家紧随其后,占13.2%,“这些数据是在他们对64000名开发者的调查中通过堆栈溢出的方法收集的。 作为数据科学从业人员,我也一直有着这样的状态和想法。 那么为什么有这么多数据科学家在寻找新的工作呢? 在回答这个问题之前,我应该澄清一点,我仍然是一名数据科学家。总的来说,我很喜欢这份工作,我不想让其他人不想成为数据科学家,因为这份工作真的是有趣的、刺激的和有意义的。本文的目的是扮演一个魔鬼的倡导者并袒露这项工作的一些消极方面。 从我的角度来看,许多数据科学家对他们的工作不满意主要有以下4个原因: 1.期望与现实不符 Big data is like teenage sex: everyone talks about it, nobody really knows