数据与信息

集体智慧编程pdf下载

时光总嘲笑我的痴心妄想 提交于 2019-11-27 00:10:34
下载地址: http://gqylpy/di/305 本书以机器学习与计算统计为主题背景,专门讲述如何挖掘和分析Web上的数据和资源,如何分析用户体验、市场营销、个人品味等诸多信息,并得出有用的结论,通过复杂的算法来从Web网站获取、收集并分析用户的数据和反馈信息,以便创造新的用户价值和商业价值。全书内容翔实,包括协作过滤技术(实现关联产品推荐功能)、集群数据分析(在大规模数据集中发掘相似的数据子集)、搜索引核心技术(爬虫、索引、查询引擎、PageRank算法等)、搜索海量信息并进行分析统计得出结论的优化算法、贝叶斯过滤技术(垃圾邮件过滤、文本过滤)、用决策树技术实现预测和决策建模功能、社交网络的信息匹配技术、机器学习和人工智能应用等。本书是Web开发者、架构师、应用工程师等的绝佳选择。 来源: https://www.cnblogs.com/gqy02/p/11336210.html

关于数据元、元数据、主数据、交易数据、主题数据、数据资源、大数据、数据湖等数据相关概念理解和总结

。_饼干妹妹 提交于 2019-11-26 15:07:38
注:本文于2019年1月31日发表于微信公众号 谈数据(learning-bigdata),本公众号将于4月21日发布一篇关于《数据治理之元数据管理》的文章,有兴趣可以扫描下方二维码关注。 在和一些客户、同事聊数据的时候,发现好多人对于数据相关的一些概念、作用并不是很清楚。这里我针对自己工作接触和学习积累的一些内容给大家做一个总结和分享。如有偏颇,请斧正! 1、数据元 1.1 标准定义 [GB/T 18391.1-2002,定义3.14] ,用一组属性描述定义、标识、表示和允许值的数据单元,数据元由三部分组成:对象、特性、表示。 1.2 我的理解 数据元是组成实体数据的最小单元,或称原子数据,例如,客户联系方式中的手机号码,手机号为数据元,135****为数据元的值。 1.3 主要作用 数据元本身就是数据,一般用来对各行业的数据进行自身规范化的一个方法或一套指导的理论,规划好行业数据元之后,可以为行业构建出统一、集成的、稳定的数据模型奠定基础。 1.4 应用范围 数据元早期在金融、医疗等应用非常广泛,国家相关单位也出具了对于数据元管理的一系列技术标准和行业标准,例如:GB/T 18391.1 信息技术 数据元的规范和标准化;CFDAB-T-0301.1-2014 食品药品监管信息基础数据元…… 1.5 应用举例 CFDAB-T-0301.3-2014(食品药品监管信息基础数据元

大数据技术概念以及应用领域完全解读

放肆的年华 提交于 2019-11-26 14:59:36
在写这篇大数据文章之前,我发现身边很多IT人对于这些热门的新技术、新趋势往往趋之若鹜却又很难说的透彻,如果你问他大数据是什么,什么是大数据概念?估计很少能说出一二三来。究其原因,一是因为大家对大数据这类新技术有着相同的原始渴求,至少知其然在聊天时不会显得很“土鳖”;二是在工作和生活环境中真正能参与实践大数据的案例实在太少了,所以大家没有必要花时间去知其所以然。 我希望有些不一样,所以对该如何去认识大数据进行了一番思索,包括查阅了资料,翻阅了最新的专业书籍,但我并不想把那些零散的资料碎片或不同理解论述简单规整并堆积起来形成毫无价值的转述或评论,我很真诚的希望进入事物探寻本质。 如果你说大数据就是数据大,或者侃侃而谈4个V,也许很有深度的谈到BI或预测的价值,又或者拿Google和Amazon举例,技术流可能会聊起hadoop和Cloud Computing,不管对错,只是无法勾勒对大数据的整体认识,不说是片面,但至少有些管窥蠡测、隔衣瘙痒了。……也许,“解构”是最好的方法。 资料领取方式:加入大数据技术学习交流群522189307,点击加入群聊,私信管理员即可免费领取 怎样结构大数据? 首先,我认为大数据就是互联网发展到现今阶段的一种表象或特征而已,没有必要神话它或对它保持敬畏之心,在以云计算为代表的技术创新大幕的衬托下,这些原本很难收集和使用的数据开始容易被利用起来了

分布式主动感知在智能运维中的实践|分享实录

泄露秘密 提交于 2019-11-25 20:29:50
内容来源:宜信研发架构师肖云朋老师于WOT峰会分享《分布式主动感知在智能运维中的实践》 导读:企业数字化使得运维智能化转型成为必然,宜信积极推动 AIOps 在科技金融企业的落地实践。本次主题是探索 AIOps 落地的一种形式:通过行为采集、仿真模拟、主动感知等手段,从用户侧真实系统使用体验出发,结合全维监控数据,更加有效的实现智能异常检测和根因分析。 一、运维的发展 1.1 运维的价值 早期的运维工作比较简单,一般是先由系统集成工程师及研发工程师研发完项目后交付出来,再由负责运维工作的人员从后台做一些操作,保证系统正常运行。 图1 随着软件研发行业和技术的发展,运维的工作也变得越来越丰富。现阶段运维的工作与价值主要集中在三个方面: 1)效率 大量业务上线,运维人员需要保障快速高效地为系统提供资源、应对业务变更、响应操作请求。 2)质量 运维的目标是保障质量及系统的稳定性。也就是说,要保障业务和系统7*24小时在线上稳定运行,为用户提供流畅舒适的体验。为实现这个目标,运维的相关工作包括: 故障预测:没出现问题之前预测到故障发生的可能。 异常检测:出现问题时很快检测并定位到异常点。 根因分析:分析问题的诱因,找出真正导致问题的根本原因。 动态扩容:问题处理的过程中可能受到复杂因素的影响,需要对系统进行动态扩容。 服务降级:不影响核心业务的边缘业务可能需要做服务降级处理。 3)成本