aws

AWS EC2 搭建 Hadoop 和 Spark 集群

笑着哭i 提交于 2019-12-24 21:31:58
前言 本篇演示如何使用 AWS EC2 云服务搭建集群。当然在只有一台计算机的情况下搭建完全分布式集群,还有另外几种方法:一种是本地搭建多台虚拟机,好处是免费易操控,坏处是虚拟机对宿主机配置要求较高,我就一台普通的笔记本,开两三个虚拟机实在承受不起; 另一种方案是使用 AWS EMR ,是亚马逊专门设计的集群平台,能快速启动集群,且具有较高的灵活性和扩展性,能方便地增加机器。然而其缺点是只能使用预设的软件,如下图: 如果要另外装软件,则需要使用 Bootstrap 脚本,详见 https://docs.aws.amazon.com/zh_cn/emr/latest/ManagementGuide/emr-plan-software.html?shortFooter=true ,可这并不是一件容易的事情,记得之前想在上面装腾讯的 Angel 就是死活都装不上去。 另外,如果在 EMR 上关闭了集群,则里面的文件和配置都不会保存,下次使用时全部要重新设置,可见其比较适用于一次性使用的场景。 综上所述,如果使用纯 EC2 进行手工搭建,则既不会受本地资源限制,也具有较高的灵活性,可以随意配置安装软件。而其缺点就是要手工搭建要耗费较多时间,而且在云上操作和在本地操作有些地方是不一样的,只要有一步出错可能就要卡壳很久,鉴于网上用 EC2 搭建这方面资料很少

每天半小时搞定 AoAWS (二十一)

大兔子大兔子 提交于 2019-12-24 16:09:47
Architecting on AWS 学习笔记系列文章导航页面 68.A company has a requirement for archival of 6TB of data .There is an agreement with the stakeholders for an 8-hour agreed retrieval time . Which of the following can be used as the MOST cost-effective storage option? A. AWS S3 Standard B. AWS S3 Infrequent Access C. AWS Glacier D. AWS EBS Volumes Note: Amazon Glacier is the perfect solution for this. Since the agreed time frame for retrieval is met at 8 hours, this will be the most cost effective option. For more information on AWS Glacier, please visit the following URL:( https://aws.amazon.com

也谈谈公有云

放肆的年华 提交于 2019-12-24 06:52:11
先看一篇文章: Building backbone network infrastructure: https://connectivity.fb.com/news/fiber-optic-cable/ 看看FB干的事情,够宏伟吧。 其实,不光FB,Google,AWS,甚至BAT都正在干或者准备干类似的事情… 发生了什么。 很早之前就看过一篇文章,就有人预测,公有云巨头最终会吃掉所有的网络设备厂商和运营商,现在看来,这并不夸张。 为什么资源会越来越多地集中向公有云巨头?我想这里面有个话语权转移的问题。 在互联网业务并不丰富的时代,人们上网主要就是浏览网页,下载音乐和视频到本地电脑…后来随着移动互联网的发展,手机几乎代替了电脑,以往服务器和客户端的对称被打破了,手机作为瘦机仅仅用来展示结果,而计算资源则顺理成章地向服务器端集中,这就是最初的那朵云,颇像1960~1970年代人们用终端登录大型机。 想想家里的电脑多久没有开机了? 这种趋势的结果有两个: 人们对手机操作系统多样性的期待有所降低。 丰富的业务对网络的要求有所提高。 Win-tel模式被打破了,随着3G,4G,5G的快速发展,为了提供必需的兼容性,核心网变得越来越复杂,传统网络厂商的产品迭代节奏无法满足需要,这便给了SDN一个机会,基于x86的通用白牌自研设备遍地开花,至少在数据机房里

Amazon生产力工具Chime 手把手配置

倾然丶 夕夏残阳落幕 提交于 2019-12-21 22:07:18
还是从困难模式开始,不看文档直接上手干。 Chime是Amazon对标MS Lync和Cisco Jabber的企业内部instant message和多人在线会议的产品。 下载页面https://aws.amazon.com/cn/chime/download-chime/ 装上了长这样 输个163邮箱试试 换个公司邮箱 看来是要提前准备点东西,跳到控制台瞧瞧,挺个性有自己单独的控制台 弄个账号先 试着邀请个user 打开邮箱里的“接受”跳转到了这个界面,先试下网页 妹的还让我注册亚马逊账号,又骗我网购 看看其它什么可以点的,声明域名看起来很高级的样子 要写DNS纪录, 看来得先搞个域名了,某讯去一块钱买不吃亏买不了上当,注册上之后把DNS改到Route53上去,等全球同步。(别问我为什么要用Route53,黑心某讯支持个四级域名都要单独花钱,不是我那啥账号没权限注册域名,我才不用某讯云) 完整后把chime要求的DNS纪录写上去,继续等同步。Route53是global的,Chime只跑在Virginia,这个点在下面还会提到。 ➜ ~ dig _amazonchime.awssa.club TXT +short "6409b7cc-4813-4f87-ab41-697ee5c71ffd" AD这里下拉列表一直是空的,无论我建了几个不同的directory service都无用

亚马逊考试AWS Certified Solutions -Professional 认证分享

混江龙づ霸主 提交于 2019-12-19 19:15:45
# 前面有一次助理级的考试认证分享,所以这一篇就不太多感情的话语打铺垫了 最近博客会更新的速度会抓起来了,最近确实被各种会议分享,标书,大客户的回访影响了。坚持这件事情一直没能做好,这一点要好好检讨。我就不立什么flag了,自律自律~~!! 贴个证书压压惊~!! 直接贴成绩单: Congratulations again on your achievement! Overall Score: 89% Topic Level Scoring: 1.0  High Availability and Business Continuity: 100% 2.0  Costing: 100% 3.0  Deployment Management: 85% 4.0  Network Design: 88% 5.0  Data Storage: 100% 6.0  Security: 79% 7.0  Scalability & Elasticity: 88% 8.0  Cloud Migration & Hybrid Architecture: 85% 这一次仍然是一样,随行一起考试的有三位兄弟(这一次妹子因为出差原因考试行程没赶上一起),不过这个月月底能完成认证,三位伙伴的考试成绩分别是: 88% 84% 86% 都是非常不错的成绩,一个人努力不如大家一起努力坚持,这句话还真有时候挺激励人的

亚马逊考试AWS Certified Solutions Architect - 通关分享

谁说我不能喝 提交于 2019-12-19 19:15:39
最近公司正在积极的build关于整体售前Team的亚马逊公有云能力,作为首当其冲的入门当然就是认证学习了。 关于亚马逊(AWS),我不就过多的去介绍了,这个全球云计算的领头羊好在哪里?为什么好?只有了解使用后才知道,原来这家云厂商的技术实力已经超过我们至少5-10年。 我依稀记得前阵子出现的ZTE的事件、芯片的事件,虽然我并不涉及这个领域,但个人对这个领域是有足够多的尊敬和敬畏的。好像是在某个媒体上发布过一篇报道,某研究院的一位教授聊过一些关于中国自主产权“技术可控”一方面的话题,其中让我印象非常深刻的“先不要谈超越,先要缩短差距···什么的”,大致反正就是“务实一点,有野心是值得 赞扬的,但不要过分放大我们现在的能量,还是要脚踏实地的去沉淀和积累”。 平心而论,我很多时候再工作中也是这样的,尽管这一次AWS的考试让我屡受挫折,但人嘛,总需要有一些韧劲 ~ ~~~在发今天这篇文章前,其实我已经有了两次考试AWS-SAA考试的经历,都是以fail告终,坦率来讲,内心多少有些“不爽和不甘心”的。 我晒下之前两次的成绩单 第一次: 貌似被我“糟糕的心态”delete了 第二次:lease wait 5-7 days for your exam results to populate into your certification account. Overall Score: 47%

AWS数据库容灾-RDS异号备份

 ̄綄美尐妖づ 提交于 2019-12-19 16:39:01
【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> AWS数据库容灾 项目要求 A账号定时将本账号北京区的RDS数据库进行快照备份,并将备份的快照分享给B账号,B帐号收到分享后及时将分享的快照复制到自己的北京区RDS快照组中进行备份。 解决方案 A账号中: 创建一个名为timer-trigger-lambda 的CloudWatch Scheduler Event用于定时触发lambda函数。 创建一个名为timer-create-dbSnapshot的lambda函数,当收到定时的Event触发时对要求的rds(或列出所有的rds)进行打快照处理 创建一个名为notify -manualCreateSnapshot-SNS-lambda的RDS时间订阅,订阅指定RDS实例(或所有实例)的快照处理事件,并将事件发送给SNS topic。 创建一个名为find-new-rds-snap的SNS的topic,用于接收RDS快照事件订阅并将订阅的事件转发给lambda函数,触发快照分享操作。 创建一个名为share-dbSnapshot-to-B的lambda函数,当接收到SNS的触发时进行指定快照的分享给B账号,并将过期的快照删除,并将结果发给SNS去通知B账号进行快照复制操作。 创建一个名为notify-to-B-NewShareSnapshot的SNS

Jenkins + Ansible + Gitlab之gitlab篇

怎甘沉沦 提交于 2019-12-18 04:03:26
前言 持续交付 版本控制器:Gitlab、GitHub 持续集成工具:jenkins 部署工具:ansible 课程安排 Gitlab搭建与流程使用 Ansible环境配置与Playbook编写规范 Jenkins环境构建与任务编写 Freestyle任务实现静态网站部署交付 Pipeline任务实现WordPress部署交付 适用对象 从事运维相关岗位的同学 想了解持续交付领域的同学 想拓宽自己的同学 奋战在运维交付第一线的同学 GitLab 什么是GitLab? GitLab是一个开源分布式版本控制系统 开发语言:Ruby 功能:管理项目源代码,版本控制,代码复用与查找 GitLab与GitHub的不同 GitHub分布式在线代码托管仓库,个人版本可直接在线免费使用,企业版本收费且需要服务器安装 GitLab分布式在线代码仓库托管软件,分社区免费版本与企业收费版本,都需要服务器安装。 GitLab的优势和应用场景 开源免费,适合中小型公司将代码放置在该系统中 差异化的版本管理,离线同步以及强大分支管理功能 便捷的GUI操作界面以及强大账号权限管理功能 集成度很高,能够集成绝大多数的开发工具 支持内置HA,保证在高并发下仍旧实现高可用性 GitLab主要服务构成 Nginx静态Web服务器 GitLab-workhorse轻量级的反向代理服务器 GitLab

AWS常见Services

一笑奈何 提交于 2019-12-15 01:43:34
计算 EC2 - Elastic Compute Cloud 提供云计算虚拟机。 AWS Batch - 批量配置和管理基础设施。 ECR - Elastic Container Registry 类似于Docker hub用于托管AWS Docker镜像的仓库。 ECS - Elastic Container Service 高度可扩展的管理容器的服务,可以管理集群上的容器。 EKS - Elastic Kubernetes Service 在AWS上运行kubernetes并使用其管理、扩展应用程序。 Elastic Beanstalk - 将EC2、ELB、ASG等服务集成在一起,可以是你快速部署应用,而不用关心基础设置配置。 Lambda - 来源: CSDN 作者: jiayong_2012 链接: https://blog.csdn.net/jiayong_2012/article/details/103463579

NVIDIA Jetson TX2 on GreenGrass

二次信任 提交于 2019-12-14 11:27:31
如果您刚开始使用 AWS IoT Greengrass,我们建议您使用 Raspberry Pi 或 Amazon EC2 实例作为您的核心设备,并且按照适合您的设备的 设置步骤 进行操作。要使用不同的设备或平台,请按照本部分中的步骤操作。有关支持的设备平台的信息,请参阅 Greengrass 核心平台兼容性 。 如果您的核心设备是 NVIDIA Jetson TX2,您必须先使用 JetPack 3.3 安装程序切换该固件。如果要配置不同的设备,请跳至步骤 2。 注意 您使用的 JetPack 安装程序版本基于目标 CUDA 工具包版本。以下说明使用 JetPack 3.3 和 CUDA Toolkit 9.0,因为 TensorFlow v1.10.1 和 MXNet v1.2.1 二进制文件(AWS IoT Greengrass 在 Jetson TX2 上提供用于机器学习推理)是针对此版本的 CUDA 编译的。有关更多信息,请参阅 执行机器学习推理 。 在运行 Ubuntu 16.04 或更高版本的物理桌面上,使用 JetPack 3.3 安装程序切换该固件,如 NVIDIA 文档的 下载并安装 JetPack (3.3) 中所示。 按照安装程序中的说明将所有软件包和依赖项安装在 Jetson 板上,后者必须通过 Micro-B 电缆连接到桌面。 以正常模式重启您的面板