aws

AWS 目前是世界上市场份额最大的云服务商，在国内的市场比例因为各种原因远远比不上阿里云，但是在国际市场上，尤其是IaaS 这一块，AWS，Microsoft和 Google 几乎是三分天下。 云是否便宜？ 这是一个相对有争议性的话题，我抛砖引玉说说自己的看法。一般说起云服务，很多用户的第一反应就是便宜。从成本考虑的话，因人而异，我不认为云服务就一定会比线下的服务器更便宜。豆子的部门需要对集团旗下140多个大大小小的子公司进行IT的运维，经常有用户会问我们，如果我的服务器迁移到AWS上，大概一个月多少钱？上云之前，一般都会进行简单的成本计算进行对比，包括硬件成本，软件成本，人工成本以及各种维护的成本，包括机房的备份，UPS，空调等等。从效率上来说，IaaS的优越性在于可以让管理员完全忽略掉底层的存储，网络，主机，以及机房的相关配套设备，仅仅关注自己需要的服务上面，从人工的工时上节约了大量的时间和金钱；个人认为，对于一些大的公司而言，基础的机房建设投资不菲，上云肯定能节省大量的金钱和精力；但是对于某些小的客户而言，高可用的存储主机网络本来就不是他们关注的重点，一个普通的服务器足够满足所有的需求了，因为他们的IT的预算本来就很低，那么上云并不会节约太多开支。 AWS云服务和相关费用考虑 对于AWS来说，上云之前需要考虑哪些服务和费用呢？如果忽略掉潜在的重要开支

一、背景介绍 假定我们有一个 PHP 的应用程序，代码发布不需要进行编译，应用程序在 AWS 的 EC2 上面或者 On-Premises，在实现 CI/CD 的方式上面有很多方法，那我们如何利用 AWS 的 Develop Tooles 去实现呢？ 在这里，我首先介绍一下我们可能会用到的 AWS 服务： IAM ：配置 CodeDeploy，CodePipeline 相关的权限； CodeCommit ：应用程序代码存储库； CodeDeploy ：EC2/On-premises 平台的应用部署程序； S3 ：CodePipeline 过程中文件的存储位置，为整个 pipeline 过程提供文件来源； CodePipeline ：管理整个 pipeline 过程。 Amazon EC2 ：应用程序存放的服务器。 二、配置 EC2 2.1、为 EC2 创建 Service role 因为在整个 CI/CD 过程中，EC2 服务器需要从 S3 获取资源，我们这里就索性给了 AmazonS3FullAccess 。 https://docs.aws.amazon.com/zh_cn/codedeploy/latest/userguide/getting-started-create-iam-instance-profile.html#getting-started-create-iam

https://www.rightscale.com/ 全球云管理服务厂商RightScale发布了年度云状态报告，今年报告的十大主要内容包括：企业在多云平台上投入巨资、公共云继续快速增长，但是私有云却表现不佳。而微软Azure是增长最快的公共云，虽然亚马逊的AWS仍然占比最大。 每年RightScale都会对企业和中小型企业进行调查，分析云的采用情况。此前，RightScale已经被Flexera收购，今年的报告也是该公司被收购后的第一份报告。 今年，Flexera调查了超过123691名用户，他们在广泛的跨部门组织中采用云计算。其中，只有21％的受访者是RightScale的用户。在786名受访者中，456名来自1000多名员工的大型组织，而330名受访者来自中小型企业。 以下是今年的报告十大主要内容： 1.企业在多云平台上投入巨资 企业用户继续投资多个云平台，包括公共云和私有云。84％的受访者表示，使用了4个以上的云平台，10%表示只用了公共云平台，而3%是私有云，剩下3%表示没有任何计划。 使用4个以上云平台的受访者中，58%是私有和公共云混合使用，17%使用多个公共云平台，而9%使用多个私有云平台。 企业云策略 与2018年相比，混合云的采用率增加了7％，而使用多个公共云平台则增加4%。 企业混合云同比增长状况 2.公共云继续快速增长 23

CI/CD with Data: 通过AWS Developer Tools、 Kubernetes和Portworx来实现软件交付Pipeline的数据迁移能力 数据是应用最重要的部分。容器技术让应用打包和部署变得更快更容易。对于软件的可靠交付来说，测试环节变得更加重要。由于所有的应用都包含数据，开发团队需要办法来可靠的控制、迁移、和测试真实的应用数据。 对于一些团队来说，通过CI/CD pipeline来移动应用数据，为了保持合规性和兼容其他一些问题，一直是通过手动方式来完成的，无法有效扩展。通常只能适用于一小部分应用，而且无法在不同环境中迁移。目标应该是运行和测试有状态容器，如同无状态容器一样简单（有状态容器 – 例如数据库或者消息总线，其中运行是被追踪的；无状态容器 – 例如网页前端） 为什么测试场景中“状态-State”十分重要？一个原因是许多bug只会在真实数据的环境下才会产生。例如，你需要测试一个数据库的schema的升级，而一个小的数据集并不能完全代表包含复杂商业逻辑的关键应用。如果你需要进行端到端的完整测试，我们需要能够容易的管理我们的数据和State。 在本篇文章中，我们定义CI/CD Pipeline的参考架构，从而能够达到应用间的自动数据迁移。我们也展示如何配置CI/CD pipeline的步骤。 有状态Pipelines: 需要可迁移的卷 作为持续集成

（1）需要将swagger json转换成amazon api gateway 所需要的格式（根据Method Request中 Request Paths URL Query String Parameters HTTP Request Headers ---> Integration Request 中对应的： URL Path Parameters URL Query String Parameters HTTP Headers ）并在Integration Request中填写接口的相对应的信息： Integration type HTTP method Endpoint URL Content Handling 相关说明： ams只是遵守了swagger2的规范，并没有完全支持aws api gateway的扩展 aws api gateway 的json数据, You can fully define an API Gateway API in Swagger using the x-amazon-apigateway-auth and x-amazon-apigateway-integration extensions-------------这个说法是错误的。因为Spring fox2.6.1中的@Extension doesn't allow child

Amazon Elastic Container Service (Amazon ECS) 是一项高度可扩展的快速容器管理服务，可轻松运行、停止和管理集群上的 Docker 容器。 利用 Amazon ECS，可以通过简单的 API 调用来启动和停止基于容器的应用程序，可以从集中式服务获取集群状态，并可以访问许多熟悉的 Amazon EC2 功能 可以根据资源需求、隔离策略和可用性要求来安排容器在集群中的位置。借助ECS，无需操作自己的集群管理和配置管理系统，也无需担心扩展管理基础设施。 ECS 可用于创建一致的部署和构建体验，在微服务模型上构建先进的应用程序架构 ECS集成了Elastic Container Registry、Elastic Load Balancing、Elastic Block Store、Elastic Network Interfaces、Virtual Private Cloud、IAM 和 CloudTrail，可为您提供运行各种容器化应用程序或服务的完整解决方案 Amazon Elastic Container Registry (Amazon ECR) 是一项AWS Docker 容器注册表服务，可让开发人员轻松存储、管理和部署 Docker 容器映像。 启动类型 ECS支持两种启动类型：Fargate和EC2。 Fargate 启动类型

AWS 安全组是作用在每一个实例上的网络安全控制单元，相当于传统数据中心的防火墙，它是一个有状态的防火墙，安全组规则可控制允许到达与安全组关联的实例的入站流量以及允许离开实例的出站流量。，一般我们只需要设定它允许的入站协议端口即可。 下面以一个Web服务器（面向Internet,放在公有子网）和数据库服务器（只接受Web服务器的访问，放在私有子网）的安全组设置作为示例。 1、 创建一个Web 服务安全组，命名为“SG-web” 开放80、443、22端口。并把此安全级引用至创建的EC2中 注意上图中的SSH “Source”的下拉框中选择了“My IP”自动会填充为您当前访问AWS控制台所用的公网IP。建议用这样的方式来设置SSH的“Source”这样设置就只有您当前所有的IP地址可以连接这个EC2实例，安全风险更小。 创建完成后在控制台安全组列表中可以看到。 之后再创建Web EC2实例，并在第6步“选择一个现有的安全组”，选中已创建的“SG-Web”此EC2启动后就开放了80.443、和22端口。 2、 创建一个数据库服务器安全组，命名为”SG-DB” 开放3306和22端口（用于数据库的日常管理）。并把此安全组引用到新创建的DB EC2中。 注意下图的“source”都是选择的“custom”并且用“SG-Web” 安全组作为“source”。这样做的原因是DB

想象一下这样的场景，当你打开云服务账单时发现上面显示的金额远远超过你的预期；你开始从繁杂的账单明细中查找原因。结果你发现某些用于测试的资源在测试完成后没有及时关闭、你认为部分EC2资源超配但又无法确认、一些本该使用预留实例的应用仍然在使用按需实例计费……这些费用我要如何分摊下去？选择ECS云监控SaaS服务，以上问题即可迎刃而解。 ECS云监控SaaS服务 ECS云监控服务是架构于AWS之上的SaaS服务，只须简单几步绑定你的云服务账户，即可为你的云之旅提供全生命周期的帮助——当你计划使用云服务时，我们能根据您的需求做出预算评估或迁移评估；当您开始使用云服务时，我们会帮您实时监控云账户账单，给出成本拓扑、及时提醒当前使用的云资源可优化的机会从而把钱花在刀刃上，提供多种成本追溯方式让费用分摊不再复杂。账单分析让费用构成一目了然，甚至可细粒度查看到某个虚机磁盘的费用明细。多种花费预警和提醒机制保证您的云账户花费尽在掌握。此外，ECS云监控SaaS服务还可为您正在使用的云资源提供运维监控服务，涵盖了资源使用率、磁盘空间、网络流量等在不同时间跨度的细节信息，您可以对这些资源设置预警，从而可以在第一时间知道您的云资源使用情况，根据这些信息也可以为您的云资源是否超配或不足提供佐证。 您可以从中获益： 事前评估助决策： 输入云资源需求信息或将要迁移的相关数据，即可快速获得费用评估

新MAC 到手，安装AWS Cli AWS 官方文档链接： https://aws.amazon.com/cn/cli/ 打开终端 因为AWS Cli的安装需要 python 和PiP 所以，先检查Python 版本。我的MAC是默认安装有Python 2.7.10 但没有安装Python 3.6.3 下载路径： https://www.python.org/downloads/release/python-363/ 下载安装包后窗口安装。 再在终端中安装PiP 但是在安装AWS CLI时报错。 执行如下命令后 再次执行AWS CLI 安装成功 （没有细究原因，供与我遇到同样问题的朋友参考） 使用AWS CLI 连接AWS 宁夏区域 查看S3 存储桶成功。 来源： 51CTO 作者： ieihihc 链接： https://blog.51cto.com/ieihihc/2364211

1 存储过程 创建用于存储数据元的桶，可以选择数据元所驻留的地区（目前来说，选择东京、新加坡会快些，美国本土更便宜），上传数据元到桶，进行持久化存储。另外，可以对上传的数据元及桶进行访问控制、加密等设置。每个AWS账户可以创建多个用户，用户可以对所拥有的数据进行上述权限控制。 目前可存储的你内容有： (1)多媒体、音乐、图片 (2)视频监控文件 (3)医疗系统的档案、资料 (4)静态网站资料 2 管理 通过AWS管理控制台对数据进行控制。AWS控制台类似于EC2的web控制界面，或者通过API接口(Java、.Net)、REST接口编程实现。 3 S3功能简述 (1)创建桶、删除桶 (2)写入、读取、删除数据元，每个数据元的大小从1byte到5Tbyte (3)根据用户密钥，查询桶信息及数据元信息 (4)选择数据所存储的地区，东京 or 新加坡 or 其他 (5)数据元的权限设置，可以向指定的用户开放，加密等 (6)使用基于REST和SOAP接口，提供JAVA，net的SDK (7)便于添加其他功能，默认的下载协议是HTTP (8)提供AWS管理平台，对数据进行管理 (9)在进行存储或者检索数据时，对数据进行校验和计算，验证是否损坏 (10)去冗余存储，用户可以自定义一些文件，比如缩略图、转码媒体等，使得这些文件的存储冗余副本数目低于标准的冗余副本数目 (11)数据源的访问日志记录