rack

Google 是如何设计 Ruby Serverless Runtime 的?

孤街浪徒 提交于 2021-02-01 10:50:28
Google 在设计 Ruby Serverless Runtime 时面临的一些设计问题,做出的决策以及为什么做出这些决策。 本文来源: ServerlessLife 公众号 原文:https://daniel-azuma.com/blog/2021/01/20/designing-a-ruby-serverless-runtime 作者:Daniel Azuma(Google) 译者:donghui 2021年1月中旬,Google 宣布了 Cloud Functions 的 Ruby 运行时公测。Cloud Functions 是 Google 的函数即服务(Faas)平台。在过去的一年时间里,Google Cloud Functions 对 Ruby 语言的支持已经落后于其他语言,但是我们现在已经赶上了,我想我会分享该产品背后的一些设计过程。 本文不是传统的设计文档。我不会逐步介绍设计本身。相反,我想讨论我们面临的一些设计问题,做出的决策以及为什么做出这些决策。因为这是一个关于如何将 Ruby 约定与公共云约定融合的有趣练习。我认为,我们做出的一些权衡,代表着整个 Ruby 社区随着行业的发展而面临的挑战。 一种实现 Ruby Serverless 化的方式 为 Serverless 产品提供 Ruby 支持比您预期的要复杂得多。从最基本的角度来看,语言运行时只是 Ruby

Hadoop之HDFS

放肆的年华 提交于 2021-01-31 05:31:12
微信公众号: 北风中独行的蜗牛 HDFS 全称 Hadoop Distributed File System - Hadoop分布式文件系统,是Hadoop项目的核心子项目,对海量数据进行进行存储与管理 HDFS存储块为128M 现在HDFS的block的默认大小为128M。寻址时间指的是在HDFS中,找到目标block的时间。如果block越大,寻址时间就越短,因为NameNode中存储的元数据就越少,但是明显传输时间会就变大,反之,寻址时间就越长。通常MapReduce中每一个任务只会处理一个块,如果block太大也会影响任务的执行时间。经过前人的研究,寻址时间平均为10ms比较合适,就是查找block的时间为10ms,寻址时间为传输时间的1%,也就是10/0.01=1S,现在磁盘的读取速率大概为100M/s,所以每秒大概为100M,取2的指数级,即为128M。如果磁盘的读取速率 为200M/s, 则block的大小为256M。Block的大小 在hdfs-site.xml 中设置,name为dfs.blocksize 机架感知 数据块的存储涉及到一个概念,叫做机架感知。意思是同一个数据的备份,会放到不同机架的不同节点上,防止数据的丢失。通常冗余的数据为3,放数据的策略是第一个block放到与client同一个机器的DataNode节点上,如果Client不在集群范围

Why doesn't work rack-cors?

风格不统一 提交于 2021-01-28 09:16:02
问题 config/application.rb require_relative 'boot' require 'rails/all' Bundler.require(*Rails.groups) module MyApp class Application < Rails::Application config.middleware.insert_before ActionDispatch::Static, Rack::Cors do allow do origins '*' resource '*', :headers => :any, :methods => [:get, :post, :options, :patch, :delete] end end end end Gemfile gem 'rack-cors', :require => 'rack-cors' another gems… bundle exec rake middleware use Rack::Cors another middleware… This is an error shown console

Hacker News 简讯 2020-09-10

允我心安 提交于 2020-12-24 03:23:18
最后更新时间: 2020-09-10 22:00 Relativty – An open-source VR headset - (relativty.com) Relatity–开源VR耳机 得分:235 | 评论:75 AMD Announces Ryzen “Zen 3” and Radeon “RDNA2” Presentations for October - (anandtech.com) AMD将于10月发布Ryzen“Zen 3”和Radeon“RDNA2”演示文稿 得分:45 | 评论:15 The surprising traits of good remote leaders - (bbc.com) 优秀的远程领导者令人惊讶的特质 得分:90 | 评论:34 Show HN: Relax your coding self with the soothing JavaScript simulation of rain - (itsrainingday.netlify.app) 展示HN:用舒缓的JavaScript模拟rain放松你的编程 得分:51 | 评论:20 Emacs is special regarding UIs - (gnu.org) Emacs对于ui来说是特别的 得分:250 | 评论:191 Former NSA chief Keith

盘古:阿里云飞天分布式存储系统设计深度解析

北城以北 提交于 2020-12-09 00:27:28
在10月19日的云栖社区在线培训上,来自盘古团队的吴洋分享了《盘古:飞天分布式存储系统实践》。他主要从以下三个方面进行了分享:盘古是什么?盘古是用来解决什么问题的?盘古是怎么解决问题的?他主要介绍了盘古的分布式系统架构和设计理念。 回顾视频: https://yq.aliyun.com/edu/lesson/play/392 本次视频直播的整理文章整理完毕,如下内容。 盘古是什么? 上图列举了目前主流的云计算厂商,我们发现一个很有趣的事情:所有云计算厂商都是“富二代”,它们的分布式存储技术全部采用自研技术,而没有用大家耳熟能详的开源分布式系统。 飞天梦 第一代飞天人的梦想是在大量廉价的PC服务器上,对外提供各种计算和存储服务。具体到以下几个组件:夸父,主要负责网络;女娲,主要负责协同;伏羲,主要负责调度;盘古,主要负责存储;神农,主要负责监控。 上图介绍了盘古的底层存储平台,其承担承上启下的作用。盘古作为分布式存储系统,主要提供两种类型的接口:Append Only接口,Random Access接口。 盘古是用来解决什么问题的? 单机的硬件或者系统总是不完美的,总是会小概率的出错,但是它又需要具有大规模下水平扩展的能力,因为它要管理大量的机器。这两个层面放在一起意味着出错是常态。 大规模下,小概率事件是常态 4%磁盘年损坏率,1%%机器日宕机率 Raid卡崩溃

HDFS--大数据应用的基石

╄→гoц情女王★ 提交于 2020-12-01 08:23:43
近 些 年 , 由 于 智 能 手 机 的 迅 速 普 及 推 动 移 动 互 联 网 技 术 的 蓬 勃 发 展 , 全 球 数 据 呈 现 爆 发 式 的 增 长 。 2 0 1 8 年 5 月 企 鹅 号 的 统 计 结 果 : 互 联 网 每 天 新 增 的 数 据 量 达 2 . 5 * 1 0 ^ 1 8 字 节 , 而 全 球 9 0 % 的 数 据 都 是 在 过 去 的 两 年 间 创 造 出 来 的 。 随 着 5 G 技 术 的 商 用 , 未 来 连 接 万 物 的 物 联 网 设 备 必 将 带 来 更 大 量 级 的 数 据 。 大 胆 预 期 , 我 们 即 将 走 进 数 据 大 爆 炸 的 时 代 。 诚 如 吴 军 博 士 所 说 : 谁 懂 得 数 据 的 重 要 性 , 谁 会 在 工 作 中 善 用 数 据 , 就 更 有 可 能 获 得 成 功 。 从 人 类 活 动 开 始 , 数 据 一 直 不 断 在 产 生 , 区 别 仅 在 于 数 据 的 存 储 方 式 是 否 取 得 了 进 步 。 从 古 老 的 壁 画 、 纸 张 到 现 代 的 硬 盘 , 存 储 能 力 跨 数 量 级 地 增 长 。 尽 管 如 此 , 在 大 数 据 时 代 , 单 纯 通 过 增 加 硬 盘 个 数 来 扩 展 计 算 机 文 件 系 统 存

BGP-E*** VXLAN 名词解释

天大地大妈咪最大 提交于 2020-10-25 10:42:42
RFC 7348 ToR: Top of Rack (一种数据中心的布线方式,就是在机柜的最上面安装接入交换机) VNI: VXLAN Network Identifier(or VXLAN Segment ID), The term is used as a representation of a 24-bit NVO instance identifier,with the understanding that VNI will refer to a VXLAN Network Identifier in VXLAN,or Virtual Netowrk Identifier in GENEVE,etc. (VXLAN网络中的标识符。一个VNI标识一个VXLAN网络?) VTEP: VXLAN Tunnel End Point.An entity that originates and/or terminates VXLAN tunnels. (VXLAN隧道的发起点 和/或 VXLAN隧道的结束点) VXLAN: Virtual eXtensible Local Area Network.(虚拟扩展局域网络) VXLAN Gateway: An entity that forwards traffic between VXLANs. (在VXLAN中转发流量的实体) RFC

ruby 一些不错的性能分析工具

余生颓废 提交于 2020-10-03 12:20:54
主要来自shopify的一篇文章,以下是一些性能工具 rbspy 基于rust 编写,多平台支持,参考 https://github.com/rbspy/rbspy , https://rbspy.github.io/ stackprof 主要平台是linux,参考 https://github.com/tmm1/stackprof rack-mini-profiler 支持的功能很多,db,调用链,内存,参考资料 https://github.com/MiniProfiler/rack-mini-profiler app_profiler shopify提供的也很不错,参考资料 https://github.com/Shopify/app_profiler 来源: oschina 链接: https://my.oschina.net/u/4375750/blog/4282137

浩辰CAD2021中文版

落爺英雄遲暮 提交于 2020-10-01 14:54:33
教程: 1、下载解压压缩包文件,得到64&32位安装包及文件,根据系统选择合适的安装包运行,进入安装引导界面; 资源地址在评论区! 2、进入安装引导后,选择软件的安装目录,正常默认即可,有需要的话也可自行更改,别忘记勾选同意软件许可协议; 3、点击安装后,软件开始安装,需要等待一段时间; 4、安装完成后,设置软件偏好界面风格,点击完成退出安装引导; 5、运行软件,我们选择一个软件版本,建议专业版; 6、文件关联,默认即可; 7、到这里找到刚开始后的文件,运行rack文件夹下的“KeyGen.exe”,选择浩辰CAD2021的安装目录, 8、出现成功提示就可以使用了。 来源: oschina 链接: https://my.oschina.net/u/4418764/blog/4650986

如何了解常见的三种物理服务器?具体场景帮助应用

做~自己de王妃 提交于 2020-10-01 14:41:02
常见的物理服务器一般分为三种形式,分别是塔式服务器、机架服务器、刀片服务器,它们每一种的应用场景均不同。本文详尽的阐述一下其具体的应用场景以便于用户自行的选择。 服务器一些基本概念我们或许也应该知道一下《公司配置选择服务器或云服务器必须要知道的知识-服务器概念篇》 塔式服务器 这种服务器是市场上最基本的服务器。就成本和空间而言,它类似于普通台式机。它们是垂直且独立的单元,包含服务器的所有传统组件:硬盘,主板,CPU,网络板,电缆等。还可以向塔式服务器(也称为塔式服务器)添加用于直接附加存储(DAS)的硬盘。 戴尔塔式服务器 塔式服务器非常适合空间有限且需要将数据处理系统集中在自己的存储室中的小型企业。就监视和维护公司网络资源而言,中心位置提供的最大功能是必不可少的 从而降低了他们遭受***和***的脆弱性。 许多专家建议公司开始运营的第一台服务器是塔式服务器,因为IT部门将能够根据其需求调整硬盘驱动器和服务器处理器的数量。例如,协作者少于25个的公司需要一台具有1个处理器和2或4个硬盘驱动器的服务器,而协作者更多的公司将需要在服务器上安装更多处理器和硬盘驱动器。 这种灵活性是此类服务器的一大优势。此外,塔式服务器通常不需要很多冷却器即可运行,因此产生的噪音通常较小。 机架服务器 Rack中的服务器是具有扩展插槽(称为插槽)的型号。 夹层,以添加网络接口卡等。此配置可有效利用空间