ray

Spark中文峰会第二日，就在本周日上午杭州会场，错过悔十年的压轴好戏来了～ SPARK + AI SUMMIT 2020 中文精华版线上峰会 ，十四位来自北京、上海、杭州、硅谷的PMC和意见领袖，一一还原英文现场的经典分享。 除 Databricks、Facebook、阿里巴巴、Intel 、领英等一线厂商的经典应用场景外，还有Ray、SQL、Structured Streaming、 MLflow、Koalas、K8s、Delta lake、Photon等新奇议题及社区生态的最新落地。 点击 详细议程 7月5日上午议题： 利用闪存优化在Cosco基础上的Spark Shuffle 吴一 Databicks开源项目组软件工程师，主要参与开源社区Spark和公司产品Databricks Runtime的研发。最近两年专注于Spark及大数据技术领域 来源： oschina 链接： https://my.oschina.net/u/4343506/blog/4332580

最近看了某公众号文章，推荐了所谓的神器，据说读取速度吊打pandas，可谓牛逼。 抱着学习的精神，网上搜了文章，发现了一些端倪，事实真是这样吗？来一起揭秘真相。 首先安装包 # pip install ray # pip install dask # pip install modin 安装版本 Successfully installed aiohttp-3.6.2 async-timeout-3.0.1 google-2.0.3 multidict-4.7.6 py-spy-0.3.3 ray-0.8.5 redis-3.4.1 yarl-1.4.2 Requirement already satisfied: dask in /Applications/anaconda3/lib/python3.7/site-packages (2.11 .0) Successfully installed modin -0.7.3 pandas-1.0.3 Successfully uninstalled ray -0.8.5 Successfully installed pyarrow -0.16.0 ray-0.8.4 导入包测试 import modin.pandas as pd # ImportError: Please `pip install modin[ray]` to

光线跟踪（Ray tracing），又称为光迹追踪或光线追迹，来自于 几何光学 的一项通用技术，它通过跟踪与光学表面发生交互作用的光线从而得到光线经过路径的模型。它用于光学系统设计，如照相机镜头、显微镜、望远镜以及双目镜等。这个术语也用于表示三维计算机图形学中的特殊 渲染 算法，跟踪从眼睛发出的光线而不是光源发出的光线，通过这样一项技术生成编排好的场景的数学模型显现出来。这样得到的结果类似于光线投射与 扫描线渲染 方法的结果，但是这种方法有更好的光学效果，例如对于反射与 折射 有更准确的模拟效果，并且效率非常高，所以当追求这样高质量结果时候经常使用这种方法。 在物理学中，光线追迹可以用来计算 光束 在介质中传播的情况。在介质中传播时，光束可能会被介质吸收，改变传播方向或者射出介质表面等。我们通过计算理想化的窄光束（光线）通过介质中的情形来解决这种复杂的情况。 在实际应用中，可以将各种电磁波或者微小粒子看成理想化的窄波束（即光线），基于这种假设，人们利用光线追迹来计算光线在介质中传播的情况。光线追迹方法首先计算一条光线在被介质吸收，或者改变方向前，光线在介质中传播的距离，方向以及到达的新位置，然后从这个新的位置产生出一条新的光线，使用同样的处理方法，最终计算出一个完整的光线在介质中传播的路径。 由于该算法是成像系统的完全模拟，所以可以模拟生成十分复杂的图片。

云栖号资讯：【 点击查看更多行业资讯 】 在这里您可以找到不同行业的第一手的上云资讯，还在等什么，快来！ 最近，由于工作需要，作者接触了网商银行的一个项目。项目里对应的业务模型设计，是我工作这三年来见过的所有模型里最复杂的。于是，利用五一这个短暂的假期，我温习了一遍领域建模相关的知识，对于领域模型的设计，有了一些额外的思考。 在领域界有一本书 《Domain-Driven Design》，是Eric编写的，这本书在Goodreads上的评分是4.15分（相当高）。书中有这样的一段话： “软件开发人员几乎总是专注于技术，把技术作为自己能力的展示和成功的度量......当领域很复杂时，这是一项艰巨的任务，要求高水平技术人员的共同努力。开发人员必须钻研领域以获取业务知识。他们必须磨砺其建模技巧，并精通领域设计。“ 书中所强调的领域设计的能力，是对技术人员综合能力评估的一种体现。在我看来，这是属于在软件工程这个方向中，T-1级别的能力。而所谓的领域建模，是一种通过日常不断实践，来强化开发人员思维，逼迫开发人员进入深度思考的过程，并通过在这个过程中的不断锤炼，可以使得开发人员形成结构化思考方式的方法论。 但是，需要注意的是，领域模型本身的定义，在不同的方法论和流派中，是有一些区别的。领域建模的方法也有多种。不过，求同存异，没有对错之分。 在本文，我主要是写一写我对于领域建模的理解

Direct3D11学习：（零）常见问题及解决方法整理 参考文章： （1）Direct3D11学习：（零）常见问题及解决方法整理 （2）http://www.cnblogs.com/ray1024/p/6066549.html 备忘一下。 来源： oschina 链接： https://my.oschina.net/u/4290910/blog/4322403

就像人类社会每当出现结构性大变局时，土地、资源兼并，财富和权力洗牌的故事就会重复上演一样，如今的中国互联网，也正在上演类似的剧情。 新商业变革、技术革新、竞争格局剧变，加上席卷全球的疫情“黑天鹅”事件爆发，在诸多因素叠加之下，2020年的赛程过半，中国互联网公司的折叠，按下了快进键。 少数公司成为了幸运儿。腾讯、 阿里巴巴 、拼多多、 字节跳动) 、美团点评、京东等巨头们的市值或估值，刷新了一个又一个纪录，他们依然在征战中书写着商业大航海的传奇故事。 大部分公司或主动或被动撤退：车好多、 58到家 缩减其支出；新浪、 聚美优品们排队退市，他们正考虑通过其他方式谋求更丰富的资本支持；青客、蛋壳、瑞幸咖啡等一众公司，脆弱的商业模式和捉襟见肘的现金流毫不修饰得展现在公众面前；百度、趣店，曾经的明星公司风光不再；甚至还有一些公司，已经走到了破产的边缘..... 更有趣的是，这些幸运儿们原本就已经是巨头公司，而如今，疫情期间增长的势能，将帮助他们积累起长远的优势，助推它们有机会成为更大的超级平台；与之形成鲜明对比的公司，则陷入挣扎的困境之中。一场加速折叠，正在中国互联网公司之间上演。 少数幸运儿 变化来得天翻地覆，让人分不清是“灾难”还是机遇。 京东超市负责牛奶采购的张毅手机里，收到了58条销售异常系统监测预警信息。后来，他打开电脑才发现，突发的疫情加上春节假期导致供需严重失衡

目录 ML-Agents（九）Wall Jump 一、前言 二、课程训练（Curriculum Learning） 一个教学示例 具体实现 三、环境与训练参数 四、场景基本构成 五、代码分析 Agent初始化 环境观测值收集 Agent动作反馈 Agent重置 其他 六、训练 训练配置参数 开始训练 七、总结 ML-Agents（九）Wall Jump 一、前言 这次我们来看一下 Wall Jump 示例，这个例子又和我们之前学习的示例不同，它引用了 Curriculum Learning （课程学习）的学习方法，简单来讲就是使用授课学习的方式来训练神经网络，学习的样本从易到难，模拟人类学系的过程。先来看看本示例的最终效果： 由图中可以看到本示例的效果，小蓝需要越过蓝色的墙体到达绿色的目标地点，此外还可以留意到，蓝色的墙体高度是随机变化的：当蓝色的墙体较高时，小蓝推动大白块当梯子才能越过墙体；当蓝色墙体高度较低时，小蓝则可以直接跳跃过去。 因此，在本示例中，小蓝拥有两个训练好的训练模型—— SmallWallJump 和 BigWallJump ，分别对应矮墙（无墙）和高墙情况下的行动。 下面我们先来学习一下官方对于Curriculum Learning的相关文档。 二、课程训练（Curriculum Learning） 这一节内容主要是翻译官方文档 Training with

在设计中，我们常被允许、鼓励打破设计规则，这时你至少需要知道这些规则，才能正确的打破它们。 本文列出了一些基本的规则和技巧，从字体、排版到色彩、样式，涵盖了大部分设计中常见的错误，帮助你在设计中避免它们。 1. 不要忘了字间距。 设计中糟糕的字间距是常犯的错误，初期定好恰当的字间距很重要。 字间距是指两个字母之间的距离，这也许看起来不起眼，但是好的间距会使你的设计更加美观、有序。 2. 不要为了视觉的美感而忽略文字的可读性/清晰度。 设计的首要任务是与用户进行信息交流，所以把文字的可读性和清晰度放在首位是有道理的。 是什么妨碍了文字的可读性和清晰度呢?我们列举了如下情况： 文字色与背景色对比不明显： 需通过提高两者间的对比度来解决。 滥用大写字母： 大写字母在带给用户“大声呼喊”般震撼的同时，也会影响眼睛对字母的辨识度。这是因为当文字都大写时，每个字母都是相同高度，并且都是相似的方形，而小写字母的高低不齐更易被辨认。 文字过小： 有时为了让设计看起来精致，我们会缩小字号，但请换位思考一下，用户在阅读这些小字时是否会觉得困难? 有一个方法是找其他人来实际体验以发现问题，因为我们可以很容易辨认自己设计中的文字，但其他人不会。 千万不要为了追求美观，而牺牲与用户的顺畅交流，请谨慎对待你的排版! 3. 文本宽度保持在适合的范围内。 你是否很吃力的阅读过一篇文章

本周六下午，上海会场的讲师已经准备就绪～ SPARK + AI SUMMIT 2020 中文精华版线上峰会 ，十四位来自北京、上海、杭州、硅谷的PMC和意见领袖，一一还原英文现场的经典分享。 除 Databricks、Facebook、阿里巴巴、Intel 、领英等一线厂商的经典应用场景外，还有Ray、SQL、Structured Streaming、 MLflow、Koalas、K8s、Delta lake、Photon等新奇议题及社区生态的最新落地。 点击 详细议程 7月4日下午议题： 使用 RayOnSpark 在大数据平台上运行新兴的人工智能应用 黄凯 Intel 大数据团队软件工程师。负责开发基于 Apache Spark 的数据分析和 AI 平台，同时支持企业客户在大数据平台上构建端到端的深度学习应用。他是大数据和 AI 开源项目 An 来源： oschina 链接： https://my.oschina.net/u/4321806/blog/4331384

一直没有找到ubuntu上自动更新vs code的有效方法。 今天在stackoverflow发现了一个帖子说的很好，成功的更新了我的vs code。 第一步执行 chenrui@chenrui:~/Downloads$ wget https://vscode-update.azurewebsites.net/latest/linux-deb-x64/stable -O /tmp/code_latest_amd64.deb 1 命令：wget https://vscode-update.azurewebsites.net/latest/linux-deb-x64/stable -O /tmp/code_latest_amd64.deb 再次执行下一个命令 chenrui@chenrui:~/Downloads$ sudo dpkg -i /tmp/code_latest_amd64.deb 1 命令：sudo dpkg -i /tmp/code_latest_amd64.deb 关闭vs code，然后再次打开会看到release note的页面，说明已经完成更新。 这篇文章更多解决方案的链接地址 如果有的小伙伴依然没有能够解决，继续google，bing，baidu。 ———————————————— 版权声明：本文为CSDN博主「Hello_Ray」的原创文章，遵循CC 4.0