catalyst

机器学习库（MLlib）指南 MLlib是Spark的机器学习（ML）库。机器学习具有可扩展性和易用性。 提供高级API ，它提供了以下工具： ML算法：常见的学习算法，如分类、回归、聚类和协同过滤 特征化：特征提取、变换、降维和选择 管道：用于构建、评估和调优ML管道的工具 持久性：保存和加载算法、模型和管道 实用程序：线性代数，统计学，数据处理等。 声明：基于DataFrame的API是主要API 基于MLlib RDD的API现在处于维护模式。 从Spark 2.0开始，在 spark.mllib 程序包已进入维护模式。Spark的主要机器学习API现在是 DataFrame -based API spark.ml 。 有什么影响 ？ MLlib将支持基于RDD的API spark.mllib 以及错误修复。 MLlib不会为基于RDD的API添加新功能 。 在Spark 2.x版本中，MLlib将为基于DataFrames的API添加功能，以实现与基于RDD的API的功能奇偶校验。 在达到功能奇偶校验（粗略估计Spark 2.3）之后，将弃用基于RDD的API。 The RDD-based API is expected to be removed in Spark 3.0. 预计将在Spark 3.0中删除基于RDD的API。

随着Internet的日益普及，人们对网络的依赖性也越来越强。这同时对网络的稳定性提出了更高的要求，人们自然想到了基于设备的备份结构，就像在服务器中为提高数据的安全性而采用双硬盘结构一样。核心交换机是整个网络的核心和心脏，如果核心交换机发生致命性的故障，将导致本地网络的瘫痪，所造成的损失也是难以估计的。 而目前对于业界的所有三层交换机均采用热备份路由协议（VRRP），而Cisco一般采用自己的私有协议热备份路由协议（HSRP），但是对于Cisco Catalyst 3750系列交换机一般采用堆叠的方式，通过自带的堆叠线将多台交换机堆叠在一起形成一个逻辑交换机。 那么下面先来看看堆叠与HSRP（热备份路由协议）的介绍。 堆叠 目前Cisco越来越多的产品支持堆叠了，目前支持堆叠型号有Cisco Catalyst 3750系列，而现在2960S以及3560X与3750X都支持，但是对于这些新型号要使用堆叠功能就必须使用专用的堆叠模块，而Cisco Catalyst 3750系列在包装箱中默认送了一根0.5的堆叠线，3750交换机相互之间通过思科专有的堆叠电缆连接起来，可将多达9台交换机堆叠成一台逻辑交换机。该逻辑交换机中的所有交换机共享相同的配置信息和路由信息。当向逻辑交换机增加和减少单体交换机时不会影响其性能。 叠加的交换机之间通过两条环路连接起来

Mac 的本领，突飞猛进。 音乐、播客，联袂登台 iTunes 曾深刻影响了人们的视听娱乐方式。如今，音乐和播客这两款全新 app 携手登场，让一切再次改变。每款 app 都彻彻底底重新设计，只为让你能在 Mac 上尽享娱乐的精彩。请放心，你原来在 iTunes 资料库里的所有内容，都能在相应的 app 中找到。iCloud 可以无缝同步你各个设备上的所有内容，你也可以直接将设备连接到 Mac 来进行备份、恢复和同步。 01 奏乐，欢迎 Apple Music 来到 Mac 上。 全新音乐 app 在 Mac 上带来精彩纷呈的在线音乐体验1。你可以尽情探索有着上千万首歌曲的音乐曲库，发掘新艺人和新作品，物色你的完美歌单，下载并离线收听，或是欣赏自己多年来的音乐收藏。这一切，都能在你各款设备上的音乐资料库中来查找。 你爱用的 App，Mac 上照样能用。 体验更非比寻常 iPad 上那些让你爱不释手的 app，现在也能在 Mac 上尽情体验了。有了 Mac Catalyst，开发者可以为众多备受喜爱的 iPad app 轻松创建 Mac 版。它们与你现有的 Mac app 一样，都是以原生方式运行，因此能相互之间随意拖放内容。此外，它们还可以充分发挥 Mac 大屏幕和强大架构的优势。由于这些 app 是从各自的 iOS 版本上加以构建，你在各个设备上的体验都能自然衔接、流畅无间

RDD vs DataFrames vs DataSet 在SparkSQL中Spark为我们提供了两个新的抽象，分别是DataFrame和DataSet。他们和RDD有什么区别呢？首先从版本的产生上来看： RDD (Spark1.0) —> Dataframe(Spark1.3) —> Dataset(Spark1.6) 如果同样的数据都给到这三个数据结构，他们分别计算之后，都会给出相同的结果。不同是的他们的执行效率和执行方式。 在后期的Spark版本中，DataSet会逐步取代RDD和DataFrame成为唯一的API接口。 RDD RDD是一个懒执行的不可变的可以支持Lambda表达式的并行数据集合。 RDD的最大好处就是简单，API的人性化程度很高。 RDD的劣势是性能限制，它是一个JVM驻内存对象，这也就决定了存在GC的限制和数据增加时Java序列化成本的升高。 Dataframe 与RDD类似，DataFrame也是一个分布式数据容器。然而DataFrame更像传统数据库的二维表格，除了数据以外，还记录数据的结构信息，即schema。同时，与Hive类似，DataFrame也支持嵌套数据类型（struct、array和map）。从API易用性的角度上看，DataFrame API提供的是一套高层的关系操作，比函数式的RDD API要更加友好，门槛更低

当前 Spark 计算引擎能够利用一些统计信息选择合适的 Join 策略（关于 Spark 支持的 Join 策略可以参见 每个 Spark 工程师都应该知道的五种 Join 策略 ），但是由于各种原因，比如统计信息缺失、统计信息不准确等原因，Spark 给我们选择的 Join 策略不是正确的，这时候我们就可以人为“干涉”，Spark 从 2.2.0 版本开始（参见 SPARK-16475 ），支持在 SQL 中指定 Join Hints 来指定我们选择的 Join 策略。 如果想及时了解Spark、Hadoop或者HBase相关的文章，欢迎关注微信公众号： iteblog_hadoop Join hints 允许用户为 Spark 指定 Join 策略（ join strategy）。在 Spark 3.0 之前，只支持 BROADCAST Join Hint，到了 Spark 3.0 ，添加了 MERGE, SHUFFLE_HASH 以及 SHUFFLE_REPLICATE_NL Joint Hints（参见 SPARK-27225 、 这里 、 这里 ）。当在 Join 的两端指定不同的 Join strategy hints 时，Spark 按照 BROADCAST -> MERGE -> SHUFFLE_HASH -> SHUFFLE_REPLICATE_NL

作者：Eugene Khvedchenya 编译：ronghuaiyang 导读 只报告模型的Top-1准确率往往是不够的。 将train.py脚本转换为具有一些附加特性的强大pipeline 每一个深度学习项目的最终目标都是为产品带来价值。当然，我们想要最好的模型。什么是“最好的” —— 取决于特定的用例，我将把这个讨论放到这篇文章之外。我想谈谈如何从你的 train.py 脚本中得到最好的模型。 在这篇文章中，我们将介绍以下技巧： 用高级框架代替自己写的循环 使用另外的度量标准监控训练的进展 使用TensorBoard 使模型的预测可视化 使用Dict作为数据集和模型的返回值 检测异常和解决数值的不稳定性 免责声明 ：在下一节中，我将引用一些源代码。大多数都是为[Catalyst]( https:// github.com/catalysts -team/catalyst)框架(20.08版)定制的，可以在pytorch-toolbelt中使用。 不要重复造轮子 建议1 — 利用PyTorch生态系统的高级训练框架 PyTorch在从头开始编写训练循环时提供了极佳的灵活性和自由度。理论上，这为编写任何训练逻辑提供了无限可能。在实践中，你很少会为训练CycleGAN、distilling BERT或3D物体检测从头开始实现编写训练循环。

一、成因 广播风暴指过多的广播包消耗了大量的网络带宽，导致正常的数据包无法正常在网络中传送，通常指一个广播包引起了多个的响应，而每个响应又引起了多个得响应，就像滚雪球一样，把网络的所有带宽都消耗殆尽。该现象通常是由于网络环路、故障网卡、病毒等引起的。 二、预防（以CISCO catalyst switch为例） 1、首先使用网管分析你网络的baseline，这样可以明确你的网络当中正常情况下的广播包比例是多少。 2、目前绝大多数交换机都支持广播风暴抑制特性，配置了这个特性以后，你可以控制每个端口的广播包维持在特定的比例之下，这样可以保留带宽给必须的应用。 配置：（以CISCO catalyst switch为例） Int XX storm-control broadcast level 20.00 switch#sh storm Interface Filter State Level Current --------- ------------- ------- ------- Fa1/0/1 Forwarding 20.00% 0.00% 3、针对缺省STP配置无法排除的网络环路问题，利用STP的BPDUguard特性来预防广播风暴。此种环路情况示意图如下： switch------hub(portA---portB) Switch启用了STP