sona

sona:Spark on Angel大规模分布式机器学习平台介绍

自闭症网瘾萝莉.ら 提交于 2019-12-13 07:49:35
Angel是一个基于参数服务器(Parameter Server)开发的高性能分布式机器学习平台,它基于腾讯内部的海量数据进行了反复的调优。 Angel的核心设计理念围绕模型,将高维度的大模型切分到多个参数服务器节点,并通过高效的模型更新接口和运算函数,以及灵活的同步协议,轻松实现各种高效的机器学习算法。 Angel基于Java和scala开发,能在Yarn上直接调度运行,并基于PS Service,支持Spark on Angel,集成了部分图计算和深度学习算法。 Angel-PS实现了基于参数服务器的矩阵计算,将分布在多台PS Server上的参数矩阵抽象为PSModel,只需要完成PSModel的定义、实现其计算过程,就可以实现一个运行在参数服务器上的简单算法。 简单的angel-ps架构如下图所示 PS是存储矩阵参数的多台机器,向计算节点提供矩阵参数的拉取、更新服务 每个worker是一个逻辑计算节点,一个worker可以运行一或多个task 机器学习的算法,一般以迭代的方式训练,每次迭代worker从PS拉取最新的参数,计算一个更新值,推送给PS Angel整体架构 angel的架构分为三大模块: 1、 Parameter Server层 :提供通用的参数服务器服务,负责模型的分布存储,通讯同步和协调计算,并通过PSAgent提供PS Service 2、worker层

sona: Spark on Angel部署教程

回眸只為那壹抹淺笑 提交于 2019-12-11 16:19:54
Spark on Angel同时支持yarn和local两种运行模型,从而方便用户在本地调试程序。 spark on Angel本质上是一个spark的application,但是多了一个附属的application。在任务提交成功后,集群上会出现两个独立的application,一个是spark application,一个是angel-PS application,两个application不关联,一个spark on Angel的作业删除,需要用户或者外部系统同时kill两个。 Sona部署流程 安装spark 参考spark安装 安装sona 编译sona 编译环境依赖 * Jdk >= 1.8 * Maven >= 3.0.5 * Protobuf >= 2.5.0 需要和hadoop环境自带的protobuf版本保持一致。目前hadoop官方发布包使用的是2.5.0版本,所以推荐使用2.5.0版本,除非你自己使用更新的protobuf版本编译了hadoop。 git clone https://github.com/Angel-ML/sona.git 编译:进入源码根目录 mvn clean package -Dmaven.test.skip=true 编译完成后,在源码根目录dist/target目录下会生成一个发布包:sona-0.1.0-bin.zip

show/hide some menus depend on the Sonata admin ROLE

匿名 (未验证) 提交于 2019-12-03 07:50:05
可以将文章内容翻译成中文,广告屏蔽插件可能会导致该功能失效(如失效,请关闭广告屏蔽插件后再试): 问题: I'm working on a web project using Symfony2 , and i used Sonata Admin for the admin Panel , every thing works fine but what i want to do is ,on the dashboard menus of sonata Admin , i need to show hide some menus depend on the admin ROLE , so did any one do this before or know how to do it ? i tryed to use the config of the roles but when i'm connecting with a ROlE diffrent of ROLE_SONATA_ADMIN the top menu dont show up , - { path: ^/admin, role: [ROLE_ADMIN, ROLE_SONATA_ADMIN,ROLE_ADMIN_NEWS] } thanks 回答1: i found the solution for this i