jax

How to handle JAX reshape with JIT

核能气质少年 提交于 2021-01-28 22:01:59
问题 I am trying to implement entmax-alpha as is described in here. Here is the code. import jax import jax.numpy as jnp from jax import custom_jvp from jax import jit from jax import lax from jax import vmap @jax.partial(jit, static_argnums=(2,)) def p_tau(z, tau, alpha=1.5): return jnp.clip((alpha - 1) * z - tau, a_min=0) ** (1 / (alpha - 1)) @jit def get_tau(tau, tau_max, tau_min, z_value): return lax.cond(z_value < 1, lambda _: (tau, tau_min), lambda _: (tau_max, tau), operand=None ) @jit def

是时候学习机器学习系统设计了!斯坦福CS 329S开课,课件、笔记同步更新

。_饼干妹妹 提交于 2021-01-27 09:53:22
这是一门新的课程——在学习了算法、框架等内容后,是时候深入了解一下「机器学习系统设计」了! 机器之心报道,作者:蛋酱。 近日,斯坦福大学宣布开设一门全新课程:CS 329S《机器学习系统设计》。 课程主页: https:// stanford-cs329s.github.io / 这门课程的主讲人、计算机科学家 Chip Huyen 也在推特上认真宣传了一波(很多人应该都读过她的博客文章,因为这位小姐姐确实很有名气)。 机器学习系统设计的概念是指,为了满足特定要求,针对机器学习系统对软件体系架构、基础架构、算法和数据进行定义的过程。虽然现有的系统也可以满足大部分模型搭建的需求,但我们必须承认:首先,工具空间是不断革新的;其次,业务需求是不断变化的;最后,数据分布也是持续更替的。因此,「系统」是很容易过时的。如果不能及时更新,那么出错、崩溃都是可以预料的。这也是本门课程开设的初衷。 本门课程旨在为现实中的机器学习系统提供一个迭代框架,该框架的目标是构建一个可部署、可信赖、可扩展的系统。首先要考虑的是每个 ML 项目的利益相关者及目标,不同的目标则需要不同的设计选择,且要考虑如何权衡。 课程涵盖了 从项目界定、数据管理、模型开发、部署、基础架构、团队架构到业务分析的所有步骤 ,在每个步骤中,都会探讨不同解决方案的动机、挑战和局限性。在课程的最后一部分,将会探讨机器学习生产生态系统的未来

兼容PyTorch、TF,史上最灵活Python机器学习框架|一周AI最火论文

瘦欲@ 提交于 2020-10-08 02:22:19
      大数据文摘出品    作者:Christopher Dossman    编译:Olivia、Joey、云舟   呜啦啦啦啦啦啦啦大家好,本周的AI Scholar Weekly栏目又和大家见面啦!   AI ScholarWeekly是AI领域的学术专栏,致力于为你带来最新潮、最全面、最深度的AI学术概览,一网打尽每周AI学术的前沿资讯。   每周更新,做AI科研,每周从这一篇开始就够啦!    本周关键词 : 无监督学习、RL、张量网络    本周最佳学术研究    编写与PyTorch,TensorFlow,JAX和NumPy均兼容的代码   深度学习(DL)的进步正日益促进着越来越多DL框架的发展。这类框架提供了用于自动区分和GPU加速的高级且高效的API,并使得使用相对较少而直接的代码来实现异常复杂且功能强大的深度学习模型成为可能。   EagerPy是一个Python框架,可用于编写自动与PyTorch、TensorFlow、JAX和NumPy兼容的代码,而无需牺牲性能。   库开发人员不必选择仅支持这些框架之一而为每个框架重新实现库,或是选择处理代码重复问题。因此这类库的用户可以更轻松地切换框架,而不会被一个第三方库锁定。除了支持多框架之外,EagerPy还对链接到所有框架的方法都提供了详尽的类型注释和一致的支持。   Github传送门:   https

谷歌训练BERT仅23秒,英伟达A100破八项AI性能纪录,最新MLPerf榜单

﹥>﹥吖頭↗ 提交于 2020-08-05 07:08:04
  机器之心报道    编辑:泽南、张倩    在最新的 MLPerf 基准测试结果中,英伟达新出的 A100 GPU 打破了八项 AI 性能纪录,谷歌的 4096 块 TPU V3 将 VERT 的训练时间缩短到了 23 秒。华为昇腾 910 这次也跑了个分。      在距离推出不到一个月的时间里,内置超过 2000 块英伟达 A100 GPU 的全新 DGX SuperPOD 服务器就在各项针对大规模计算性能的 MLPerf 基准测试中取得了优异成绩。   在今天官方发布的 MLPerf 第三批 AI 训练芯片测试结果中,英伟达 A100 Tensor Core GPU 在全部八项基准测试中展现了最快性能。在实现总体最快的大规模解决方案方面,利用 HDR InfiniBand 实现多个 DGX A100 系统互联的服务器集群 DGX SuperPOD 系统也同样创造了业内最优性能。   行业基准测试组织 MLPerf 于 2018 年 5 月由谷歌、百度、英特尔、AMD、哈佛和斯坦福大学共同发起,目前已成为机器学习领域芯片性能的重要参考标准。此次结果已是英伟达在 MLPerf 训练测试中连续第三次展现了最强性能。早在 2018 年 12 月,英伟达就曾在 MLPerf 训练基准测试中创下了六项纪录,次年 7 月英伟达再次创下八项纪录。   最新版的 MLPerf 基准测试包含

AI开发者大会:2020年7月3日10:30--10:50李双峰《TensorFlow的最新进展》

给你一囗甜甜゛ 提交于 2020-07-28 01:56:07
AI开发者大会:2020年7月3日10:30--10:50李双峰《TensorFlow的最新进展》 目录 2020年7月3日10:30--10:50李双峰《TensorFlow的最新进展》 TensorFlow2:让机器学习更简单 TensorFlow2:易用性 TensorFlow2:灵活性 示例:看图回答问题 示例:TensorFlow2处理NLP问题 TensorFlow2:可扩展性 TensorFlow2:高性能 TensorFlow2:丰富的案例 TFLite TF.JS TF Hub JAX MLR TF Quantum 2020年7月3日10:30--10:50李双峰《TensorFlow的最新进展》 TensorFlow2:让机器学习更简单 TensorFlow2:易用性 TensorFlow2:灵活性 示例:看图回答问题 示例:TensorFlow2处理NLP问题 TensorFlow2:可扩展性 TensorFlow2:高性能 TensorFlow2:丰富的案例 TFLite TF.JS TF Hub JAX MLR TF Quantum 来源: oschina 链接: https://my.oschina.net/u/4408223/blog/4335819

WPF入门学习

一世执手 提交于 2020-04-26 11:40:39
强烈推荐WPF入门学习网站: https://www.wpf-tutorial.com/ INotifyPropertyChanged: 如果是类实例里的属性更改需要触发XAML改变,则该类需实现 INotifyPropertyChanged 接口。 https://www.cnblogs.com/jax/archive/2009/10/13/1582128.html 第一节。 Binding:绑定源可以是Wpf元素,.Net公用属性,自定义数据,ado.net数据、xml数据等。UpdateSourceTrigger有Default、Explict、LostFocus、PropertyChanged。 https://www.cnblogs.com/zhili/p/WPFBinding.html 第一、二、三节。 Binding:来源有Source、DataContext、Element、RelativeSource。RelativeSource有FindAncestor、PreviousData、Self、TemplatedParent。 https://www.c-sharpcorner.com/UploadFile/yougerthen/relativesources-in-wpf/ 优先级绑定:哪个先有值,就先赋值 https://docs.microsoft.com

WPF入门学习

纵饮孤独 提交于 2020-04-20 04:36:27
INotifyPropertyChanged: 如果是类实例里的属性更改需要触发XAML改变,则该类需实现 INotifyPropertyChanged 接口。 https://www.cnblogs.com/jax/archive/2009/10/13/1582128.html 第一节。 ObservableCollection 和List对比: ObservableCollection更耗性能;ObservableCollection实现了INotifyCollectionChanged、INotifyPropertyChanged接口,集合里每一条数据增删,都能触发改变。 https://www.cnblogs.com/jax/archive/2009/10/13/1582128.html 第二节。 BindingMode的OneTime、OneWay、TwoWay: OneTime性能较高,字段只需一次性设置则最好设置BindingMode为OneTime。 https://www.cnblogs.com/jax/archive/2009/10/13/1582128.html 第三节。 属性触发器: 当依赖属性的值改变时调用。 https://blog.csdn.net/cokeboxs/article/details/17372367 数据触发器: 当