OneFlow机器学习框架介绍

白昼怎懂夜的黑 提交于 2020-08-18 11:20:55

OneFlow 是什么?

OneFlow 是开源的、采用全新架构设计,世界领先的工业级通用深度学习框架。特点包括:

  • 分布式训练全新体验,多机多卡如单机单卡一样简单

  • 完美契合一站式平台(k8s + docker)

  • 原生支持超大模型

  • 近零运行时开销、线性加速比

  • 灵活支持多种深度学习编译器

  • 自动混合精度

  • 中立开放,合作面广

  • 持续完善的算子集、模型库

更多参考:

在线文档不仅有OneFlow系统设计的介绍,还包括以下模块:

本仓库包含中文文档和英文文档,分别存放于cn、en文件夹下,文档目录结构树:

.
├── quick_start             快速上手
├── basics_topics           基础专题
├── extended_topics         拓展专题
├── code                    文档示例代码
│   ├── basics_topics
│   ├── extended_topics
│   └── quick_start
├── adv_examples            高级应用实例 
├── extended_dev            待发布文章
└── contribute              OneFlow开源计划

API

我们的API在线文档部署在ReadTheDocs上:

同样,API文档项目也是开源的。

快速开始

安装 OneFlow 稳定发布版

使用以下命令安装 OneFlow 最新稳定版本:

python3 -m pip install --find-links https://oneflow-inc.github.io/nightly oneflow_cu102 --user

系统要求:

  • Python >= 3.5

  • Nvidia Linux x86_64 driver version >= 440.33

如果提示 找不到 对应版本,请尝试升级 pip

python3 -m pip install --upgrade --user pip

从源码编译安装 OneFlow

如果你希望通过编译源码安装 OneFlow,可以参考 OneFlow源码仓库的 README,在编译 OneFlow 源码之前,强烈推荐先阅读 Troubleshooting

安装 OneFlow with legacy CUDA

支持其它较早版本 CUDA 的 OneFlow 的安装方法如下:

python3 -m pip install --find-links https://oneflow-inc.github.io/nightly oneflow_cu101 --user
python3 -m pip install --find-links https://oneflow-inc.github.io/nightly oneflow_cu100 --user
python3 -m pip install --find-links https://oneflow-inc.github.io/nightly oneflow_cu92 --user
python3 -m pip install --find-links https://oneflow-inc.github.io/nightly oneflow_cu91 --user
python3 -m pip install --find-links https://oneflow-inc.github.io/nightly oneflow_cu90 --user

Benchmark

我们还在Benchmark项目中提供了一系列的基准模型,包括:

  • NLP相关的 BERT
  • CTR相关的 WideDeepLearning
  • CV相关的CNN分类模型: Resnet50VGG-16Inception-v3Alexnet

BenchMark项目:

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!