OpenMMLab（智能媒体实验室）计划简介

从2018年年中开始，香港中文大学多媒体实验室（MMLab）就启动了OpenMMLab（https://github.com/open-mmlab）计划。这项计划的初衷是为计算机视觉的一些重要方向建立统一而开放的代码库，并不断把新的算法沉淀其中。我们相信，这一项工作可以推动可复现算法生态的建立，也是对计算机视觉社区的重要贡献。

主要项目包括：

目标检测-mmdetection， OpenMMLab Detection Toolbox and Benchmark.
图像分割-mmsegmentation，OpenMMLab Semantic Segmentation Toolbox and Benchmark.
视觉基础-mmcv, OpenMMLab Computer Vision Foundation.
图像视频编辑-mmediting，OpenMMLab Image and Video Editing Toolbox.
动作理解2-mmaction2,OpenMMLab's Next Generation Action Understanding Toolbox and Benchmark
3维目标检测-mmdetection3d, OpenMMLab's next-generation platform for general 3D object detection.
自监督学习-OpenSelfSup,Self-Supervised Learning Toolbox and Benchmark
服装时尚分析-mmfashion,Open-source toolbox for visual fashion analysis based on PyTorch
动作理解-mmaction,An open-source toolbox for action understanding based on PyTorch
光流提取-denseflow,Extracting optical flow and frames
图像分类-mmclassification,OpenMMLab Image Classification Toolbox and Benchmark
LiDar目标检测-OpenPCDet,OpenPCDet Toolbox for LiDAR-based 3D Object Detection.
姿势估计-mmpose,OpenMMLab Pose Estimation Toolbox and Benchmark.
非监督自适应对象识别-OpenUnReID,Open-source toolbox for unsupervised or domain adaptive object re-ID.
人体姿势估计-mmskeleton, A OpenMMLAB toolbox for human pose estimation, skeleton-based action

在OpenMMLab的首期计划中，我们开放了MMCV和MMDetection（初期版本）。在过去一年中，这些代码库已经产生了重要影响，MMDetection获得了超过4000个star和超过1000个fork。而且，越来越多的MMLab以外的研究团队开始把MMDetection作为实现新的目标检测算法的基础，并不断把他们开发的新算法回馈到MMDetection。

今天，我们进行OpenMMLab第二期发布。这一期包含两个重要的更新：

MMDetection（目标检测库）升级到1.0 ，提供了一大批新的算法实现
MMAction（动作识别和检测库）全新发布

MMDetection

Github地址：

https://github.com/open-mmlab/mmdetection

技术报告：

MMDetection: Open MMLab Detection Toolbox and Benchmark

最新的MMDetection是MMLab、商汤科技以及十多个研究团队（列表在我们的技术报告中）紧密合作，共同努力的成果。我们感谢这些团队的贡献，同时也欢迎更多的团队加入到这一项目。

相比于其它开源检测库，MMDetection有几个重要的优点：

高度模块化的设计。我们对不同的检测算法流程进行了分解，形成一系列可定制的模块。通过对这些模块的随机组合，我们可以迅速搭建不同的检测框架。
多种算法框架支持。MMDetection直接支持多种主流的目标检测与实例分割的算法框架，包括single-stage、two-stage、multi-stage等多种典型架构，以及各种新型模块。MMDetection还提供了200多个预训练的模型。
高计算性能。MMDetection所支持的主要模块均能在GPU上运行。整体的训练速度优于Detectron、maskrcnn-benchmark、以及SimpleDet。特别值得一提的是，MMDetection还直接支持混合精度训练以及多卡联合训练，这些技术的引入都能显著提高训练的效率。
先进算法。MMDetection提供了在MSCOCO 2018比赛中夺冠的HTC算法。随着越来越多研究团队加入到mmdetection的开发中，我们将持续保持和最新算法的同步。

下表比较了MMDetection和其它开源库。我们可以清楚地看到，它提供的算法远比其它的开源库丰富得多：

MMLab的研究团队还在MMDetection的基础上对相关算法进行了全方位的对比试验。我们比较了损失函数、归一化策略、训练尺度等一系列设计参数的选择对于检测性能的影响。新一代MMDetection以及上述比较实验在我们的[技术报告](MMDetection: Open MMLab Detection Toolbox and Benchmark)里都有详尽介绍。

MMAction

Github地址：

https://github.com/open-mmlab/mmaction

在深度学习刚刚开始进入计算机视觉领域的时候，MMLab已经开始了对使用深度学习进行视频动作分析的研究，提出了一系列有影响的算法框架。比如，我们在ECCV 2016提出的时序分段网络（Temporal Segmental Network）已经被广泛运用于实际系统中，并影响了很多新的算法设计。

我们基于过去几年的探索，建立了专门用于视频动作分析的统一代码库MMAction。它有以下的重要优点：

全面支持视频动作分析的各种任务，包括动作识别（action recognition）、时域动作检测（temporal action detection）以及时空动作检测（spatial-temporal action detection）。
支持多种流行的数据集，包括Kinetics、THUMOS、UCF101、ActivityNet、Something-Something、以及AVA等。
已实现多种动作分析算法框架，包括TSN、I3D、SSN、以及新的spatial-temporal action detection方法。MMAction还通过Model Zoo提供了多个预训练模型，以及它们在不同数据集上的性能指标。
采用高度模块化设计。用户可以根据需要对不同模块，比如backbone网络、采样方案等等进行灵活重组，以满足不同的应用需要。

我们希望通过MMAction为视频动作分析的相关研究提供一个标准的代码基础，从而促进社区在这一方向上的探索。

发布于 2019-06-19

OpenMMLab（智能媒体实验室）计划简介

MMDetection

MMAction

更多参考