概述
darknet官网:https://pjreddie.com/darknet/ https://github.com/AlexeyAB/darknet
Darknet是一个比较小众的深度学习框架,没有社区,主要靠作者团队维护,所以推广较弱,用的人不多。而且由于维护人员有限,功能也不如tensorflow等框架那么强大,但是该框架还是有一些独有的优点:
1.易于安装:在makefile里面选择自己需要的附加项(cuda,cudnn,opencv等)直接make即可,几分钟完成安装;
2.没有任何依赖项:整个框架都用C语言进行编写,可以不依赖任何库,连opencv作者都编写了可以对其进行替代的函数;
3.结构明晰,源代码查看、修改方便:其框架的基础文件都在src文件夹,而定义的一些检测、分类函数则在example文件夹,可根据需要直接对源代码进行查看和修改;
4.友好python接口:虽然darknet使用c语言进行编写,但是也提供了python的接口,通过python函数,能够使用python直接对训练好的.weight格式的模型进行调用;
5.易于移植:该框架部署到机器本地十分简单,且可以根据机器情况,使用cpu和gpu,特别是检测识别任务的本地端部署,darknet会显得异常方便。
darknet是一个纯C的轻量级框架,专为Yolo设计,是yolo的最佳配合平台,可以体验yolo功能。
darknet目录
cfg文件夹内是一些模型的架构,每个cfg文件类似与caffe的prototxt文件,通过该文件定义的整个模型的架构。
data文件夹内放置了一些label文件,如coco9k的类别名等,和一些样例图(该文件夹主要为演示用,或者是直接训练coco等对应数据集时有用,如果要用自己的数据自行训练,该文件夹内的东西都不是我们需要的)
src文件夹内全是最底层的框架定义文件,所有层的定义等最基本的函数全部在该文件夹内,可以理解为该文件夹就是框架的源码
examples文件夹是更为高层的一些函数,如检测函数,识别函数等,这些函数直接调用了底层的函数,我们经常使用的就是example中的函数
include文件夹,顾名思义,存放头文件的地方
scripts文件夹中是一些脚本,如下载coco数据集,将voc格式的数据集转换为训练所需格式的脚本等
darknet.py是使用python对模型的调用方法,要实现python的调用,还需要用到darknet的动态库libdarknet.so
darknet编译
根据配置情况修改Makefile的相关参数,然后运行make即可。
GPU=1: build with CUDA to accelerate by using GPU (CUDA should be in /usr/local/cuda) CUDNN: build with cuDNN v5-v7 to accelerate training by using GPU (cuDNN should be in /usr/local/cudnn) CUDNN_HALF=1: build for Tensor Cores (on Titan V / Tesla V100 / DGX-2 and later) speedup Detection 3x, Training 2x OPENCV=1: build with OpenCV 4.x/3.x/2.4.x - allows to detect on video files and video streams from network cameras or web-cams DEBUG=1: build debug version of Yolo OPENMP=1: build with OpenMP support to accelerate Yolo by using multi-core CPU
检验:./darknet detector test ./cfg/coco.data ./cfg/yolov3.cfg ./yolov3.weights data/dog.jpg
darknet命令
如果使用的是作者提供的cfg模型结构,如yolov3,那么可以到其官网去下载预训练模型(如:darknet53.conv.74)来初始化模型参数,这样可以加快收敛。
训练: darknet detector train data/obj.data yolo-obj.cfg darknet53.conv.74
无参考模型: darknet detector train data/obj.data yolo-obj.cfg
检测: darknet detector test data/obj.data yolo-obj.cfg yolo-obj_8000.weights
检测模型精确效果:darknet detector map data/obj.data yolo-obj.cfg yolo-obj_8000.weights
视频检测: darknet detector demo cfg/coco.data cfg/yolov3.cfg yolov3.weights my.mp4
默认第一个摄像头视频: darknet detector demo cfg/coco.data cfg/yolov3.cfg yolov3.weights
darknet配置文件解析
cfg/yolov3.cfg [net] # Testing # batch=1 # subdivisions=1 # Training batch=64 subdivisions=16 width=608 height=608 channels=3 momentum=0.9 decay=0.0005 angle=0 saturation = 1.5 exposure = 1.5 hue=.1
其中batch表示batchsize,而subdivisions是为了解决想要大batchsize而显存又不够的情况,每次代码只读取batchsize/subdivisions 个图像,如图中设置为64/16=4,但是会将16次的结果也就是64张图的结果,作为一个batch来统一处理。
根据自己检测的类别,将每个[yolo](共有三个[yolo])下方的classes修改为自己需要检测的类别,如果只检测一类则classes=1。
然后将每个[yolo] 上方的第一个filters的值进行修改,计算方式为(5+classes)*3,如果classes为1,则为18。
[yolo]下方的random表示论文中提及的resize network来增强网络的适应性,如果显存足够,最好设置为1,如果显存不够,也可以将其设置为0,即不进行network resizing
darknet训练参数解析
[to do]
Yolo_mark-标注工具
Windows & Linux GUI for marking bounded boxes of objects in images for training Yolo v3 and v2.
Yolo_mark是一个检测任务数据集制作工具,制作完成后的数据格式不是VOC或者COCO的数据格式,从它的名字也可以看出,它是专门为了YOLO系列的网络训练准备数据的,它没有使用任何一个已有的深度学习框架来实现他的代码,而是自己写了一个纯C的轻量级框架—darknet,所以它的训练数据准备也不是按照标准开源数据集那样的格式。
参考官网:https://github.com/AlexeyAB/Yolo_mark
编译
Yolo_mark依赖opencv,ubuntu16.04下需要更新opencv版本,默认版本编译出错。现测试了opencv-3.4.8可正常运行。
mkdir build cd build cmake .. make cd .. cp build/yolo_mark ..
目录
├── CMakeLists.txt ├── LICENSE ├── linux_mark.sh ├── main.cpp ├── README.md ├── x64 │ └── Release │ ├── data │ │ ├── img │ │ │ ├── air1.jpg │ │ │ ├── air1.txt │ │ │ ├── air2.jpg │ │ │ ├── air2.txt │ │ │ ├── air3.jpg │ │ │ ├── air3.txt │ │ │ ├── air4.jpg │ │ │ ├── air4.txt │ │ │ ├── air5.jpg │ │ │ ├── air5.txt │ │ │ ├── air6.jpg │ │ │ ├── air6.txt │ │ │ ├── bird1.jpg │ │ │ ├── bird1.txt │ │ │ ├── bird2.jpg │ │ │ ├── bird2.txt │ │ │ ├── bird3.jpg │ │ │ ├── bird3.txt │ │ │ ├── bird4.jpg │ │ │ └── bird4.txt │ │ ├── obj.data │ │ ├── obj.names │ │ └── train.txt │ ├── train_obj.cmd │ ├── yolo_mark.cmd │ └── yolo-obj.cfg ├── yolo_mark ├── yolo_mark.sln └── yolo_mark.vcxproj
x86/Release/data: 存放需要标注的数据与标注后的结果。
x86/Release/data/img: 训练的数据集,里面包含图片和每一张图片对应的标注数据。开始标注之前,img文件夹内只存放需要标注的图像数据(要求.jpg文件),一张图片标注完成后,会给该图片生成一个名字相同的.txt文件,里面存放的就是bbox的信息。
x86/Release/data/img/*.txt: 每一行都是一个目标的信息,这意味着有几行数据,图像中就标注了几个目标,它根据“id x y w h”的形式存放,其中“ x y w h”都是经过归一化之后的。比如bird4.txt文件中的结果(bird的id是1,有一个目标因此只有一行):
1 0.526953 0.502083 0.303906 0.226389
x86/Release/data/train.txt: 数据集的相对路径集合,由img文件夹内存放的数据自动获取。
x64/Release/data/img/air1.jpg x64/Release/data/img/air2.jpg x64/Release/data/img/air3.jpg x64/Release/data/img/air4.jpg x64/Release/data/img/air5.jpg x64/Release/data/img/air6.jpg x64/Release/data/img/bird1.jpg x64/Release/data/img/bird2.jpg x64/Release/data/img/bird3.jpg x64/Release/data/img/bird4.jpg
x86/Release/data/obj.names: 数据集所有分类类名,每个类别的名称都在单独的一行,行数与名称一一对应。示例中有两个类别:air,bird。
air bird
x86/Release/data/obj.data: 数据集的配置信息:类别数量,训练和测试数据的txt文件列表,各个类别的名字。
classes= 2 train = data/train.txt valid = data/train.txt names = data/obj.names backup = backup/
标注命令
./yolo_mark x64/Release/data/img x64/Release/data/train.txt x64/Release/data/obj.names
训练命令
拷贝yolo-obj.cfg, data/train.txt, data/obj.names, data/obj.data, darknet19_448.conv.23 and data/img到可执行文件darknet目录
darknet detector train data/obj.data yolo-obj.cfg darknet19_448.conv.23
参考:
1. YOLOv3树叶识别实践 https://wenku.baidu.com/view/e4e9a41ef4335a8102d276a20029bd64793e626f.html
2. 理解YOLOv2训练过程中输出参数含义 https://blog.csdn.net/dcrmg/article/details/78565440
https://timebutt.github.io/static/understanding-yolov2-training-output/
3. YOLOv3训练自己的模型 https://blog.csdn.net/StrongerL/article/details/81023603
4. darknet的编译和YOLO在不同编译条件的运行速度对比 https://www.jianshu.com/p/c2a90b89fc21
5. Darknet概述 https://blog.csdn.net/u010122972/article/details/83541978
6. https://github.com/AlexeyAB/Yolo_mark
7. YOLO系列网络训练数据准备工具—Yolo_mark https://blog.csdn.net/chaipp0607/article/details/80009195
来源:https://www.cnblogs.com/embedded-linux/p/12374634.html