贝叶斯网络

参考简书文章 AutoML研究分析 ，少有改动 文章目录 1. Auto Keras 2. 其它AutoML产品（工具包） 2.1 AutoWEKA 2.2 Auto-sklearn 2.3 H2O AutoML 2.4 Google Cloud AutoML 3. AutoML实现原理分析 3.1 NAS 3.1.1 搜索空间 3.1.2 搜索策略 3.1.3 性能评估策略 3.1.4 NAS未来的方向 3.1.5 NAS的演进 3.2 Hyper-parameter optimization 3.3 Meta-Learning 3.4 算法相关 3.4.1 强化学习 3.4.2 进化算法 3.4.3 贝叶斯优化 4. AutoML应用场景 参考材料 AutoML全称是automated machine learning，下面有一段AutoML不是什么的描述： AutoML is not automated data science. While there is undoubtedly overlap, machine learning is but one of many tools in the data science toolkit, and its use does not actually factor in to all data science tasks.

原文链接： http://tecdat.cn/?p=7954 此示例说明如何将贝叶斯优化应用于深度学习，以及如何为卷积神经网络找到最佳网络超参数和训练选项。 要训​​练深度神经网络，必须指定神经网络架构以及训练算法的选项。选择和调整这些超参数可能很困难并且需要时间。贝叶斯优化是一种非常适合用于优化分类和回归模型的超参数的算法。 准备数据 下载CIFAR-10数据集[1]。该数据集包含60,000张图像，每个图像的大小为32 x 32和三个颜色通道（RGB）。整个数据集的大小为175 MB。 加载CIFAR-10数据集作为训练图像和标签，并测试图像和标签。 [XTrain,YTrain,XTest,YTest] = loadCIFARData(datadir);idx = randperm(numel(YTest),5000);XValidation = XTest(:,:,:,idx);XTest(:,:,:,idx) = [];YValidation = YTest(idx);YTest(idx) = []; 您可以使用以下代码显示训练图像的样本。 figure; idx = randperm(numel(YTrain),20); for i = 1:numel(idx) subplot(4,5,i); imshow(XTrain(:,:,:,idx(i))); end

机器学习算法太多了，分类、回归、聚类、推荐、图像识别领域等等，要想找到一个合适算法真的不容易，所以在实际应用中，我们一般都是采用启发式学习方式来实验。通常最开始我们都会选择大家普遍认同的算法，诸如SVM，GBDT，Adaboost，现在 深度学习 很火热， 神经网络 也是一个不错的选择。 假如你在乎精度（accuracy）的话，最好的方法就是通过交叉验证（cross-valida ti on）对各个算法一个个地进行 测试 ，进行比较，然后调整参数确保每个算法达到最优解，最后选择最好的一个。但是如果你只是在寻找一个“足够好”的算法来解决你的问题，或者这里有些技巧可以参考，下面来分析下各个算法的优缺点，基于算法的优缺点，更易于我们去选择它。 1.天下没有免费的午餐 在机器学习领域，一个基本的定理就是“没有免费的午餐”。换言之，就是没有算法能完美地解决所有问题，尤其是对监督学习而言（例如预测建模）。 举例来说，你不能去说神经网络任何情况下都能比决策树更有优势，反之亦然。它们要受很多因素的影响，比如你的数据集的规模或结构。 其结果是，在用给定的测试集来评估性能并挑选算法时，你应当根据具体的问题来采用不同的算法。 当然，所选的算法必须要适用于你自己的问题，这就要求选择正确的机器学习任务。作为类比，如果你需要打扫房子，你可能会用到吸尘器、扫帚或是拖把，但你绝对不该掏出铲子来挖地。 2. 偏差

目前，教育领域通过引入人工智能的技术，使得在线的教学系统成为了智能教学系统（ITS），ITS不同与以往的MOOC形式的课程。ITS能够个性化的为学生制定有效的 学习路径，通过根据学生的答题情况追踪学生当前的一个知识点掌握状况，从而可以做到因材施教。 在智能教学系统中，当前有使用以下三种模型对学生的知识点掌握状况进行一个追踪判断： IRT（Item response theory） 项目反应理论 BKT（Bayesin knowledge tracing） 基于贝叶斯网络的学生知识点追踪模型 DKT(Deep konwledge traing) 基于深度神经网络的学生知识点追踪模型 今天我们主要说一下BKT： BKT是最常用的一个模型，BKT是含有隐变量的马尔可夫模型（HMM）。因此可以采用EM算法或者bruteForce 算法求解参数。 BKT是对学生知识点的一个变化进行追踪，可以知道学生知识点的一个掌握情况变化。 一般有个stop_policy准则，用于判断学生是否经过多轮的做题掌握了相应的知识点。 （Once that probability reaches 0.95, the student can be assumed to have learned the skill. The Cognitive Tutors use this threshold to