澳门尼威斯人516

目录：一、为什么必须自动机器学习二、超强参数优化Hyper－parameterOptimization三、元自学MetaLearning四、神经网络架构搜寻NeuralArchitectureSearch五、自动化特征工程六、其它自动机器学习工具集一、为什么必须自动机器学习对于机器学习的新用户而言，用于机器学习算法的一个主要的障碍就是算法的性能不受许多的设计决策影响。随着深度自学的风行，工程师必须自由选择适当的神经网络架构，训练过程，正则化方法，超强参数等等，所有的这些都对算法的性能有相当大的影响。

于是深度自学工程师也被戏称为调荐工程师。自动机器学习（AutoML）的目标就是用于自动化的数据驱动方式来作出上述的决策。

用户只要提供数据，自动机器学习系统自动的要求最佳的方案。领域专家仍然必须困惑于自学各种机器学习的算法。

自动机器学习不光还包括大家熟悉的算法自由选择，超强参数优化，和神经网络架构搜寻，还覆盖面积机器学习工作东流的每一步：自动打算数据自动特征选择自动自由选择算法超强参数优化自动流水线／工作流建构神经网络架构搜寻自动模型自由选择和构建自学二、超强参数优化Hyper－parameterOptimization自学器模型中一般有两类参数，一类是可以从数据中自学估算获得，还有一类参数时无法从数据中估算，仅靠人的经验展开设计登录，后者沦为超强参数。比如，反对向量机里面的CKernalGamma；朴素贝叶斯里面的alpha等。超强参数优化有很多方法：最少见的类型是黑盒优化（black－boxfunctionoptimization）。

所谓黑盒优化，就是将决策网络当成是一个黑盒来展开优化，仅有关心输出和输入，而忽视其内部机制。决策网络一般来说是可以参数简化的，这时候我们展开优化首先要考虑到的是收敛性。以下的几类方法都是归属于黑盒优化：网格搜寻（gridsearch）Gridsearch大家都应当较为熟知，是一种通过迭代等价的参数人组来优化模型展现出的方法。网格搜寻的问题是很更容易再次发生维度灾难，优点是很更容易分段。

随机搜索（randomsearch）随机搜索是利用随机数欲大于点而求出函数近似于的拟合解法的方法。很多时候，随机搜索比网格搜寻效果要更佳，但是我们可以从上图显现出，它们都无法确保寻找拟合解法。

贝叶斯优化贝叶斯优化是一种递归的优化算法，包括两个主要的元素，输出数据假设的模型和一个收集函数用来来要求下一步要评估哪一个点。每一步递归，都用于所有的观测数据fit模型，然后利用转录函数预测模型的概率分布，要求如何利用参数点，权衡是Explaoration还是Exploitation。相对于其它的黑盒优化算法，转录函数的计算出来量要较少很多，这也是为什么贝叶斯优化被指出是更佳的超强参数调优的算法。

黑盒优化的一些工具：hyperopthyperopt是一个Python库，可以用来找寻实数，线性值，条件维度等搜寻空间的最佳值GoogleVizierGoogle的内部的机器学习系统GoogleVizier需要利用迁入自学等技术自动优化其他机器学习系统的超强参数advisorGoogleVizier的开源构建katib基于Kubernetes的超强参数优化工具由于优化目标具备不倒数、不能导等数学性质，所以一些搜寻和非梯度优化算法被用来解法该问题，还包括我们上面提及的这些黑盒算法。此类算法通过取样和对取样的评价展开搜寻，往往必须大量对取样的评价才能取得较为好的结果。然而，在自动机器学习任务中评价往往通过k腰交叉检验取得，在大数据集的机器学习任务上，取得一个评价的时间代价极大。这也影响了优化算法在自动机器学习问题上的效果。

所以一些增加评价代价的方法被明确提出来，其中多保真度优化（multi－fidelitymethods）就是其中的一种。这里的技术还包括：基于学习曲线来要求否要提早中止训练，探寻－利用困境（explorationexploitation）的多臂老虎机算法（Multi－armedbandit）等等。

另外还有一些研究是基于梯度上升的优化。

本文来源：澳门尼威斯人516-www.aikonix.com