机器学习中的加速一阶优化算法

机器学习中的加速一阶优化算法

评分

★★★★★

ISBN

9787111685005

出版社

机械工业出版社 2021-06-01出版

分类

人工智能

内容简介
机器学习是关于从数据中建立预测或描述模型,以提升机器解决问题能力的学科。在建立模型后,需要采用适当的优化算法来求解模型的参数,因此优化算法是机器学习的重要组成部分。但是传统的优化算法并不完全适用于机器学习,因为通常来说机器学习模型的参数维度很高或涉及的样本数巨大,这使得一阶优化算法在机器学习中占据主流地位。本书概述了机器学习中加速一阶优化算法的新进展。书中介绍了各种情形下的加速一阶优化算法,包括确定性和随机性的算法、同步和异步的算法,以求解带约束的问题和无约束的问题、凸问题和非凸问题,对算法思想进行了深入的解读,并对其收敛速度提供了详细的证明。本书面向的读者对象是机器学习和优化领域的研究人员,包括人工智能、信号处理及应用数学特别是计算数学专业高年级本科生、研究生,以及从事人工智能、信号处理领域产品研发的工程师。
AI简介
这是一本全面介绍机器学习领域加速一阶优化算法的专业书籍。本书以优化在机器学习中的重要性为起点,首先介绍了一阶优化算法的基本概念,包括梯度下降法、重球法等经典算法,以及加速梯度法等现代加速算法。接着,本书深入探讨了光滑凸优化问题的加速梯度法,解释了加速梯度法如何通过引入冲量机制来提高算法的收敛速度。 书中还详细阐述了带约束凸优化问题的概述,包括线性等式约束问题的一些有用结论,以及加速罚函数法、加速拉格朗日乘子法等加速算法。此外,本书还介绍了非凸优化中的加速梯度法,探讨了如何利用Kurdyka-Łojasiewicz(KŁ)条件来加速算法的收敛速度,并介绍了如何快速达到一阶临界点和快速逃离鞍点。 对于随机算法,本书详细介绍了各自凸情况、各自非凸情况和非凸情况下的加速算法,以及如何在带约束问题和无约束问题中使用这些算法。此外,本书还探讨了加速并行算法,包括加速异步算法和加速分布式算法,并分析了这些算法的实现方法和性能特点。
阅读/下载地址