Optimization problems arising from big data problem, dimension reduction, machine learning, image
processing and etc, can be translated and/or relaxed to a large scale structured convex optimization. This
course is devoted for the students interested in solving practical large optimization problems in the different
areas of science and technology.
For solving the large scale problems, it is recognized that the first order algorithms is practical and relative
effective. The alternating direction method of multipliers (ADMM) is a benchmark for solving a linearly
constrained convex minimization model with a two-block separable objective function. In this course, we
will introduce the new development of the ADMM-like methods, both in theoretical convergence, and the
practical implementations and applications.
最优化理论与方法是运筹学与计算数学的交叉学科。近 20 年来, 信号处理, 图像恢复, 机器学习等
信息技术领域以及统计学、数据科学中涌现了大量的优化问题. 有效地求解这些问题, 是当今一些世
界一流应用数学家关切的课题, 也是应用数学的一个新的研究热点。
数据科学中大规模计算问题的很大一部分可以归结为(或松弛成)一个可分离算子的凸优化问题.
由于问题规模大, 传统的优化求解方法往往难以凑效. 根据问题的结构特点, 设计简单易行的一阶分裂
算法已渐成学界共识。
变分不等式是运筹学中许多问题的一种统一表述模式. 经济活动中的最优平衡问题、政策性调
控问题, 都可以用变分不等式来描述. 最优化和变分不等式有着紧密的联系. 凸优化的一阶最优性条
件就是一个单调变分不等式. 在变分不等式的框架下考虑凸优化的求解方法, 就像微积分中用导数
求一元二次函数的极值, 常常会带来很大的方便。
本课程中介绍凸规划的分裂收缩算法, 始终追求简单统一的原则, 都纳入统一的框架. 统一框架揭
示方法之间的内在联系, 简化算法的收敛性证明, 又能对设计新的算法, 提高算法效率提供指导性帮
助.