1
课程详述
COURSE SPECIFICATION
以下课程信息可能根据实际授课需要或在课程检讨之后产生变动。如对课程有任何疑问，请联
系授课教师。
The course information as follows may be subject to change, either during the session because of unforeseen
circumstances, or following review of the course at the end of the session. Queries about the course should be
directed to the course instructor.
1.
课程名称 Course Title
数值优化 Numerical Optimization
2.
授课院系
Originating Department
数学系 Department of Mathematics
3.
课程编号
Course Code
MAT7027
4.
课程学分 Credit Value
3
5.
课程类别
Course Type
专业选修课 Major Elective Courses
6.
授课学期
Semester
春季 Spring
7.
授课语言
Teaching Language
英文 English
8.
授课教师、所属学系、联系方
式（如属团队授课，请列明其
他授课教师）
Instructor(s), Affiliation&
Contact
（For team teaching, please list
all instructors）
张进 数学系
慧园 3 栋 509
zhangj9@sustc.edu.cn
0755-88015915
Jin Zhang, Department of Mathematics,
Block 3 Room 509, Wisdom Valley.
zhangj9@sustc.edu.cn
0755-88015915
9.
实验员/助教、所属学系、联系
方式
Tutor/TA(s), Contact
待公布 To be announced
10.
选课人数限额(可不填)
Maximum Enrolment
（Optional）
授课方式
Delivery Method
习题/辅导/讨论
Tutorials
实验/实习
Lab/Practical
其它(请具体注明)
Other（Please specify）
总学时
Total
11.
学时数
Credit Hours
N/A
46
2
12.
先修课程、其它学习要求
Pre-requisites or Other
Academic Requirements
高等数学下（MA102b）（或数学分析 II（MA102a）），线性代数 II（MA104b）
Calculus(MA102b)(or Mathematical Analysis II(MA102a)), Linear Algebra (MA104b)
13.
后续课程、其它学习规划
Courses for which this course
is a pre-requisite
14.
其它要求修读本课程的学系
Cross-listing Dept.
教学大纲及教学日历 SYLLABUS
15.
教学目标 Course Objectives
本课程是对求解优化问题感兴趣的学生设置的。由于优化方法在科学，工程，经济学和工业中的应用越来越广泛，了解和
掌握基本的优化算法成了科学技术从业者必要的知识和技能。课程介绍典型优化算法的优点与局限，让学生掌握不同问题
的求解方法，探索研究方向，提高优化算法效率。本课程的目标是全面地介绍求解连续优化问题的先进有效的方法。
This course is for students interested in solving optimization problems. Because of the wide (and growing) use of optimization in
science, engineering, economics, and industry, it is essential for students and practitioners alike to develop an understanding of
optimization algorithms. Knowledge of the capabilities and limitations of these algorithms leads to a better understanding of their
impact on various applications, and points the way to future research on improving and extending optimization algorithms and
software. The goal of this course is to give a comprehensive description of the most powerful, state-of-the-art, techniques for solving
continuous optimization problems.
16.
预达学习成果 Learning Outcomes
完成本课程后,学生应掌握数值优化中的基本概念和方法，熟悉各种优化方法和技巧，并能解决现实应用中的问题。特别
是,在学习本课程后,学生应该能够
1.掌握基本知识,深入理解和掌握各种优化方法。学习后,学生应该能够不仅能够应用各种方法, 同时也能深刻理解各种方法
的基本原理和区别。
2.提高解决实际问题的能力。学习本课程后,学生应该能够使用学到的知识对实际问题建立合理的优化模型，从而解决
相关的实际应用问题。
After completing this course, students should master the basic concepts and methods in numerical optimization. After learning
this course, the students should be familiar with a range of methods and techniques for solving optimization problems arising in
practical applications. In particular, after learning this course, the students should be able
1. to master the basic knowledge, deeply to understand and master the nature of the definitions, theorems, probability laws,
principles and formulae. After the study, the students should be able not only to remember the above concepts and the basic methods
in optimization;
2．to improve the ability of solving practical problems. After learning this course, students should be able to use the learned
knowledge to establish a suitable optimization model and to solve the life related practical problems.
17.
课程内容及教学日历 （如授课语言以英文为主，则课程内容介绍可以用英文；如团队教学或模块教学，教学日历须注明
主讲人）
Course Contents (in Parts/Chapters/Sections/Weeks. Please notify name of instructor for course section(s), if
this is a team teaching or module course.)
3
Section 1
Introduction 4 Hours
导论 （4学时）
Section 2
Convex analysis 8 Hours
凸分析基础 （8学时）
Section 3
Non-smooth optimization methods 12 Hours
非光滑优化方法 （12学时）
Section 4
Set-valued and variational analysis: theory and application 16 Hours
集值和变分分析：理论和应用 （16学时）
Section 5
Nonconvex optimization methods 6 Hours
非凸优化方法 （6学时）
每周进度 weekly schedule:
第 1 周：非光滑函数的极小化（2 学时）、图像处理和数据科学送的应用、鞍点公式（2 学时）
Week 1: Minima of non-smooth functions (2 hours), Applications in image processing, Applications in the data sciences, Saddle-
point formulations (2 hours).
第 2 周：凸性和（凸）函数的性质（2 学时）。
Week 2: Convexity and properties of (convex) functions (2 hours).
第 3 周：次微分（2 学时）和最优性刻画（2 学时）。
Week 3: Subdifferentials (2 hours) and characterization of minima (2 hour).
第 4 周：强凸性和光滑性、共轭和对偶（2 学时）。
Week 4: Strong convexity and smoothness, Convex conjugates and duality (2 hours).
第 5 周：梯度下降（2 学时）和不动点理论（2 学时）。
Week 5: Surrogate objectives and gradient descent (2hours), fixed point theorems (2 hours).
第 6 周：临近点算法、forward backward 分裂算法（2 学时）。
Week 6: The proximal point method and forward backward splitting (2 hours)
第 7 周： Douglas-Rachford 分裂算法 （2 学时）和 Chambolle–Pock 算法（2 学时）。
Week 7: Douglas-Rachford splitting (2 hours) and Chambolle–Pock method (2 hours).
第 8 周：交替方向乘子法 (2 学时)。
Week 8: Alternating Direction Method of Multipliers (ADMM) (2 hours).
4
第 9 周：集值映射的基本性质（1 学时）、Aubin 性质（1 学时）和度量正则性（2 学时）。
Week 9: Basic properties of set-valued maps (1 hours), the Aubin property (1 hours), metric regularity (2 hours).
第 10 周：图导数、切锥、法锥（2 学时）。
Week 10: Graphical derivatives, tangent and normal cones (2 hours).
第 11 周：度量次正则性/平稳性条件（2 学时）与应用（2 学时）。
Week 11: Metric subregular/Calmness (2 hours) and application (2 hours)
第 12 周：应用于优化算法分析（2 学时）。
Week 12: Optimization algorithm revisited (2 hour)
第 13 周：应用于优化算法分析（4 学时）。
Week 13: Optimization algorithm revisited (4 hour)
第 14 周：非凸优化问题的 Forward-backward 分裂算法和临近梯度方法（2 学时）。
Week 14: Forward-backward splitting for non-convex optimization and proximal gradient method (2 hours)
第 15 周：临近交替线性化最小化（2 学时）、Kurdyka- Lojasiewicz 条件（2 学时）。
Week 15: Proximal alternating linearized minimization (2hour)，Kurdyka- Lojasiewicz (KL) condition (2 hours).
18.
教材及其它参考资料 Textbook and Supplementary Readings
Supplementary Readings:
1、J. Nocedal and Stephen J. Wright, Numerical Optimization, Springer, 1999
2、R. T. Rockafellar and R. J-B Wets, Variational Analysis, Springer, 2013
3、Set-valued analysis and optimisation, Lecture notes by Tuomo Valkonen, 2019
课程评估 ASSESSMENT
19.
评估形式
Type of
Assessment
评估时间
Time
占考试总成绩百分比
% of final
score
违纪处罚
Penalty
备注
Notes
出勤 Attendance
课堂表现
Class
Performance
小测验
Quiz
课程项目 Projects
平时作业
Assignments
35%
期中考试
Mid-Term Test
25%
5
期末考试
Final Exam
2 小时
2 hours
40%
期末报告
Final
Presentation
其它（可根据需要
改写以上评估方
式）
Others (The
above may be
modified as
necessary)
20.
记分方式 GRADING SYSTEM
A. 十三级等级制 Letter Grading
□
✔
B. 二级记分制（通过/不通过） Pass/Fail Grading
课程审批 REVIEW AND APPROVAL
21.
本课程设置已经过以下责任人/委员会审议通过
This Course has been approved by the following person or committee of authority