课程详述

COURSE SPECIFICATION

以下课程信息可能根据实际授课需要或在课程检讨之后产生变动。如对课程有任何疑问，请

联系授课教师。

The course information as follows may be subject to change, either during the session because of unforeseen

circumstances, or following review of the course at the end of the session. Queries about the course should be

directed to the course instructor.

课程名称 Course Title

机器学习系统设计

Machine Learning System Design

授课院系

Originating Department

系统设计与智能制造学院

School of System Design and Intelligent Manufacturing

课程编号

Course Code

SDM374

课程学分 Credit Value

课程类别

Course Type

专业选修课

Major Elective Course

授课学期

Semester

秋季 Fall

授课语言

Teaching Language

中英双语

English & Chinese

授课教师、所属学系、联系方

式（如属团队授课，请列明其

他授课教师）

Instructor(s), Affiliation&

Contact

（For team teaching, please list

all instructors）

王振坤，助理教授

系统设计与智能制造学院（设计智造学院）

WANG Zhenkun, Assistant Professor

School of System Design and Intelligent Manufacturing（SDIM）

Email: wangzk3@sustech.edu.cn

实验员/助教、所属学系、联系

方式

Tutor/TA(s), Contact

待公布 To be announced

10.

选课人数限额(可不填)

Maximum Enrolment

（Optional）

待公布 To be announced

11.

授课方式

Delivery Method

讲授

Lectures

习题/辅导/讨论

Tutorials

实验/实习

Lab/Practical

其它(请具体注明)

Other（Please specify）

总学时

Total

学时数

Credit Hours

12.

先修课程、其它学习要求

Pre-requisites or Other

Academic Requirements

MA107A 线性代数 A Linear Algebra A

13.

后续课程、其它学习规划

Courses for which this

course is a pre-requisite

无 NIL

14.

其它要求修读本课程的学系

Cross-listing Dept.

无 NIL

教学大纲及教学日历 SYLLABUS

本课程旨在提供有关机器学习及数据驱动的设计优化方面的基础知识，从线性回归模型到贝叶斯学习框架。

希望学生掌握基本的机器学习技术，并获得基于模型和数据驱动的系统设计优化技能。

This course aims to provide basic knowledge about machine learning and data-driven design optimization,

from linear regression models to Bayesian learning frameworks. The students are expected to learn basic

machine learning techniques and acquire model-based and data-driven system design optimization skills.

16.

预达学习成果 Learning Outcomes

在学习完成时，学生能够掌握概率分布模型，线性与非线性回归方法，支持向量机，高斯回归模型，人工神

经网络，强化学习，贝叶斯优化，代理模型辅助的演化优化模型。

Upon completion of the course, students should master probability distribution models, linear and non-linear

regression methods, support vector machine, Gaussian regression models, artificial neural network,

reinforcement learning, Bayesian optimization, and surrogate model-assisted evolutionary optimization

models.

17.

课程内容及教学日历（如授课语言以英文为主，则课程内容介绍可以用英文；如团队教学或模块教学，教学日历须注明

主讲人）

Course Contents (in Parts/Chapters/Sections/Weeks. Please notify name of instructor for course section(s), if

this is a team teaching or module course.)

第一周：导论

课程介绍

机器学习导论

[实验课] 介绍实验课软件、工具包、网络资源、参考书籍。

第二周：概率分布

二项分布

多项分布

概率与高斯分布

指数家族

[实验课] 学习使用 Matlab 或者 Python 对数据进行分析和预处理

第三周：线性回归模型

线性基函数模型

最大似然估计

线性回归

曲线拟合与正则化

预测分布

[实验课] 用 Matlab 或者 Python 实现线性回归任务。

第四周：线性分类模型

最小二乘分类

概率生成模型

逻辑回归与多级逻辑回归

[实验课]利用线性模型，完成数据分类任务。

第五周：项目开题报告

[实验课] 开题报告。

第六周：人工神经网络

前馈网络

反向传播

Jacobian 矩阵与 Hessian 矩阵

正则化

卷积神经网络与对抗生成网络

[实验课] 使用 Pytorch 搭建一个 CNN，完成手写数字识别。

第七周：核方法

最佳分离超平面

分类支持向量机

多核学习

回归支持向量机

[实验课] 实现 SVM，并对数据进行分类。

第八周：混合模型与最大期望学习

K 均值聚类算法

模糊 C 均值聚类

高斯混合模型

最大期望算法

[实验课] 实现聚类算法，完成数据聚类。

第九周：期中考试

[实验课] 期中考试

第十周：隐马尔科夫模型与图方法

隐马尔科夫模型

隐马尔可夫模型的最大期望算法

贝叶斯网络

马尔可夫随机场

图模型中的推断

[实验课]实现最大期望算法

第十一周：马尔可夫决策过程

动态规划

马尔可夫决策过程

部分可观察马尔可夫决策过程

值迭代

策略迭代

[实验课] 使用隐马尔科夫模型，完成对股市的预测。

第十二周：强化学习

Q 学习

时间差分学习

[实验课] 使用 DQN 模型，完成最优路径预测。

第十三周：演化算法

基因算法

差分演化算法

粒子群优化算法

基因编程

[实验课] 使用演化算法，完成函数优化。

第十四周：数据驱动的演化优化

代理模型选择

填充准则

多保真模型

在线数据更新

[实验课] 分别使用离线与在线数据驱动的演化优化方法，完成最优设计参数优化。

第十五周：代理模型辅助的多任务与多目标优化

多任务代理模型

多目标代理模型

多目标填充准则

[实验课] 分别使用离线与在线数据驱动的演化优化方法，完成最优设计参数的多任务与多目标优化。

第十六周：总结和复习

[实验课] 复习、答疑。

Week 1: Introduction

Introduction to Course

Introduction to Machine Learning

[Lab] Introduction to the software, tools, online resources that will be used in this module and suggested textbooks.

Week 2: Probability Distributions

Binomial Distributions6

Multinomial Distributions

Gaussian Distributions

Exponential Families

[Lab] Learn to use Matlab or Python to analyze and preprocess data

Week 3: Linear Model for Regression

Linear basis function model

Maximum likelihood estimation

Linear regression

Line fitting and regularization

Predictive Distribution

[Lab] Use Matlab or Python to implement linear regression tasks.

Week 4: Linear Models for Classification

Least Square

Probabilistic generative model

Logistic regression and multi-level logistic regression

[Lab] Use linear models to complete data classification tasks.

Week 5: Proposal Presentations

[Lab] Project proposal.

Week 6: Artificial Neural Network

Feedforward network

Backpropagation

Jacobian matrix and Hessian matrix

Regularization

Convolutional Neural Network and Generative Adversarial Network

[Lab] Use Pytorch to build a CNN to complete handwritten digit recognition.

Week 7: Kernel Method

Optimal separation hyperplane

Support vector machine for classification

Multi-kernel learning

Support vector machine for regression

[Lab] Implement SVM and classify data.

Week 8: Mixture Models and Expectation Maximum Learning

K-means clustering algorithm

Fuzzy C-means clustering

Gaussian mixture model

Expectation Maximum Algorithm

[Lab] Implement clustering algorithm and complete data clustering.

Week 9: Mid-term test

[Lab] Mid-term test

Week 10: Hidden Markov Models and Graphical Method

Hidden Markov Model

Expectation Maximum Algorithm of Hidden Markov Model

Bayesian network

Markov Random Field

Inference in the graphical model

[Lab] Implement EM algorithm

Week 11: Markov Decision Process

Dynamic programming

Markov Decision Process

Partially observable Markov decision process

Value Iteration

Policy Iteration

[lab] Use Hidden Markov Model to complete the prediction of the stock market.

Week 12: Reinforcement Learning

Q learning

Time difference learning

[Lab] Use the DQN model to realize the optimal path prediction.

Week 13: Evolutionary Algorithm

Genetic algorithm

Differential evolution algorithm

Particle swarm optimization algorithm

Genetic programming

[Lab] Use evolutionary algorithm to complete function optimization.

Week 14: Data-driven Evolutionary Optimization

Surrogate model selection

Filling criteria

Multi-fidelity model

Online data update

[Lab] Use offline and online data-driven evolutionary optimization to realize the optimization of design parameters.

Week 15: Surrogate-assisted multi-task and multi-objective optimization

Multitask surrogate modeling

Multi-objective surrogate modeling

Multi-objective filling criteria

[Lab] Use offline and online data-driven evolutionary optimization methods to realize multi-task and multi-objective

optimization of optimal design parameters.

Week 16: Summary & Revision

[Lab] Final projects.

18.

教材及其它参考资料 Textbook and Supplementary Readings

Textbook:

Bishop C M. Pattern recognition and machine learning[M]. springer, 2006.

课程评估 ASSESSMENT

19.

评估形式

Type of

Assessment

评估时间

Time

占考试总成绩百分比

% of final

score

违纪处罚

Penalty

备注

Notes

出勤 Attendance

课堂表现

Class

Performance

小测验

Quiz

1-16 周

Week 1-16

NIL

5 次

Five times

课程项目 Projects

第 5 周

Week 5

NIL

开题报告

Project proposal

平时作业

Assignments

1-16 周

Week 1-16

NIL

10 次

Ten times

期中考试

Mid-Term Test

期末考试

Final Exam

期末报告

Final

Presentation

第 16 周

Week 16

NIL

结题报告

Final project report

其它（可根据需要

改写以上评估方

式）

Others (The

above may be

modified as

necessary)

20.

记分方式 GRADING SYSTEM

A. 十三级等级制 Letter Grading

 B. 二级记分制（通过/不通过） Pass/Fail Grading

课程审批 REVIEW AND APPROVAL

21.

本课程设置已经过以下责任人/委员会审议通过

This Course has been approved by the following person or committee of authority