线性回归 on JasperSao的博客

机器学习基础：用梯度下降法训练模型

Sat, 25 Jul 2026 00:00:00 +0800

一、学习目标

梯度下降如何更新参数 $w$ 和 $b$？
导数项为什么能指引下降方向？
学习率 $\alpha$ 应该如何理解和选择？
如何用梯度下降训练一元线性回归模型？

二、梯度下降算法

梯度下降通过不断调整模型参数，使成本函数 $J(w,b)$ 尽可能小。

参数更新公式为：

$$w := w - \alpha \frac{\partial J(w,b)}{\partial w}$$$$b := b - \alpha \frac{\partial J(w,b)}{\partial b}$$

不断重复以上更新，直到算法收敛。

符号含义

符号	含义
$w, b$	模型参数
$J(w,b)$	成本函数，衡量预测误差
$\alpha$	学习率，控制每次更新的步长
$\frac{\partial J}{\partial w}$	成本函数相对于 $w$ 的偏导数
$\frac{\partial J}{\partial b}$	成本函数相对于 $b$ 的偏导数
$:=$	赋值，用右侧结果更新左侧变量

赋值与相等的区别

$w := w - \alpha \frac{\partial J}{\partial w}$ 表示“计算右边的结果，然后把结果存入 $w$”，而不是断言左右两边在数学上永远相等。

在 Python 中，= 是赋值，== 是相等性判断。

三、为什么必须同时更新 $w$ 和 $b$

梯度下降要求两个参数基于同一组旧参数进行更新。

正确做法：

temp_w = w - alpha * dj_dw # dj_dw 和 dj_db 都根据更新前的 w, b 计算
temp_b = b - alpha * dj_db

w = temp_w
b = temp_b

不正确的顺序更新：

temp_w = w - alpha * dj_dw
w = temp_w # w 已被更新

temp_b = b - alpha * dj_db # 此时计算用的是新的 w，不是旧的
b = temp_b

问题在于：计算新 $b$ 时，$w$ 已经被更新，两个参数不再基于同一个旧状态进行计算。标准梯度下降所指的是同步更新。

四、导数项的直观含义

为了理解导数，暂时只考虑一个参数：

$$w := w - \alpha \frac{dJ(w)}{dw}$$

导数表示成本曲线在当前位置的斜率。

导数为正

$$\frac{dJ}{dw} > 0 \implies w_{\text{new}} = w - \text{正数}$$

$w$ 变小，在图像上向左移动。当位于最低点右侧时，向左移动能够降低成本。

导数为负

$$\frac{dJ}{dw} < 0 \implies w_{\text{new}} = w - \alpha(\text{负数}) = w + \text{正数}$$

$w$ 变大，在图像上向右移动。当位于最低点左侧时，向右移动能够降低成本。

导数为零

在局部最小值处，$\frac{dJ}{dw} = 0$，于是 $w_{\text{new}} = w$，参数保持不变。梯度下降到达最低点后会自然停止移动。

核心直觉

梯度下降之所以使用“减去导数”，是因为导数指向函数增长最快的方向，而导数的反方向能够降低成本。

五、学习率 $\alpha$

学习率控制每次参数更新的步长，通常取较小的正数，例如 $\alpha = 0.01$。

学习率太小

每次更新的步长很小
成本通常仍会下降，但需要大量迭代
训练速度非常慢

学习率太大

参数可能跨过最低点
成本可能反而增加
参数可能在最低点两侧来回震荡
算法可能无法收敛，甚至发散

为什么固定学习率也能收敛

当参数逐渐接近最低点时，成本函数的斜率会越来越小：$\left|\frac{dJ}{dw}\right| \to 0$

即使学习率 $\alpha$ 保持不变，实际更新量 $\alpha \frac{dJ}{dw}$ 也会自然变小。因此梯度下降通常表现为：

离最低点较远时步长较大
接近最低点时步长逐渐减小
最终停留在最低点附近

六、一元线性回归模型

模型为：

$$f_{w,b}(x) = wx + b$$

其中 $x$ 是输入特征（如房屋面积），$f_{w,b}(x)$ 是预测值（如预测房价），$w$ 是斜率，$b$ 是截距。

七、平方误差成本函数

使用 $m$ 个训练样本时，成本函数为：

$$J(w,b) = \frac{1}{2m} \sum_{i=1}^{m} \left(f_{w,b}(x^{(i)}) - y^{(i)}\right)^2$$

其中 $x^{(i)}$ 是第 $i$ 个样本的输入，$y^{(i)}$ 是真实值，$m$ 是训练样本数量。

前面的 $\frac{1}{2}$ 是为了在求导时抵消平方项产生的系数 2，使梯度公式更简洁。

八、线性回归的梯度公式

成本函数相对于 $w$ 的偏导数：

$$\frac{\partial J(w,b)}{\partial w} = \frac{1}{m} \sum_{i=1}^{m} \left(f_{w,b}(x^{(i)}) - y^{(i)}\right) x^{(i)}$$

成本函数相对于 $b$ 的偏导数：

$$\frac{\partial J(w,b)}{\partial b} = \frac{1}{m} \sum_{i=1}^{m} \left(f_{w,b}(x^{(i)}) - y^{(i)}\right)$$

两者的区别：$w$ 的导数末尾需要乘 $x^{(i)}$，$b$ 的导数不需要。

九、完整的梯度下降算法

每轮迭代先计算：

$$d_w = \frac{1}{m} \sum_{i=1}^{m} \left(wx^{(i)} + b - y^{(i)}\right) x^{(i)}$$$$d_b = \frac{1}{m} \sum_{i=1}^{m} \left(wx^{(i)} + b - y^{(i)}\right)$$

然后同步更新：

$$w := w - \alpha \, d_w$$$$b := b - \alpha \, d_b$$

重复以上过程，直到成本不再明显下降，或者参数变化已经非常小。

十、收敛、局部最小值与全局最小值

收敛

梯度下降“收敛”通常表示：成本函数不再明显下降，$w$ 和 $b$ 的变化越来越小，参数已经接近某个最小值。

局部最小值 vs 全局最小值

局部最小值：某个点比附近其他点都低，但不一定是整个函数的最低点
全局最小值：在所有可能的参数取值中，成本函数值最低的点

线性回归的优势

线性回归的平方误差成本函数是凸函数（碗形函数），具有以下性质：

只有一个全局最小值
不存在多个不同的局部最小值
只要学习率选择合理，梯度下降就能收敛到全局最小值

十一、批量梯度下降

上述算法属于批量梯度下降（Batch Gradient Descent）。“批量”表示每次更新参数时都使用全部 $m$ 个训练样本（$\sum_{i=1}^{m}$），即每轮更新都会遍历整个训练集。

其他梯度下降方法可能每次只使用一个训练样本或一小批训练样本，但当前的一元线性回归使用的是完整训练集。

十二、Python 实现

计算梯度

def compute_gradient(x, y, w, b):
 m = x.shape[0]
 dj_dw = 0
 dj_db = 0

 for i in range(m):
 f_wb = w * x[i] + b # 预测值
 error = f_wb - y[i] # 预测误差

 dj_dw += error * x[i] # w 的梯度需要乘 x[i]
 dj_db += error # b 的梯度不需要乘 x[i]

 dj_dw /= m
 dj_db /= m

 return dj_dw, dj_db

计算成本

def compute_cost(x, y, w, b):
 m = x.shape[0]
 cost = 0

 for i in range(m):
 f_wb = w * x[i] + b
 cost += (f_wb - y[i]) ** 2

 return cost / (2 * m)

梯度下降主函数

def gradient_descent(x, y, w_in, b_in, alpha, num_iters,
 cost_function, gradient_function):
 J_history = []
 p_history = []

 w = w_in
 b = b_in

 for i in range(num_iters):
 # 先计算两个梯度（基于当前的 w, b）
 dj_dw, dj_db = gradient_function(x, y, w, b)

 # 同步更新参数
 w = w - alpha * dj_dw
 b = b - alpha * dj_db

 # 保存代价和参数（用于可视化）
 if i < 100000:
 J_history.append(cost_function(x, y, w, b))
 p_history.append([w, b])

 # 定期输出训练过程
 if i % math.ceil(num_iters / 10) == 0:
 print(f"Iteration {i:4}: Cost {J_history[-1]:0.2e} "
 f"w: {w:0.3e}, b: {b:0.5e}")

 return w, b, J_history, p_history

返回值：训练后的 w、b，每次迭代的代价 J_history，每次迭代的参数 p_history。

十三、运行实验

训练数据

x_train = np.array([1.0, 2.0]) # 房屋面积（千平方英尺）
y_train = np.array([300.0, 500.0]) # 房屋售价（千美元）

训练参数

w_init = 0
b_init = 0
iterations = 10000
alpha = 1.0e-2

运行

w_final, b_final, J_hist, p_hist = gradient_descent(
 x_train, y_train, w_init, b_init, alpha, iterations,
 compute_cost, compute_gradient
)

最终结果约为 $w \approx 199.99$，$b \approx 100.01$，即模型为 $f(x) = 200x + 100$。

梯度下降的收敛特点

成功运行时可以观察到：

代价在开始阶段迅速下降
dj_dw 和 dj_db 的绝对值逐渐减小
越接近最低点，梯度越小
梯度变小后，参数更新速度也会变慢
代价应持续下降并逐渐稳定

虽然学习率 $\alpha$ 保持不变，但实际更新量 = $\alpha \times$ 梯度，梯度变小时更新幅度自然变小。

十四、可视化

代价变化曲线

fig, (ax1, ax2) = plt.subplots(1, 2, constrained_layout=True, figsize=(12, 4))

ax1.plot(J_hist[:100]) # 训练初期：代价下降很快
ax2.plot(1000 + np.arange(len(J_hist[1000:])), J_hist[1000:]) # 训练后期：下降较慢

ax1.set_title("Cost vs. iteration (start)")
ax2.set_title("Cost vs. iteration (end)")
ax1.set_ylabel("Cost")
ax2.set_ylabel("Cost")
ax1.set_xlabel("Iteration step")
ax2.set_xlabel("Iteration step")
plt.show()

分开绘制是因为训练初期和后期下降速度差异大，用不同范围可以更清楚地观察变化。

梯度下降路径（等高线图）

fig, ax = plt.subplots(1, 1, figsize=(12, 6))
plt_contour_wgrad(x_train, y_train, p_hist, ax)
plt.show()

等高线代表不同的代价值，箭头代表参数 $(w, b)$ 的更新路径。可以观察到：参数不断向最低点移动，开始时梯度大步幅也大，接近最低点时梯度变小步幅缩短。

十五、模型预测

训练完成后，使用 $\hat{y} = w_{\text{final}} x + b_{\text{final}}$ 进行预测：

print(f"1000 sqft: {w_final * 1.0 + b_final:.1f} Thousand dollars")
print(f"1200 sqft: {w_final * 1.2 + b_final:.1f} Thousand dollars")
print(f"2000 sqft: {w_final * 2.0 + b_final:.1f} Thousand dollars")

房屋面积	预测售价
1000 平方英尺	300 千美元
1200 平方英尺	340 千美元
2000 平方英尺	500 千美元

虽然 1200 平方英尺不在训练数据中，模型仍可以根据学到的线性关系进行预测。

十六、学习率的影响

合适的学习率

代价持续下降，参数逐渐靠近最优值，算法最终收敛

学习率过小

更新步幅很小，算法能够稳定收敛，但训练速度较慢

学习率过大

参数可能跨过最低点，$w$ 和 $b$ 在正负之间振荡
梯度符号反复变化，参数绝对值越来越大
代价不断上升，算法最终发散

判断学习率过大的典型信号：

代价不降反升
参数绝对值越来越大
梯度不断改变符号
参数在最低点两侧大幅振荡

例如将学习率改为 0.8，只跑 10 次迭代就能观察到发散过程。

十七、常见错误与检查方法

没有同步更新参数：应先计算新 $w$ 和新 $b$，再统一赋值
学习率过小：成本下降但极其缓慢 → 适当增大 $\alpha$
学习率过大：成本上下震荡或越来越大 → 减小 $\alpha$
导数公式漏乘 $x^{(i)}$：计算 $w$ 的梯度时必须包含 $\text{error} \times x^{(i)}$，$b$ 的梯度只有误差项
没有观察成本变化：训练过程中应定期计算 $J(w,b)$，正常情况下成本应总体持续下降

十八、核心知识总结

梯度下降的目标是通过调整参数来最小化成本函数
学习率 $\alpha$ 控制每次更新的步长
导数的符号决定参数移动方向，大小影响移动幅度
$w$ 和 $b$ 必须基于同一组旧值同步更新
学习率太小导致收敛缓慢，太大导致震荡或发散
接近最低点时导数自然变小，更新步长也会变小
线性回归的平方误差成本函数是凸函数，只有一个全局最小值
批量梯度下降每次更新都会使用全部训练样本
训练完成后，使用 $f_{w,b}(x) = wx + b$ 对新数据进行预测

机器学习基础：线性回归模型

Tue, 21 Jul 2026 00:00:00 +0800

线性回归是机器学习里最适合入门的模型之一：它足够简单，可以把输入、预测、参数、成本函数这些核心概念讲清楚；它也足够重要，因为后续更复杂的模型训练，仍然离不开这些基本思想。本篇整理 Coursera 机器学习课程中的线性回归内容，从房价预测案例出发，梳理模型函数、训练数据、成本函数和梯度下降之间的关系。

线性回归的基本概念

线性回归（Linear Regression） 是一种监督学习模型，通过为数据拟合一条直线来预测连续数值。

以房价预测为例：

输入 x：房屋面积
输出 y：房屋价格
模型：一条尽可能贴合训练数据的直线

可将模型表示为：

$$\hat{y} = f_{w,b}(x) = wx + b$$

其中：

$x$：输入特征，例如房屋面积
$\hat{y}$：模型预测的房屋价格
$w$：直线的斜率
$b$：直线的截距

因为只有一个输入特征，这种模型称为单变量线性回归（Univariate Linear Regression）。“单变量”表示模型只有一个输入变量，而不是只有一个参数，该模型仍然包含两个参数 $w$ 和 $b$。

以后还可以使用多个输入特征预测房价，例如房屋面积、卧室数量、浴室数量、房屋年龄、地理位置等，属于多变量或多特征线性回归。

训练集与符号约定

训练集

用于训练模型的数据称为训练集（Training Set）。

房价预测的训练数据来自美国波特兰市，包含：

房屋面积，单位为平方英尺
房屋售价，单位为千美元

同一组数据可以通过两种方式表示：

散点图：横轴为房屋面积，纵轴为房屋价格，每个数据点对应一套已售房屋。如果训练集有 47 套房屋，图中就有 47 个数据点。

数据表：

房屋面积（平方英尺）	房屋价格（千美元）
2104	400
…	…

表格中的每一行对应一个训练示例，也对应散点图中的一个数据点。例如面积 2104 平方英尺，售价 400 千美元，即 400,000 美元。

符号约定

符号	含义	房价示例
$x$	输入特征（Feature）	房屋面积
$y$	真实值（Label / Target Variable）	房屋实际售价
$\hat{y}$	模型预测值	预测房价
$f_{w,b}(x)$	参数为 $w, b$ 的模型对 $x$ 的预测	$\hat{y} = wx + b$
$m$	训练样本总数	47
$(x^{(i)}, y^{(i)})$	第 $i$ 个训练样本	$(2104, 400)$

一个完整的训练示例由输入和正确输出组成 $(x, y)$。第 $i$ 个训练示例表示为 $(x^{(i)}, y^{(i)})$，其中 $x^{(i)}$ 是第 $i$ 个样本的输入，$y^{(i)}$ 是第 $i$ 个样本的正确输出。

需要特别注意：$x^{(2)}$ 表示“第二个训练示例的输入”，不是 $x$ 的平方。括号中的上标只是训练样本的编号。

为什么称为监督学习

训练集中同时提供了输入（房屋面积）和正确输出（房屋实际售价）。每套已售房屋的数据都相当于向模型提供一个带答案的学习示例，因此这种学习方式称为“监督学习”。

基本流程：

收集包含输入和正确输出的数据
使用这些数据训练模型
模型学习输入与输出之间的规律
将新输入交给模型
模型预测相应的输出

参数 $w$ 和 $b$ 的作用

斜率 $w$

$w$ 决定直线的倾斜程度：

w > 0：直线向右上方倾斜，x 增大时预测值增大
w = 0：直线是水平的，预测值不随 x 变化
w < 0：直线向右下方倾斜，x 增大时预测值减小

在房价问题中，$w$ 可以理解为房屋面积每增加一个单位，预测价格增加多少。$w$ 也称为权重或系数。

截距 $b$

$b$ 决定直线与纵轴的交点。当 $x = 0$ 时：

$$f(0) = b$$

因此 $b$ 是模型在输入为零时的预测值。

示例

当 $w = 0, b = 1.5$ 时：

$$f(x) = 1.5$$

无论输入是多少，预测结果始终为 1.5。

当 $w = 0.5, b = 0$ 时：

$$f(x) = 0.5x$$

直线斜率为 0.5，经过原点。

当 $w = 0.5, b = 1$ 时：

$$f(x) = 0.5x + 1$$

直线斜率仍为 0.5，但与纵轴相交于 1。

假设 $f(x) = 0.1x + 50$，当房屋面积为 1250 平方英尺时：

$$\hat{y} = 0.1 \times 1250 + 50 = 175$$

预测价格为 175,000 美元。

不同的 $w$ 和 $b$ 会形成不同的直线，也会产生不同的预测结果。

学习算法的任务

训练线性回归模型的核心任务，是根据训练数据选择合适的 $w$ 和 $b$，使直线尽可能贴近数据点。

完整过程可以表示为：

$$\{(x^{(i)}, y^{(i)})\}_{i=1}^{m} \longrightarrow \text{学习算法} \longrightarrow w, b \longrightarrow f_{w,b}(x)$$

也就是说：

将训练数据交给学习算法
学习算法寻找合适的 $w$ 和 $b$
得到模型 $f_{w,b}(x) = wx + b$
用模型预测新输入对应的 $\hat{y}$

客户的房屋尚未出售，因此其真实价格不在训练集中。模型需要先从已售房屋的数据中学习，再预测这套房屋的价格。

$y$ 与 $\hat{y}$ 的区别

$y$：实际目标值

$y$ 表示训练数据中的真实答案。例如 $y = 400$ 表示某套房屋的实际售价为 400 千美元。

$\hat{y}$：预测值

$\hat{y}$ 读作 “y hat”，表示模型对 $y$ 的估计：

$$\hat{y} = f_{w,b}(x) = wx + b$$

预测值不一定等于实际值：

$$\hat{y} \neq y$$

例如，模型预测某套房屋售价为 220,000 美元，但只有房屋真正售出后，才能知道真实售价 $y$。

需要明确区分：

$$\boxed{y = \text{真实值}, \qquad \hat{y} = \text{预测值}}$$

成本函数

为什么需要成本函数

不同的 $w$ 和 $b$ 会产生不同的直线。成本函数的作用是：

衡量一组 $w, b$ 所产生的直线，对训练数据拟合得有多好。

成本越小，通常说明预测值越接近真实值。

预测误差

对于第 $i$ 个训练样本 $(x^{(i)}, y^{(i)})$，模型预测值为：

$$\hat{y}^{(i)} = f_{w,b}(x^{(i)})$$

预测误差为：

$$\hat{y}^{(i)} - y^{(i)} = \text{预测值} - \text{真实值}$$

例如，模型预测价格为 280，真实价格为 300：

$$280 - 300 = -20$$

误差为 $-20$，表示模型低估了价格。

平方误差成本函数

线性回归常用的成本函数是平方误差成本函数：

$$\boxed{J(w,b) = \frac{1}{2m} \sum_{i=1}^{m} \left(f_{w,b}(x^{(i)}) - y^{(i)}\right)^2}$$

也可以写成：

$$J(w,b) = \frac{1}{2m} \sum_{i=1}^{m} \left(\hat{y}^{(i)} - y^{(i)}\right)^2$$

计算过程：

计算每个样本的预测值
用预测值减去真实值
将误差平方
把所有平方误差相加
除以 $2m$

为什么误差要平方

如果直接将误差相加，正负误差可能互相抵消：

$$(-20) + 20 = 0$$

但模型实际产生了两次误差。平方以后：

$$(-20)^2 + 20^2 = 800$$

因此：

所有误差都会变成非负数
较大的误差会受到更明显的惩罚
成本不会因为正负抵消而错误地变小

为什么除以 $m$ 和 $2$

除以 $m$：$m$ 是训练样本数量。除以 $m$ 相当于计算平均误差，使成本不会仅仅因为训练数据变多而自动增大。

再除以 $2$：主要是为了让后续求导和梯度下降的公式更简洁。是否除以 $2$ 不会改变最佳参数的位置。

成本函数的直观示例

为了方便观察，暂时令 $b = 0$，模型简化为：

$$f_w(x) = wx$$

训练集为：

$$(1, 1), \quad (2, 2), \quad (3, 3)$$

当 $w = 1$

预测值为 1, 2, 3，全部等于真实值：

$$J(1) = 0$$

模型完美拟合训练数据。

当 $w = 0.5$

预测值为 0.5, 1, 1.5。平方误差为：

$$(0.5-1)^2 + (1-2)^2 + (1.5-3)^2 = 0.25 + 1 + 2.25 = 3.5$$$$J(0.5) = \frac{3.5}{2 \times 3} \approx 0.58$$

当 $w = 0$

所有预测值都是 0：

$$J(0) = \frac{1^2 + 2^2 + 3^2}{6} = \frac{14}{6} \approx 2.33$$

当 $w = -0.5$

直线方向与数据趋势相反：

$$J(-0.5) = 5.25$$

结果对比

$w$	$J(w)$	拟合情况
$-0.5$	$5.25$	很差
$0$	$2.33$	较差
$0.5$	$0.58$	较好
$1$	$0$	最佳

这个例子中的最佳参数是 $w = 1$。

模型函数与成本函数的区别

两者容易混淆，需要明确区分：

模型函数 $f_{w,b}(x) = wx + b$

输入是 $x$（特征），输出是预测值 $\hat{y}$
模型图的坐标轴：横轴 $x$（房屋面积），纵轴 $y$ 或 $\hat{y}$（价格）
回答的问题：“这套房子预测多少钱？”

成本函数 $J(w,b)$

输入是模型参数 $w, b$，输出是模型的成本
成本图的坐标轴是参数和成本，而不是房屋面积与价格
回答的问题：“这组模型参数整体表现有多差？”

成本函数的图像

只有参数 $w$ 时（$b = 0$）

成本函数只有一个参数 $J(w)$，通常呈 U 形曲线：

成本 J
 ↑
 | \ /
 | \_____/
 +------------→ w
 最小值

最低点对应成本最小的 $w$。

同时使用 $w$ 和 $b$ 时

完整模型包含两个参数 $J(w,b)$，这时成本函数是一个三维曲面，通常类似碗形：

一个方向代表 $w$
一个方向代表 $b$
曲面的高度代表成本 $J(w,b)$

碗底对应成本函数的最小值，也就是最佳的 $w, b$。

等高线图

三维成本函数也可以用二维的等高线图表示。每条椭圆线表示成本相同的一组 $w, b$：

$$J(w_1, b_1) = J(w_2, b_2)$$

可以把等高线图理解成从正上方观察碗形曲面：

外层椭圆：成本通常较高
越靠近中心：成本通常越低
最内层椭圆中心：成本最小值附近

不同的 $w, b$ 即使成本相同，也可能对应不同的模型直线。

训练目标与梯度下降

训练目标

线性回归最终需要解决的问题是：

$$\boxed{\min_{w,b} J(w,b)}$$

也就是找到一组 $w, b$，使成本函数尽可能小。

完整逻辑：

选择 w, b
 ↓
得到直线 f(x) = wx + b
 ↓
计算每个样本的预测误差
 ↓
计算成本 J(w,b)
 ↓
不断调整 w, b
 ↓
找到成本最小的参数

为什么需要梯度下降

理论上可以手动尝试很多组 $w, b$，计算每一组参数的成本，再选择成本最低的一组。但这种方法效率非常低，当模型参数很多时，几乎无法手动完成。

因此需要一种能够自动调整参数、寻找成本函数最小值的算法：

$$\boxed{\text{梯度下降（Gradient Descent）}}$$

梯度下降不仅用于线性回归，也是训练神经网络和许多复杂人工智能模型的基础算法。

成本函数的代码实现

def compute_cost(x, y, w, b):
 m = x.shape[0] # 训练样本数量

 cost_sum = 0
 for i in range(m):
 f_wb = w * x[i] + b # 第 i 个样本的预测值
 cost = (f_wb - y[i]) ** 2 # 平方误差
 cost_sum = cost_sum + cost # 累加

 total_cost = cost_sum / (2 * m) # 计算平均成本
 return total_cost

逐步理解：

m = x.shape[0]：获取训练样本数量
cost_sum = 0：准备变量，累计所有样本的平方误差
for i in range(m)：逐个处理训练样本
f_wb = w * x[i] + b：计算预测值 $\hat{y}^{(i)} = wx^{(i)} + b$
cost = (f_wb - y[i]) ** 2：计算预测值和真实价格的平方误差
cost_sum = cost_sum + cost：把当前样本的误差加入总误差
total_cost = cost_sum / (2 * m)：按照成本函数公式计算最终成本

对应公式：

$$J(w,b) = \frac{1}{2m} \sum_{i=0}^{m-1} \left(wx^{(i)} + b - y^{(i)}\right)^2$$

验证示例

import numpy as np

x_train = np.array([1.0, 2.0])
y_train = np.array([300.0, 500.0])

w = 200
b = 100

两个预测分别是：

$$200 \times 1 + 100 = 300$$$$200 \times 2 + 100 = 500$$

预测值与真实值完全相同：

compute_cost(x_train, y_train, 200, 100) # 结果：0.0

这说明 $w = 200, b = 100$ 能完美拟合这两个数据点。

关键理解：

compute_cost() 只负责评价一组 $w, b$ 好不好
成本越小，模型对训练数据的拟合通常越好
两个点可以被一条直线完美穿过，因此成本可以为零；多个不共线的数据点无法全部完美命中，因此最低成本通常大于零

为什么先学线性模型

现实中的数据关系不一定是直线，也可能是曲线、抛物线或更复杂的非线性关系。但线性模型具有以下优点：

数学形式简单
容易理解和实现
便于观察模型参数的作用
是学习复杂机器学习模型的基础

因此，课程首先从线性函数入手，之后再扩展到非线性模型。