第1课：找条直线来算命 —— 线性回归 | ML 趣学堂

📏

第1课：找条直线来算命

线性回归 Linear Regression · 难度：⭐ · 预计学习：20分钟

你开了一家奶茶店。天气热的时候买奶茶的人多，天冷的时候大家只想喝热水。你想知道"明天 28 度，我该备多少杯？"——于是你翻出过去 20 天的小本本：每天的温度和卖出的杯数。现在，你要从这些散乱的点里，找出一条直线来"算命"。这条直线怎么找？这就是线性回归。

🤔 什么是线性回归？

线性回归是机器学习中最简单、最经典的算法之一。它的核心思想可以用一句话概括：

💡 核心思想

找到一条直线 y = β₀ + β₁·x，让它尽可能靠近所有的数据点。

这听起来很简单对吧？但别小看它——线性回归是理解所有复杂模型的基础。神经网络、深度学习本质上也是在"找一条线"，只不过是在高维空间里找一条超级复杂的"线"。

📖 先搞懂三个关键角色

角色	符号	通俗解释	奶茶店例子
自变量（特征）	x	我们已知的信息，用来做预测的"输入"	今天的温度是多少度
因变量（目标）	y	我们想预测的东西，是"输出"	今天卖了多少杯奶茶
参数	β₀, β₁	直线的"旋钮"，调整它们就能改变直线	β₁=每多1度多卖几杯，β₀=0度时的基础销量

🎮 亲手试试：拖动滑块找最佳直线

下面的散点图里有 20 个数据点（每天的温度 vs 奶茶销量）。你的任务：拖动滑块调整直线的斜率和截距，让直线尽可能靠近所有点。

先别看最优值，凭感觉拖动斜率和截距滑块，观察直线怎么变化
注意那些 红色虚线——它们是"残差"，也就是每个点到直线的竖直距离。残差越短，说明直线越准
观察右上角的 MSE 数值——它把所有残差"打包"成一个数字。越小越好，越绿越靠谱
点 ✨ 自动拟合，看计算机用"最小二乘法"找到的最佳直线是什么样的

🎮 拖动滑块，试试能不能让直线穿过所有点

MSE（均方误差）

最优斜率 (β₁)

最优截距 (β₀)

斜率 β₁（每度多卖几杯） 1.50

截距 β₀（0度时的基础销量） 0.00

🔍 刚刚发生了什么？——逐步拆解

当你拖动滑块时，你其实是在做一件数学上很精确的事。让我们一步步分析：

第1步：什么是"好"的直线？

判断一条直线好不好，最简单的方法：看每个点到直线的竖直距离。距离越小 → 直线越准。如果所有点恰好都在直线上，那距离就是 0——完美！但现实世界的数据总有噪声，所以距离不可能全是 0。

图中那些红色虚线就是这些"竖直距离"，专业名称叫 残差（Residual）：

残差 eᵢ = 真实值 yᵢ − 预测值 ŷᵢ

"真实值"是数据点实际在哪，"预测值"是直线说你该在哪。两者的差距就是残差。

第2步：怎么把所有残差合成一个数？

有 20 个点就有 20 个残差，我们不能挨个看。需要把它们"压缩"成一个数字来评价整条直线。最容易想到的是取平均值——但残差有正有负，直接平均会互相抵消（比如 +5 和 -5 平均 = 0，看起来好像很好，但实际上不好）。

所以我们对每个残差先平方（消除正负号），再取平均。这就是均方误差 MSE：

MSE = (1/n) · Σᵢ₌₁ⁿ (yᵢ − ŷᵢ)²

翻译：把每个残差平方，加在一起，除以数据点个数。MSE 越小 = 直线越好。

第3步：怎么找到让 MSE 最小的 β₀ 和 β₁？

这就是最小二乘法（Least Squares）的核心：求 β₀ 和 β₁ 的值，使得 MSE 最小。对于线性回归，这个问题有解析解——不需要"猜"，可以直接算出来！

🧪 最小二乘法公式详解

下面是线性回归的"闭式解"——也就是说，只要把数据代进去，一步就能算出最优的 β₀ 和 β₁：

📐

🔹 第一步：计算斜率 β₁
β₁ = Σ((xᵢ − x̄)(yᵢ − ȳ)) / Σ((xᵢ − x̄)²)

xᵢ	第 i 个数据点的 x 值（比如第3天的温度）
yᵢ	第 i 个数据点的 y 值（比如第3天的销量）
x̄	所有 x 的平均值（"平均气温"）
ȳ	所有 y 的平均值（"平均销量"）
Σ(...)	求和符号，把所有数据点的值加在一起

分子 Σ((xᵢ−x̄)(yᵢ−ȳ))：x 偏离均值的程度 × y 偏离均值的程度，加在一起 → 反映x 和 y "一起变"多少（协方差的 n 倍）

分母 Σ((xᵢ−x̄)²)：x 偏离均值的平方和 → 反映x "自己变"多少（方差的 n 倍）

👉 斜率 β₁ 就是 "x 和 y 一起变多少 ÷ x 自己变多少"，本质上是每单位 x 变化对应多少 y 变化。

🔹 第二步：计算截距 β₀ β₀ = ȳ − β₁ · x̄

ȳ	所有 y 的平均值
x̄	所有 x 的平均值
β₁	上一步算出的斜率

👉 截距就是"让直线穿过数据中心点 (x̄, ȳ)"所需的偏移量。可以理解为——斜率定了之后，直线要在 y 轴上"补多少差价"才能过数据中心。

💻 代码实践：三行代码搞定线性回归

上面的数学看起来复杂？好消息是——用 Python 只需要 3 行核心代码。sklearn 已经把最小二乘法封装好了。下面是完整代码，每行都有详细注释：

# ============================================
# 线性回归完整示例 —— sklearn 实现
# ============================================

# 第一步：导入工具包
from sklearn.linear_model import LinearRegression  # 线性回归模型
from sklearn.model_selection import train_test_split  # 划分训练集/测试集
import pandas as pd

# 第二步：准备数据（假设 df 是你的奶茶店数据表）
# df 长这样：
#    temperature  sales
# 0          28     92
# 1          22     75
# ...

X = df[['temperature']]            # 特征：温度（注意双中括号，保持二维形状）
y = df['sales']                      # 目标：销量

# 第三步：划分训练集（80%）和测试集（20%）
# 训练集用来"学习"，测试集用来"考试"——用没见过的数据检验模型
X_train, X_test, y_train, y_test = train_test_split(
    X, y,
    test_size=0.2,       # 20% 的数据留作测试
    random_state=42      # 固定随机种子，保证每次结果一样
)

# 第四步：创建模型并训练（这才是核心——就两行！）
model = LinearRegression()            # 创建线性回归模型
model.fit(X_train, y_train)           # 用训练数据"拟合"——自动计算 β₀ 和 β₁！

# 第五步：查看学到的东西
print(f"斜率 β₁ = {model.coef_[0]:.3f}")      # model.coef_ 存储了权重（斜率）
print(f"截距 β₀ = {model.intercept_:.3f}")   # model.intercept_ 存储了截距
# 输出示例：斜率 β₁ = 2.051, 截距 β₀ = 0.873

# 第六步：评估模型
train_score = model.score(X_train, y_train)   # 训练集上的 R² 分数
test_score  = model.score(X_test, y_test)     # 测试集上的 R² 分数
print(f"训练集 R² = {train_score:.3f}")    # R² 越接近 1 越好
print(f"测试集 R² = {test_score:.3f}")

# 第七步：预测新数据
tomorrow_temp = [[28]]                         # 明天28度（注意：必须用二维数组！）
predicted_sales = model.predict(tomorrow_temp) # 模型预测销量
print(f"预测明天卖 {predicted_sales[0]:.0f} 杯")
# 输出：预测明天卖 58 杯

💡

关键理解：
① model.fit() 就是计算机自动做"最小二乘法"计算的过程
② model.coef_ 就是 β₁（斜率），model.intercept_ 就是 β₀（截距）
③ model.score() 返回的是 R² 分数（0~1 之间），不是 MSE。R²=1 表示完美拟合
④ model.predict() 就是做 y=β₀+β₁·x 的计算——给你 x，算出预测的 y

🎤 面试考点

💡

Q1: 线性回归有哪些核心假设？
A: 五个关键假设——①线性关系（特征和目标之间是线性关系）；②误差独立同分布（每个数据点的误差不相关）；③误差服从正态分布；④无异方差性（误差的方差恒定，不随 x 变化而变化）；⑤无多重共线性（多个特征之间不能有太强的线性相关）。违反这些假设时，系数估计仍然无偏但可能不再是最优的，假设检验也会失效。

Q2: MSE 和 R² 有什么区别？
A: MSE 是绝对指标，取决于数据的单位（比如"杯²"），不能跨数据集比较。它的范围是 [0, +∞)，越小越好。R² 是相对指标，范围 [0, 1]（实际可能为负），衡量"模型比直接猜平均值强多少"。R²=0.8 意味着模型解释了 80% 的方差。面试中最好两个都说，展示你理解它们各自的适用场景。

🧠 知识点卡片

📐

线性回归公式

y = β₀ + β₁·x + ε
β₁（斜率）：x 每增加 1，y 平均变化 β₁
β₀（截距）：x=0 时 y 的预测值
ε（误差）：真实值和预测值的差距，世上没有完美的直线

🧮

最小二乘法 (OLS)

找 β₀ 和 β₁ 使所有残差的平方和最小。

为什么用平方？①正负残差不会互相抵消 ②大残差被"重罚"（平方放大了大误差的影响）③数学上有解析解，不需要迭代

📏

残差 (Residual)

残差 eᵢ = yᵢ − ŷᵢ

图中红色虚线就是残差。残差越小 → 预测越准。

残差图（残差 vs 预测值）是诊断模型问题的重要工具——如果残差有规律（如漏斗形），说明模型假设不成立

📊

MSE vs R²

MSE = (1/n)·Σ(残差²) → 有单位的绝对误差，受数据尺度影响
R² = 1 − (Σ残差² / Σ(yᵢ−ȳ)²) → 0~1 的相对指标，可跨数据集比较
面试技巧：两个都提，显示你理解它们的互补关系

😂

冷笑话时刻
问：数据科学家最怕什么？
答：怕女朋友问"你觉得我胖了吗？"—— 因为这是一个没有 ground truth 的回归问题。
追问："那我比去年胖了多少？"—— 这至少是个有监督学习问题，但 label 噪声太大。

← 回到首页

← 上一课下一课 →