时间:2025-07-02
---------|----------------------|------------------|------------------------------|------------------------|
| L1正则化 | 权重绝对值惩罚 | ✅ | 高维稀疏数据 | 文本分类、特征选择 |
| L2正则化 | 权重平方惩罚 | ❌ | 多重共线性、回归任务 | 线性模型、神经网络 |
| Dropout | 随机关闭神经元 | ❌ | 深度神经网络 | 图像识别、NLP任务 |
六、是否真的有效?实证分析
为了验证这些正则化方法的实际效果,我们可以在MNIST手写数字识别任务中进行实验比较。
#实验配置:
- 数据集:MNIST(60,000训练样本,10,000测试样本)
- 模型结构:3层全连接神经网络
- 对比方案:基础模型、L1正则化、L2正则化、Dropout、L2+Dropout联合使用
#结果对比:
| 模型配置 | 训练准确率 | 测试准确率 | 是否出现过拟合 |
|--------------------|------------|------------|-------------