损失函数

L1 Loss (MAE)

$$L=\frac{1}{n}\sum _{i=1}^n|y_i-{\hat{y}}_i|$$

特点：

• 绝对误差均值，鲁棒性强于 L2
• 对异常值不敏感（梯度恒定）
• 输出稀疏解（特征选择）

应用场景：

• 需要鲁棒性的回归任务
• 图像去噪/重建（保留边缘）
• 金融风险预测（避免极端值干扰）

L2 Loss (MSE)

$$L=\frac{1}{n}\sum _{i=1}^n(y_i-{\hat{y}}_i{)}^2$$

特点：

• 平方误差均值，对异常值敏感
• 提供更稳定的梯度（凸优化特性）
• 输出非稀疏解

应用场景：

• 常规回归问题
• 信号处理（强调大误差惩罚）
• 神经网络初始化（配合反向传播）

Pyramid L1 Loss

$$L=\sum _{l=1}^L{\lambda }_l\cdot \frac{1}{n_l}\sum _{i=1}^{n_l}|y_i^l-{\hat{y}}_i^l|$$

结构：

• 多尺度金字塔（通常 3-5 层）
• 高斯金字塔下采样（比例常为 2）
• 每层独立计算 L1 后加权求和

特点：

• 捕捉多尺度特征差异
• 增强纹理细节保留
• 参数 λ 控制层级重要性

应用场景：

• 图像超分辨率（如 EDSR）
• 图像风格迁移
• 视频帧预测

Pyramid MSE Loss

$$L=\sum _{l=1}^L{\lambda }_l\cdot \frac{1}{n_l}\sum _{i=1}^{n_l}(y_i-{\hat{y}}_i{)}^2$$

特点：

• 强调高频细节重建
• 对对齐误差更敏感
• 需要仔细调整 λ 防止过平滑

应用场景：

• 图像修复
• HDR 成像
• 医学图像重建

CLIP Loss

Learning Transferable Visual Models From Natural Language Supervision

$$L=-\log \left[\frac{e^{\mathrm{sim}(x_i,t_i)/\tau }}{\sum _{j=1}^N{e}^{\mathrm{sim}(x_j,t_j)/\tau }}\right]$$

• $x_i$：第 $i$ 个图像样本
• $t_i$：第 $i$ 个图像样本的正确文本描述
• sim：一般为余弦相似度
• $t_j$：其他文本描述，包括 $t_i$ 和其他与 $x_i$ 不匹配的文本描述
• $\tau$：温度参数，用于控制相似度分布的平滑程度

应用场景：

• 图文检索
• 零样本学习
• 多模态理解任务