过拟合与正则化

范数

​范数

L1范数定义为：

等于向量中所有元素绝对值之和。

所以L1范数优化就是：

此时，机器学习的损失函数也就变成了：（​是预先定义的损失函数）

要想这个最小，那么得||x||大部分都是0，这样才能最小

可以理解为，让机器人变傻一点，不要记住那么多特征。比如说：

机器人原来的解：[把, 打, 扒, 捕, 拉]

机器人变傻以后的解：[扌, 0, 0, 0, 0]

​范数

L2范数是指向量各元素的平方和然后求平方根。“岭回归”（Ridge Regression），有人也叫它“权值衰减weight decay”。