过拟合与正则化

过拟合与正则化

范数

​范数

L1范数定义为:

[公式]

等于向量中所有元素绝对值之和。

所以L1范数优化就是:

[公式]

此时,机器学习的损失函数也就变成了:(​是预先定义的损失函数)

[公式]

要想这个最小,那么得||x||大部分都是0,这样才能最小

可以理解为,让机器人变傻一点,不要记住那么多特征。比如说:

img

机器人原来的解:[把, 打, 扒, 捕, 拉]

机器人变傻以后的解:[扌, 0, 0, 0, 0]

​范数

L2范数是指向量各元素的平方和然后求平方根。“岭回归”(Ridge Regression),有人也叫它“权值衰减weight decay”。

发布者

《过拟合与正则化》上有1条评论

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注

CAPTCHAis initialing...