过拟合与正则化
范数
范数
L1范数定义为:
等于向量中所有元素绝对值之和。
所以L1范数优化就是:
此时,机器学习的损失函数也就变成了:(是预先定义的损失函数)
要想这个最小,那么得||x||大部分都是0,这样才能最小
可以理解为,让机器人变傻一点,不要记住那么多特征。比如说:
机器人原来的解:[把, 打, 扒, 捕, 拉]
机器人变傻以后的解:[扌, 0, 0, 0, 0]
范数
L2范数是指向量各元素的平方和然后求平方根。“岭回归”(Ridge Regression),有人也叫它“权值衰减weight decay”。
alert(“hhh”)