3
您所在的位置是:主页 > bet36体育投注 >
3
您所在的位置是:主页 > bet36体育投注 >

bet36体育投注

【Stanford Machine Learning Open Course】3 线性回归问题

发布时间:2020-03-22 23:43    浏览次数 :

  如上一节:线性回归问题介绍中所讲, 解决线性回归问题,其实就是找使成本函数最小值的点。

  其中X是m*n矩阵,a是n*1特征权重向量,y是n*1向量,m为样本个数,n为特征个数,X(i,j)为第i个样本中第j个特征的值。

  令J(a)=0, 则a=(XT*X)-1*XT*y,此a就是要求的特征权重。 此方法即为正规方程组解法。

  当m或n值较大时,a=(XT*X)-1*XT*y的计算量很大,O(n3)计算量,此时正规方程组解法就会遇到瓶颈,需要引入其他解法。

  2. 梯度下降法:并不是直接求出最小值点,而是通过一个初始点,一步一步寻找最小值点,寻找的方式是:以最快的下降方向上,以一定步长前进,递归到最小值点。

  步长:固定值,可以用0.1, 0.01, 0.001尝试不同值,选取最合适的。

  梯度下降法,需要考虑初始值和步长的指定以及特征归一化,但可以支持大数据量。

  答:不会。因为实际起作用的步长是 步长*斜率值,而越接近最小值点时斜率约接近0,步长*斜率就会变小。

  答:步长过小会导致成本函数收敛速度慢,过大可能会导致成本函数不收敛。可以用0.1,0.01,0.001这样间隔10倍或者3倍尝试,看成本函数变化曲线。曲线下降太平缓需要加大步长,曲线波动较大、不收敛时需要减小步长。