机器学习第一发：逻辑回归
逻辑回归（Logistic Regression）又称逻辑回归分析，是一种广义的线性回归分析模型。逻辑回归在线性回归的基础上，采用sigmoid函数，将函数空间映射到0到1之间，改进了线性回归中对奇异点的处理难题。逻辑回归在分类的同时可以给出分到该类别的概率，使得逻辑回归作为一种常见的机器学习算法，广泛应用于计算广告和推荐排序领域，并且在模型训练时间上也占很大优势。
假设有数据集D={xi,yi}，对应的类别标签y为0或1。一般线性回归的数学模型为y=wx+b。其中x为自变量，y为因变量，w为被学习的权重，b为偏置。逻辑回归在线性回归的基础之上，借助sigmoid函数将函数空间映射到0到1之间，sigmoid函数表示为，函数图像如图所示：
逻辑回归的数学表示为
逻辑回归的损失函数如下：
其中参数w未知，可以使用梯度下降法。
算法如下：
初始化梯度w=0，增长率a=1，最大迭代次数Tol，精度e=0.01。
（1）计算梯度，（2）更新权重，
（3）重复步骤（1）（2），直至权重w变化小于e或者迭代次数等于Tol。
此外，梯度下降方法中a值的选择是一个问题，在这个方面可以通过牛顿法或者拟牛顿法来解决。
总体来说，逻辑回归是一种在计算广告以及搜索推荐领域广泛应用的机器学习算法，它不仅可以得到分类结果，而且可以得到分为该类别的概率。