逻辑回归是一种广泛使用的分类算法，用于估计一个事件发生的概率。它是线性回归的扩展，通过sigmoid函数将线性回归的输出映射到[0, 1]区间，从而用于分类任务。
在逻辑回归中，我们使用对数似然损失函数（log-likelihood loss function）来衡量模型预测值与真实值之间的差异。我们的目标是最小化这个损失函数，以找到最优的模型参数。
假设我们有以下符号：
- h θ ( x ) h_{\theta}(x) hθ(x) 是模型预测的概率， h θ ( x ) = 1 1 + e − θ T x h_{\theta}(x) = \frac{1}{1 + e^{-\theta^T x}} hθ(x)=1+e−θTx1。
- m m m 是训练样本的数量。
- y y y 是实际输出标签，取值为0或1。
- θ \theta θ 是模型参数。
- x x x 是单个训练样本的特征向量。
对数似然损失函数为(也可以说是交叉熵损失，来源于KL散度的后一项)：
L
(
θ
)
=
−
1
m
∑
i
=
1
m
[
y
(
i
)
log
(
h
θ
(
x
(
i
)
)
)
+
(
1
−
y
(
i
)
)
log
(
1
−
h
θ
(
x
(
i
)
)
)
]
L(\theta) = -\frac{1}{m} \sum_{i=1}^{m} [y^{(i)} \log(h_{\theta}(x^{(i)})) + (1 - y^{(i)}) \log(1 - h_{\theta}(x^{(i)}))]
L(θ)=−m1i=1∑m[y(i)log(hθ(x(i)))+(1−y(i))log(1−hθ(x(i)))]
为了找到最小化损失函数的参数 θ \theta θ，我们需要计算损失函数关 $\theta $ 的梯度。以下是梯度计算的过程：
对 $ L(\theta) $ 求关于$ \theta_j $ 的偏导数：
∂
∂
θ
j
L
(
θ
)
=
−
1
m
∑
i
=
1
m
[
y
(
i
)
∂
∂
θ
j
log
(
h
θ
(
x
(
i
)
)
)
+
(
1
−
y
(
i
)
)
∂
∂
θ
j
log
(
1
−
h
θ
(
x
(
i
)
)
)
]
=
−
1
m
∑
i
=
1
m
[
y
(
i
)
h
θ
(
x
(
i
)
)
∂
∂
θ
j
h
θ
(
x
(
i
)
)
−
1
−
y
(
i
)
1
−
h
θ
(
x
(
i
)
)
∂
∂
θ
j
h
θ
(
x
(
i
)
)
]
=
−
1
m
∑
i
=
1
m
[
y
(
i
)
1
h
θ
(
x
(
i
)
)
−
(
1
−
y
(
i
)
)
1
1
−
h
θ
(
x
(
i
)
)
]
∂
∂
θ
j
h
θ
(
x
(
i
)
)
\begin{align*} \frac{\partial}{\partial \theta_j} L(\theta) &= -\frac{1}{m} \sum_{i=1}^{m} \left[ y^{(i)} \frac{\partial}{\partial \theta_j} \log(h_{\theta}(x^{(i)})) + (1 - y^{(i)}) \frac{\partial}{\partial \theta_j} \log(1 - h_{\theta}(x^{(i)})) \right] \\ &= -\frac{1}{m} \sum_{i=1}^{m} \left[ \frac{y^{(i)}}{h_{\theta}(x^{(i)})} \frac{\partial}{\partial \theta_j} h_{\theta}(x^{(i)}) - \frac{1 - y^{(i)}}{1 - h_{\theta}(x^{(i)})} \frac{\partial}{\partial \theta_j} h_{\theta}(x^{(i)}) \right] \\ &= -\frac{1}{m} \sum_{i=1}^{m} \left[ y^{(i)} \frac{1}{h_{\theta}(x^{(i)})} - (1 - y^{(i)}) \frac{1}{1 - h_{\theta}(x^{(i)})} \right] \frac{\partial}{\partial \theta_j} h_{\theta}(x^{(i)}) \end{align*}
∂θj∂L(θ)=−m1i=1∑m[y(i)∂θj∂log(hθ(x(i)))+(1−y(i))∂θj∂log(1−hθ(x(i)))]=−m1i=1∑m[hθ(x(i))y(i)∂θj∂hθ(x(i))−1−hθ(x(i))1−y(i)∂θj∂hθ(x(i))]=−m1i=1∑m[y(i)hθ(x(i))1−(1−y(i))1−hθ(x(i))1]∂θj∂hθ(x(i))
计算
h
θ
(
x
)
h_{\theta}(x)
hθ(x) 关于
θ
j
\theta _{j}
θj的偏导数:
∂
∂
θ
j
h
θ
(
x
)
=
∂
∂
θ
j
(
1
1
+
e
−
θ
T
x
)
=
e
−
θ
T
x
(
1
+
e
−
θ
T
x
)
2
∂
∂
θ
j
(
−
θ
T
x
)
=
e
−
θ
T
x
(
1
+
e
−
θ
T
x
)
2
(
−
x
j
)
=
h
θ
(
x
)
(
1
−
h
θ
(
x
)
)
(
−
x
j
)
\begin{align*} \frac{\partial}{\partial \theta_j} h_{\theta}(x) &= \frac{\partial}{\partial \theta_j} \left( \frac{1}{1 + e^{-\theta^T x}} \right) \\ &= \frac{e^{-\theta^T x}}{(1 + e^{-\theta^T x})^2} \frac{\partial}{\partial \theta_j} (-\theta^T x) \\ &= \frac{e^{-\theta^T x}}{(1 + e^{-\theta^T x})^2} (-x_j) \\ &= h_{\theta}(x) (1 - h_{\theta}(x)) (-x_j) \\ \end{align*}
∂θj∂hθ(x)=∂θj∂(1+e−θTx1)=(1+e−θTx)2e−θTx∂θj∂(−θTx)=(1+e−θTx)2e−θTx(−xj)=hθ(x)(1−hθ(x))(−xj)
将 (
∂
∂
θ
j
h
θ
(
x
)
\frac{\partial}{\partial \theta_j} h_{\theta}(x)
∂θj∂hθ(x) ) 的结果代入梯度公式中：
∂
∂
θ
j
L
(
θ
)
=
−
1
m
∑
i
=
1
m
[
y
(
i
)
1
h
θ
(
x
(
i
)
)
−
(
1
−
y
(
i
)
)
1
1
−
h
θ
(
x
(
i
)
)
]
h
θ
(
x
)
(
1
−
h
θ
(
x
)
)
(
−
x
j
)
=
−
1
m
∑
i
=
1
m
[
y
(
i
)
(
1
−
h
θ
(
x
(
i
)
)
)
−
(
1
−
y
(
i
)
)
h
θ
(
x
(
i
)
)
]
(
−
x
j
(
i
)
)
=
−
1
m
∑
i
=
1
m
[
y
(
i
)
−
h
θ
(
x
(
i
)
)
]
(
−
x
j
(
i
)
)
\begin{align*} \frac{\partial}{\partial \theta_j} L(\theta) &= -\frac{1}{m} \sum_{i=1}^{m} \left[ y^{(i)} \frac{1}{h_{\theta}(x^{(i)})} - (1 - y^{(i)}) \frac{1}{1 - h_{\theta}(x^{(i)})} \right]h_{\theta}(x) (1 - h_{\theta}(x)) (-x_j) \\ &= -\frac{1}{m} \sum_{i=1}^{m} \left[ y^{(i)} (1 - h_{\theta}(x^{(i)})) - (1 - y^{(i)}) h_{\theta}(x^{(i)}) \right] (-x_j^{(i)}) \\ &= -\frac{1}{m} \sum_{i=1}^{m} \left[ y^{(i)} - h_{\theta}(x^{(i)}) \right] (-x_j^{(i)}) \end{align*}
∂θj∂L(θ)=−m1i=1∑m[y(i)hθ(x(i))1−(1−y(i))1−hθ(x(i))1]hθ(x)(1−hθ(x))(−xj)=−m1i=1∑m[y(i)(1−hθ(x(i)))−(1−y(i))hθ(x(i))](−xj(i))=−m1i=1∑m[y(i)−hθ(x(i))](−xj(i))
因此，逻辑回归损失函数
L
(
θ
)
L(\theta)
L(θ) 关于参数
θ
j
\theta_j
θj的梯度是：
∂
∂
θ
j
L
(
θ
)
=
−
1
m
∑
i
=
1
m
[
h
θ
(
x
(
i
)
)
−
y
(
i
)
]
x
j
(
i
)
\frac{\partial}{\partial \theta_j} L(\theta) = -\frac{1}{m} \sum_{i=1}^{m} \left[ h_{\theta}(x^{(i)}) - y^{(i)} \right] x_j^{(i)}
∂θj∂L(θ)=−m1i=1∑m[hθ(x(i))−y(i)]xj(i)
这个梯度表达式告诉我们，对于每个参数 θ j \theta_j θj，我们需要计算模型预测 h θ ( x ( i ) ) h_{\theta}(x^{(i)}) hθ(x(i)) 和实际标签 y ( i ) y^{(i)} y(i) 之间的差异，然后将这个差异乘以特征 x j ( i ) x_j^{(i)} xj(i)，最后对所有训练样本求和并除以样本数量 m m m。这个梯度用于在优化过程中更新参数 θ j \theta_j θj，以最小化损失函数。
