3.2 试证明，对于参数w，对率回归的目标函数(3.18)是非凸的，但其对数似然函数(3.27)是凸的.最小化ell(beta)=sum_(i=1)^m(-y_(i)beta^Tx_(i)+ln(1+e^beta^(Tx_{i)})). (3.27)
题目解答
答案
为了证明对率回归的目标函数(3.18)是非凸的，但其对数似然函数(3.27)是凸的，我们首先需要明确这两个函数的具体形式。这里，我们假设(3.27)是对数似然函数，而(3.18)是其负值，即最小化的目标函数。根据题目，我们有：
对数似然函数（3.27）:
$\ell(\beta) = \sum_{i=1}^{m} \left( -y_i \beta^T x_i + \ln(1 + e^{\beta^T x_i}) \right)$
目标函数（3.18）:
$J(\beta) = -\ell(\beta) = \sum_{i=1}^{m} \left( y_i \beta^T x_i - \ln(1 + e^{\beta^T x_i}) \right)$
1. 证明对数似然函数(3.27)是凸的
为了证明一个函数是凸的，我们需要证明其二阶导数（Hessian矩阵）是半正定的。对于对数似然函数 $\ell(\beta)$，我们首先计算其一阶导数和二阶导数。
一阶导数
$\nabla \ell(\beta) = \sum_{i=1}^{m} \left( -y_i x_i + \frac{e^{\beta^T x_i}}{1 + e^{\beta^T x_i}} x_i \right)$
$\nabla \ell(\beta) = \sum_{i=1}^{m} \left( -y_i x_i + \sigma(\beta^T x_i) x_i \right)$
其中，$\sigma(z) = \frac{1}{1 + e^{-z}}$ 是sigmoid函数。
二阶导数（Hessian矩阵）
$\nabla^2 \ell(\beta) = \sum_{i=1}^{m} \left( \frac{e^{\beta^T x_i}}{(1 + e^{\beta^T x_i})^2} x_i x_i^T \right)$
$\nabla^2 \ell(\beta) = \sum_{i=1}^{m} \left( \sigma(\beta^T x_i) (1 - \sigma(\beta^T x_i)) x_i x_i^T \right)$
由于 $\sigma(z) (1 - \sigma(z))$ 在 $(0, 1)$ 之间，因此 $\sigma(\beta^T x_i) (1 - \sigma(\beta^T x_i))$ 是非负的。因此，Hessian矩阵 $\nabla^2 \ell(\beta)$ 是一个半正定矩阵，这表明 $\ell(\beta)$ 是凸的。
2. 证明目标函数(3.18)是非凸的
目标函数 $J(\beta) = -\ell(\beta)$ 是对数似然函数的负值。如果 $\ell(\beta)$ 是凸的，那么 $J(\beta)$ 是凹的。为了证明 $J(\beta)$ 是非凸的，我们可以通过以下步骤进行：
一阶导数
$\nabla J(\beta) = -\nabla \ell(\beta) = \sum_{i=1}^{m} \left( y_i x_i - \sigma(\beta^T x_i) x_i \right)$
二阶导数（Hessian矩阵）
$\nabla^2 J(\beta) = -\nabla^2 \ell(\beta) = -\sum_{i=1}^{m} \left( \sigma(\beta^T x_i) (1 - \sigma(\beta^T x_i)) x_i x_i^T \right)$
由于 $\nabla^2 \ell(\beta)$ 是半正定的，$-\nabla^2 \ell(\beta)$ 是半负定的。因此，$\nabla^2 J(\beta)$ 是半负定的，这表明 $J(\beta)$ 是凹的，而不是凸的。
结论
- 对数似然函数 $\ell(\beta)$ 是凸的，因为其Hessian矩阵是半正定的。
- 目标函数 $J(\beta) = -\ell(\beta)$ 是凹的，因为其Hessian矩阵是半负定的。
因此，我们证明了对率回归的目标函数(3.18)是非凸的，但其对数似然函数(3.27)是凸的。
解析
本题主要考察对率回归中目标函数和对数似然函数的凸性证明，解题的关键在于通过计算函数的二阶导数（Hessian矩阵），并判断其正定性来确定函数的凸性。
1. 明确函数形式
已知对数似然函数（3.27）为：
$\ell(\beta) = \sum_{i=1}^{m} \left( -y_i \beta^T x_i + \ln(1 + e^{\beta^T x_i}) \right)$
目标函数（3.18）为对数似然函数的负值，即：
$J(\beta) = -\ell(\beta) = \sum_{i=1}^{m} \left( y_i \beta^T x_i - \ln(1 + e^{\beta^T x_i}) \right)$
2. 证明对数似然函数(3.27)是凸的
为证明函数是凸的，需证明其二阶导数（Hessian矩阵）是半正定的。
- 一阶导数：
对$\ell(\beta)$求关于$\beta$的一阶导数，根据求导公式$(uv)^\prime = u^\prime v + uv^\prime$和$(\ln u)^\prime=\frac{u^\prime}{u}$可得：
$\nabla \ell(\beta) = \sum_{i=1}^{m} \left( -y_i x_i + \frac{e^{\beta^T x_i}}{1 + e^{\beta^T x_i}} x_i \right)$
令$\sigma(z) = \frac{1}{1 + e^{-z}}$，则$\frac{e^{\beta^T x_i}}{1 + e^{\beta^T x_i}}=\sigma(\beta^T x_i)$，所以$\nabla \ell(\beta) = \sum_{i=1}^{m} \left( -y_i x_i + \sigma(\beta^T x_i) x_i \right)$ 。 - 二阶导数（Hessian矩阵）：
对$\nabla \ell(\beta)$求关于$\beta$的二阶导数，可得：
$\nabla^2 \ell(\beta) = \sum_{i=1}^{m} \left( \frac{e^{\beta^T x_i}}{(1 + e^{\beta^T x_i})^2} x_i x_i^T \right)$
又因为$\frac{e^{\beta^T x_i}}{(1 + e^{\beta^T x_i})^2}=\sigma(\beta^T x_i) (1 - \sigma(\beta^T x_i))$，所以$\nabla^2 \ell(\beta) = \sum_{i=1}^{m} \left( \sigma(\beta^T x_i) (1 - \sigma(\beta^T x_i)) x_i x_i^T \right)$ 。
由于$\sigma(z) (1 - \sigma(z))$的值在$(0, 1)$之间，所以$\sigma(\beta^T x_i) (1 - \sigma(\beta^T x_i))\geq0$，这表明Hessian矩阵$\nabla^2 \ell(\beta)$是半正定矩阵，因此$\ell(\beta)$是凸的。
3. 证明目标函数(3.18)是非凸的
目标函数$J(\beta) = -\ell(\beta)$，若$\ell(\beta)$是凸的，则$J(\beta)$是凹的。
- 一阶导数：
对$J(\beta)$求关于$\beta$的一阶导数，可得：
$\nabla J(\beta) = -\nabla \ell(\beta) = \sum_{i=1}^{m} \left( y_i x_i - \sigma(\beta^T x_i) x_i \right)$ - 二阶导数（Hessian矩阵）：
对$\nabla J(\beta)$求关于$\beta$的二阶导数，可得：
$\nabla^2 J(\beta) = -\nabla^2 \ell(\beta) = -\sum_{i=1}^{m} \left( \sigma(\beta^T x_i) (1 - \sigma(\beta^T x_i)) x_i x_i^T \right)$
因为$\nabla^2 \ell(\beta)$是半正定的，所以$-\nabla^2 \ell(\beta)$是半负定的，即$\nabla^2 J(\beta)$是半负定的，这表明$J(\beta)$是凹的，而不是凸的。