LogSumExp

LogSumExp（LSE，也稱RealSoftMax^[1]或多變量softplus）函數是一個平滑最大值——一個對極值函數的光滑近似，主要用在機器學習演算法中。^[2] 其定義為參數的指數的和的對數：

${\displaystyle \mathrm{L}\mathrm{S}\mathrm{E}(x_1,\dots ,x_n)=\log (\exp (x_1)+\cdots +\exp (x_n)).}$

LogSumExp函數的定義域為${\displaystyle {ℝ}^n}$（實數空間（英語：real coordinate space）），共域是${\displaystyle ℝ}$（實數線）。 它是對極值函數${\displaystyle \underset{i}{max}{x}_i}$的近似，同時有如下的界限：

${\displaystyle max\{x_1,\dots ,x_n\}\le \mathrm{L}\mathrm{S}\mathrm{E}(x_1,\dots ,x_n)\le max\{x_1,\dots ,x_n\}+\log (n).}$

第一個不等式在${\displaystyle n=1}$以外的情況是嚴格成立的，第二個不等式僅在所有元素相等時取等號。 （證明：令${\displaystyle m=\underset{i}{max}{x}_i}$，則${\displaystyle \exp (m)\le \sum _{i=1}^n\exp (x_i)\le n\exp (m)}$。將不等式取對數即可。）

另外，我們可以將不等式縮放到更緊的界限。考慮函數${\displaystyle \frac{1}{t}\mathrm{L}\mathrm{S}\mathrm{E}(tx)}$。然後，

${\displaystyle max\{x_1,\dots ,x_n\}<\frac{1}{t}\mathrm{L}\mathrm{S}\mathrm{E}(tx)\le max\{x_1,\dots ,x_n\}+\frac{\log (n)}{t}}$

（證明：將上式${\displaystyle x_i}$用${\displaystyle t>0}$的${\displaystyle t{x}_i}$替換，得到

${\displaystyle max\{t{x}_1,\dots ,t{x}_n\}<\mathrm{L}\mathrm{S}\mathrm{E}(t{x}_1,\dots ,t{x}_n)\le max\{t{x}_1,\dots ,t{x}_n\}+\log (n)}$

由於${\displaystyle t>0}$，

${\displaystyle tmax\{x_1,\dots ,x_n\}<\mathrm{L}\mathrm{S}\mathrm{E}(t{x}_1,\dots ,t{x}_n)\le tmax\{x_1,\dots ,x_n\}+\log (n)}$

最後，同除${\displaystyle t}$得到結果。）

此外，如果我們乘上一個負數，可以得到一個與${\displaystyle min}$有關的不等式：

${\displaystyle min\{x_1,\dots ,x_n\}-\frac{\log (n)}{t}\le \frac{1}{-t}\mathrm{L}\mathrm{S}\mathrm{E}(-tx)<min\{x_1,\dots ,x_n\}.}$

LogSumExp函數是凸函數，因此在定義域上嚴格遞增。^[3] （但並非處處都是嚴格凸的^[4]。）

令${\displaystyle 𝐱=(x_1,\dots ,x_n)}$，偏導數為：

${\displaystyle \frac{\partial }{\partial x_i}\mathrm{L}\mathrm{S}\mathrm{E}(𝐱)=\frac{\exp x_i}{{\sum }_j\exp x_j},}$

表明LogSumExp的梯度是softmax函數。

LogSumExp的凸共軛是負熵。

當通常的算術計算在對數尺度上進行時，經常會遇到LSE函數，例如對數概率。^[5]

類似於線性尺度中的乘法運算變成對數尺度中的簡單加法，線性尺度中的加法運算變成對數尺度中的LSE：

${\displaystyle \mathrm{L}\mathrm{S}\mathrm{E}(\log (x_1),\mathrm{...},\log (x_n))=\log (x_1+\cdots +x_n)}$

使用對數體計算的一個常見目的是在使用有限精度浮點數直接表示（線上性域中）非常小或非常大的數字時提高精度並避免溢位問題.^[6]

不幸的是，在一些情況下直接使用 LSE 依然會導致上溢/下溢問題，必須改用以下等效公式（尤其是當上述「最大」近似值的準確性不夠時）。 因此，IT++等很多數學庫都提供了LSE的預設常式，並在內部使用了這個公式。

${\displaystyle \mathrm{L}\mathrm{S}\mathrm{E}(x_1,\dots ,x_n)=x^{\ast }+\log (\exp (x_1-x^{\ast })+\cdots +\exp (x_n-x^{\ast }))}$

其中${\displaystyle x^{\ast }=max\{x_1,\dots ,x_n\}}$

LSE是凸的，但不是嚴格凸的。我們可以通過增加一項為零的額外參數來定義一個嚴格凸的log-sum-exp型函數^[7]：

${\displaystyle {\mathrm{L}\mathrm{S}\mathrm{E}}_0^{+}(x_1,\mathrm{...},x_n)=\mathrm{L}\mathrm{S}\mathrm{E}(0,x_1,\mathrm{...},x_n)}$

This function is a proper Bregman generator (strictly convex and differentiable). It is encountered in machine learning, for example, as the cumulant of the multinomial/binomial family.

在熱帶分析（英語：tropical analysis）中，這是對數半環（英語：log semiring）的和。

• 對數平均
• Log semiring
• 平滑最大值
• Softmax函數