这篇的数学相比别的两篇 flow-matching 比较唐也比较奇怪, 这里就不放了

一般的 continuous normalizing flow

Transport Equation: \(\frac{d}{dt}p_t(x_t)=-(\nabla\cdot(u_tp_t))(x_t)\)

Or \(\frac{d}{dt}\log p_t(x_t)=-(\nabla\cdot u_t)(x_t)\)

So we can calculate \(\log p_t(x_t)=\log p_0(x_0)-\int_0^t(\nabla\cdot u_s)(x_s)ds\) 这样就得到了类似 normalizing flow 的概率密度的形式. 这样我们就可以对着 MLE 目标训练, 但是缺点是昂贵的 numerical ODE simulations at training time

New method

想法是从 interpolation 的角度出发: 设计一个 $I(x_0, x_1)$, 其中 $x_0\sim p_0, x_1\sim p_1=q_{data}$

然后对于 interpolant 的分布进行一个 flow, 得出同样的训练目标 (考虑 $\hat{v}_t(x)$ 是我们的网络)

\(G(\hat{v}) = \mathbb{E} [\|\hat{v}_t(I_t(x_0, x_1))\|^2-2(\partial_tI_t(x_0, x_1))\cdot \hat{v}_t(I_t(x_0, x_1))]\) 其中取期望是对 $t, x_0, x_1$ 都取