双层优化是近年来的一个热门研究方向. 这主要归功于机器学习的兴起和双层优化在机器学习中的许多重要应用. 本文对双层优化的算法、理论及应用最近几年的发展做一个简要的介绍. 内容主要包括双层优化的历史, 双层优化在电力系统, 超参优化, 元学习等领域的应用, 以及双层优化的算法设计和理论保证. 算法方面我们主要分两种情况：下层问题是强凸问题和下层问题是一般凸问题. 这里我们会讨论梯度法和基于下层最优函数的方法. 我们也会重点讨论分布式网络中的双层优化, 包括去中心化的双层优化和联邦双层优化的算法和理论分析.

很多交叉科学的实际问题在数学上都可以被归为求解具有多个变量的非线性函数或泛函的极小值问题, 如何有效地寻找其能量景观的全局极小和如何找到不同极小之间的关系是计算数学领域两个长久以来尚未解决的重要科学问题. 本文着重介绍近年来提出的“解景观”概念和方法. 我们将回顾解景观的概念、构建解景观的鞍点动力学方法、以及解景观在液晶和准晶方面的应用.

卷积位势广泛存在于科学和工程领域, 它的高效高精度计算往往是数值仿真的瓶颈.卷积位势是典型的非局部积分, 卷积核函数通常在原点或者无穷远处具有奇异性,密度函数是光滑速降函数并可能具有较强的各向异性. 无论是从卷积还是从傅里叶积分出发,我们首先将全空间截断到有界矩形区域并将其等距离散, 再应用傅里叶谱方法来高精度逼近密度函数.理想的求解器需要在保证高精度的同时, 尽可能提高计算效率, 并妥善处理各向异性密度函数的情形.本文详细回顾了目前流行的三类基于积分方程的高精度快速算法, 包括基于非均匀快速傅里叶变换的算法、基于高斯和的算法与核截断算法. 它们都能达到谱精度, 计算效率都类似于离散快速傅里叶变换(FFT), 并都能处理各向异性的密度函数. 这三类算法具有离散卷积结构;一旦生成了离散张量, 位势的计算将转化为两倍长度向量的傅里叶变换, 计算效率达到了近似最优,且与各向异性强度无关.最后我们介绍了误差估计的已有结果, 并用实例从精度、效率和各向异性等方面展示了算法能力.

本文针对美式期权的定价问题设计了基于有限差分方法的预估-校正数值算法. 该算法采用显式离散格式先对自由边界条件进行预估, 再对经过变量替换后的关于期权价格的偏微分方程采用隐式格式离散, 并用Fourier 方法分析了此离散格式的稳定性. 接下来, 引入基于Richardson外推法的后验误差指示子. 这个后验误差指示子能够在给定的误差阈值范围内, 针对期权价格和自由边界找到合适的网格划分. 最后, 通过设计多组数值实验并与Fazio^[1]采用显式离散格式算得的数值结果相比较, 验证了所提算法的有效性, 稳定性和收敛性.

ADMM 算法是求解可分离凸优化问题的经典算法之一, 但其无法保证原始迭代序列的收敛性且其子问题计算量很大. 为了保证该算法所有迭代点列的全局收敛性及提高计算效率, 采用凸组合技术的黄金比率邻近ADMM 算法被提出, 其中凸组合因子$\psi$ 是关键参数. 本文在黄金比率邻近ADMM 算法的基础上, 扩大了凸组合因子$\psi$ 的取值范围, 提出了收敛步长范围更广的推广黄金比率邻近ADMM 算法. 并在一定的假设下, 证明了算法的全局收敛性及函数值残差和约束违反度在遍历意义下的$\mathcal{O}(1/N)$ 次线性收敛速度. 以及, 当目标函数中任意一个函数强凸时, 证明了算法在遍历意义下的$\mathcal{O}(1/N^2)$ 收敛率. 最后, 本文通过数值试验表明推广算法的有效性.

交替方向法是求解矩阵补全问题的经典方法之一. 近年来, 随着信息的高速发展, 需要处理的矩阵规模越来越大. 为进一步提高交替方向法求解大规模矩阵补全问题的效率, 本文将交替方向法中的一个子问题结合惯性策略进行加速, 即利用该子问题的前一步迭代点和前一步的惯性迭代点进行线性组合得到新一步的惯性迭代点, 从而提出了一种改进的求解矩阵补全问题的惯性交替方向法. 本文在合理的假设条件下, 给出了新算法的收敛性证明. 最后, 通过随机矩阵补全及图像修复实例的数值实验结果验证了新算法的优越性.

在Riesz空间分数阶对流-扩散方程的数值求解中, 通过采用加权移位的Grünwald差分格式对其空间导数进行离散以及Crank-Nicolson 格式对其时间导数进行离散, 得到一个系数矩阵为单位矩阵与两个对称正定Toeplitz矩阵之和的线性方程组. 在本文中, 对该线性方程组, 利用其系数矩阵的结构,提出了一种$\tau$预处理矩阵, 并采用预处理共轭梯度法求解了该线性方程组. 理论分析给出了预处理后系数矩阵的谱分布以及条件数估计. 数值实验结果也说明了所构造的预处理矩阵在采用预处理共轭梯度法求解Riesz空间分数阶对流-扩散方程离散后得到的线性方程组的有效性.

水平线性互补问题(HLCP)是著名线性互补问题(LCP)的重要推广形式之一, 投影迭代法和模系矩阵分裂迭代法是最近提出的求解HLCP两类非常有效的热点方法.本文研究表明, 尽管这两类方法导出原理不同, 但在一定条件下是等价的. 特别地, 当模系矩阵分裂迭代法中参数矩阵$\Omega$取为特定的正对角矩阵时,投影Jacobi法、投影Gauss-Seidel法和投影SOR法分别等价于模系Jacobi迭代法、加速的模系Gauss-Seidel迭代法和加速的模系SOR迭代法. 此外, 对一般的正对角矩阵$\Omega$,本文也研究了两类方法的等价性. 最后, 通过数值算例验证了本文的理论结果.

谱共轭梯度法是求解无约束优化的一种有效算法. 该文首先对JJSL共轭参数[Jiang et al. Computational and Applied Mathematics, 2021, 40(174)] 进行投影修正, 再通过选取合适谱参数以保证其搜索方向有下降性, 从而得到两个有效的谱共轭梯度法. 一般假设下, 分别使用常规非精确线搜索计算步长, 获得这两个新算法的全局收敛性. 数值试验结果以及相应性能图进一步说明其数值有效性.

Lasso问题是压缩感知, 信号处理和稀疏线性回归等领域的热点问题. 本文基于邻近算子提出了邻近次梯度方法来求解分块Lasso和稀疏分块Lasso类型问题.在问题的目标函数不需要强凸性的前提下证明了所提出算法的线性收敛速率并用数值实验验证了算法的效率.

针对奇异摄动对流扩散边界层问题, 应用多尺度有限元法结合自适应的分层网格提出逼近理论并进行数值模拟. 多尺度有限元法仅需在粗尺度规模展开运算, 通过多尺度基函数建立尺度之间的映射关系, 实现从微观到宏观的数据嵌入. 再结合分层网格用于粗单元离散化, 能够自适应地逼近边界层. 理论证明了多尺度有限元解的能量范数误差估计具有稳定性和超收敛, 数值验证了其精确高效的一致超收敛结果.

本文对一类由维纳过程和泊松过程驱动的随机偏微分方程的数值求解方法进行了研究. 我们应用分裂算法的思想将方程分裂为三个简单的子方程, 并利用它们的解算子构造了分裂近似解, 同时研究了其收敛性和收敛阶. 之后我们用有限元方法和有限差分方法分别对空间变量和时间变量进行了离散化, 结合分裂算法构造了求解跳跃随机偏微分方程的全离散分裂近似解, 给出了误差分析结果. 最后我们用数值实验验证了算法的收敛阶.

本文研究一类非凸非光滑不可分优化. 基于Peaceman-Rachford(PR)分裂算法, 并结合Armijo线搜索技术及线性正则化技术, 提出了两个线性邻近PR分裂算法. 利用PR分裂算法思想, 将增广拉格朗日法涉及的子问题分解成两个小规模子问题. 为便于子问题的求解和使其具有良好的理论性质, 对子问题的目标函数中的光滑项作线性化处理, 并分别添加必要的正则项. 在常规假设下, 论证了算法的全局收敛性及迭代复杂性. 最后, 数值实验结果表明算法是有效的.

针对大型稀疏线性方程组求解问题, 本文以块Kaczmarz方法的思想为基础, 提出了一种新的随机块Kaczmarz算法——随机贪婪残差块Kaczmarz(GREBK(k))算法. 首先, 利用K-means聚类算法对标准化残差进行聚类分块, 获得系数矩阵中对应的行分块策略; 针对上述分块方式, 再进行随机贪婪块Kaczmarz方法求解. 相关理论分析证明了该算法的收敛性. 最后, 数值实验表明GREBK(k)算法改进了目前现有相关结果, 是一种行之有效的数值方法.

求解无约束优化问题的一阶算法具有迭代简单、存储量小的优点, 在求解大规模问题时具有一定的优势. 为提升其收敛速度, 近些年发展出了多种加速技巧. 本文以最一般的求解无约束优化的梯度法为切入点, 介绍常见的加速梯度法的技巧与策略, 并进一步介绍这些加速技巧在邻近点算法、复合优化问题和随机优化问题中的表现形式. 另外, 本文还总结了一些其它仅用一阶信息就取得加速效果的策略和特殊问题中出现的加速方法.

在求解大规模数据的优化问题时, 由于数据规模和维数较大, 传统的算法效率较低. 本文通过采用非精确梯度和非精确Hessian矩阵来降低计算成本, 提出了非精确信赖域算法和非精确自适应三次正则化算法. 在一定条件下, 证明了算法有限步停止, 并估计了算法迭代的复杂度. 特别地, 我们分析了采用随机抽样时算法在给定概率下的复杂度. 最后, 通过二分类问题的数值求解, 比较了本文提出的随机信赖域算法, 随机自适应三次正则化算法和已有算法收敛效率. 数值结果表明在相同精度下, 本文提出的算法效率更高, 并且随机自适应三次正则化算法的效率优于随机信赖域算法.

本文通过实现深度前馈人工神经网络求解不可压缩流体偏微分方程, 基于方程残差、初边值条件构造合适的损失函数和深度学习求解算法. 与传统数值方法相比, 该方法只需在内部、边界和初始时刻随机生成样本点作为训练集, 因此该方法是无网格的, 并且各物理场变量之间并行求解, 便于分析复杂多物理场耦合模型中物理量的变化规律. 收敛性分析在统一框架下为深度学习方法求解此类不可压缩流体偏微分方程提供了理论支撑, 通过求解一类非定常Stokes方程, 一类粘性Boussinesq 方程和一类Navier-Stokes/Darcy 耦合方程说明此方法可以有效求解不可压缩流体偏微分方程并且具有较好的精度.

本文提出一种求解大规模$\ell_1$问题的L-BFGS算法. 在积极集集合上算法的搜索方向与临界阙值算法^[7,9]的方向相同, 自由空间集合上使用了L-BFGS的搜索方向. 在适当的条件下, 我们证明了使用非单调技术的算法是全局收敛的. 数值实验证明所提出的算法是有效的.

本文基于E-SAV方法及复化梯形求积公式, 为近场动力学方程提出了一类二阶显式的能量守恒格式, 并对时间半离散格式进行了严格的误差分析. 数值结果验证了格式的能量守恒性及收敛阶.

本文对一类变分数阶非线性随机微积分方程初值问题构造了Euler-Maruyama (EM)方法进行数值求解. 然后, 证明了该EM方法的强稳定性和强收敛性, 其强收敛阶为$\max\{1-\alpha^{*}, 0.5$}, 其中$\alpha^{*}=\max\{\alpha(t)\}$, 这里$\alpha(t)$ 是Riemann-Liouville变分数阶导数的阶数. 最后, 用数值试验验证了该EM方法的强收敛阶.

本文主要用经济型差分流线扩散(EFDSD)法研究非线性对流占优扩散方程的向后 Euler (BE) 全离散有限元格式, 并在时间步长 $\tau$ 和空间剖分参数 $h$ 的比值无约束下, 导出 $H^1$ 模意义下具有 $O(h^2+\tau)$ 阶的超收敛性质. 首先, 引入时间离散系统, 将误差分为时间误差和空间误差两部分, 并利用数学归纳法, 通过时间误差给出了时间离散方程解的正则性. 其次利用空间误差导出有限元解的 $W^{0, \infty}$ 模的有界性, 再借助插值后处理技巧得到了 $H^1$ 模意义下的无网格比的超逼近和整体超收敛结果. 最后, 通过数值例子对理论分析的正确性和算法的高效性予以了验证.

本文首先对一维时滞 Fisher 方程建立了保非负性的 Du Fort-Frankel 差分格式. 运用数学归纳法证明了当网格比 $r_{x}=(\varepsilon \Delta t)/h^{2}_{x}$ $\le 1/2$ 时, 它的数值解大于或者等于零. 这里 $\varepsilon$, $\Delta t$ 和 $h_{x}$ 分别是扩散系数, 时间和空间方向上的网格步长. 其次, 运用截断技巧修正由保非负性的 Du Fort Frankel 差分格式获得的数值解, 从而设计了一类既保非负性又保最大界的差分方法. 运用数学归纳法证明了 当 $r_{x}\le 1/2$ 时, 它的数值解落在区间 $[0,1]$ 内. 运用能量分析法, 我们证明这两类方法在最大范数下均有 $\mathcal{O}$ $(\Delta t+(\Delta t/h_{x})^{2}+h^{2}_{x})$ 的收敛阶. 再次, 类似地, 我们对二维问题建立了保非负性的 Du Fort-Frankel 差分格式和既保非负性又保最大界的差分法, 及其理论. 最后, 数值结果验证了理论的正确性和新算法的高效性.

能量稳定通量重构 (Energy Stable Flux Reconstruction, ESFR) 方法在求解线性对流方程时具有能量稳定性质. 但在求解非线性方程时能量稳定性质的实现需要采用$L^2$投影, 否则可能由于存在混淆误差, 导致不稳定. 本文将ESFR与过积分相结合构造具有良好去混淆效果的高阶通量重构 (Flux Reconstruction, FR) 方法. 采用积分点大于求解点$(Q>P)$的取点方式, 从理论上分析了格式的能量稳定特性. 从数值上对比了$g_{DG}$与$g_{SD}$两种修正函数, 三种不同过积分取点方式, 并对比过积分与非过积分形式的ESFR$(Q=P)$}. 通过对一维非均匀线性对流方程、二维等熵涡及欠解析涡流算例的模拟, 结果表明: 在$g_{SD}$修正函数下,ESFR$(Q>P)$格式比ESFR$(Q=P)$格式去混淆效果更好, 数值误差更小; 对比两种修正函数,$g_{DG}$修正函数数值误差更小, 更稳定: 对比三种过积分通量点分布, 选定$g_{DG}$修正函数时, 通量点取Legendre-Gauss-Lobatto(LGL)点或者通量点基于高斯权重剖分会具有更好的非线性稳定性, 并且通量点取LGL点时最优.

本文提出了一种求解非单调变分不等式的半空间投影算法, 在映射是连续和对偶变分不等式解集非空的假设条件下证明了该算法生成的无穷序列是全局收敛的, 并在局部误差界和Lipschitz连续条件下给出了收敛率分析. 通过数值实验验证了所提出算法的有效性和可行性.

在三角形网格上构造了一种求解Stokes方程的Lagrange二次有限体积法格式. 取连续的二次有限元空间与间断的线性有限元空间分别作为Stokes方程的速度项与压力项的试探空间, 从而保证了离散方程的速度解在宏元三角形单元上满足局部质量守恒性, 且有限元空间对自然满足所谓的inf-sup条件. 采用特殊的有限体积法映射与对偶剖分, 求解Stokes方程的Lagrange二次有限体积法格式等价于相对应的有限元法格式, 因此确保了有限体积法格式的无条件(无需约束三角形网格的几何形状)稳定性和关于速度项的最优阶$\mathbf{H}^1$范数的误差估计. 最后, 数值实验展示了理论结果的正确性以及有限体积法的数值模拟在计算流体力学中的有效性.

本文基于已有的连续扩散通量的两点非线性离散格式, 构造了2D非稳态扩散方程大变形网格上的两层非线性有限体积格式. 该格式利用Crank-Nicolson(C-N)方法的思想在时间方向获得了二阶精度. 由于所得代数方程组的系数矩阵的转置是M矩阵, 从而能够保持解的正性, 并利用Brouwer不动点定理证明了格式解的存在性. 数值实验结果表明, 在较大时间步长下, 该格式具有二阶计算精度.

针对非线性复合刚性脉冲微分方程, 对其非刚性部分采用显式Euler方法求解, 对其刚性部分采用隐式Euler方法求解,得到了求解问题的Euler分裂方法, 研究了该方法的稳定性和收敛性.数值试验验证了所获理论的正确性,同时也表明该方法能显著提升计算速度.

基于SR1方法和谱共轭梯度方法, 借助投影算子, 本文建立了一种求解非线性凸约束单调方程组问题的谱梯度型无导数投影算法, 其搜索方向满足充分下降性且独立于线搜索条件. 在适当的假设条件下, 算法具有全局收敛性. 算例实验结果表明, 该算法具有稳定性和有效性. 最后, 将算法应用于稀疏信号恢复问题.

本文针对二维空间中海面下方多障碍体散射问题, 分别从理论分析和数值计算两方面进行研究. 通过分析散射问题的特性, 利用Helmholtz方程, 结合不同边界条件以及无穷远处辐射条件, 建立了海面下方多障碍体散射问题的数学模型, 并证明了散射问题解的唯一性. 基于位势理论, 利用间接积分方程方法, 得到了不同区域的场所满足的积分表示, 以及边界上密度函数所满足的边界积分方程. 通过引入位势算子, 将积分区域进行截断, 得到有界域上的算子方程. 针对所建立的边界积分方程系统, 利用Nyström方法构造数值格式, 并证明了数值解的收敛性. 最后, 利用数值实验验证理论的正确性和有效性. 进一步, 通过设计数值实验分析不同参数对散射问题的影响.

快速多极算法是加速计算由许多物理问题得出的大型稠密线性方程组的一种有效算法. 本文研究了求解三维位势问题快速多极算法整体误差的收敛性问题. 首先推导了整体误差的表达式, 然后给出了误差上界. 其次将结果应用于自适应八叉树结构, 得到具体的误差收敛阶. 最后通过具体的数值算例验证了本文的结果. 本文的方法和结论也可以推广到计算弹性静力学问题和斯托克斯流问题的快速多极算法的误差分析中.