双层优化是近年来的一个热门研究方向. 这主要归功于机器学习的兴起和双层优化在机器学习中的许多重要应用. 本文对双层优化的算法、理论及应用最近几年的发展做一个简要的介绍. 内容主要包括双层优化的历史, 双层优化在电力系统, 超参优化, 元学习等领域的应用, 以及双层优化的算法设计和理论保证. 算法方面我们主要分两种情况：下层问题是强凸问题和下层问题是一般凸问题. 这里我们会讨论梯度法和基于下层最优函数的方法. 我们也会重点讨论分布式网络中的双层优化, 包括去中心化的双层优化和联邦双层优化的算法和理论分析.

很多交叉科学的实际问题在数学上都可以被归为求解具有多个变量的非线性函数或泛函的极小值问题, 如何有效地寻找其能量景观的全局极小和如何找到不同极小之间的关系是计算数学领域两个长久以来尚未解决的重要科学问题. 本文着重介绍近年来提出的“解景观”概念和方法. 我们将回顾解景观的概念、构建解景观的鞍点动力学方法、以及解景观在液晶和准晶方面的应用.

卷积位势广泛存在于科学和工程领域, 它的高效高精度计算往往是数值仿真的瓶颈.卷积位势是典型的非局部积分, 卷积核函数通常在原点或者无穷远处具有奇异性,密度函数是光滑速降函数并可能具有较强的各向异性. 无论是从卷积还是从傅里叶积分出发,我们首先将全空间截断到有界矩形区域并将其等距离散, 再应用傅里叶谱方法来高精度逼近密度函数.理想的求解器需要在保证高精度的同时, 尽可能提高计算效率, 并妥善处理各向异性密度函数的情形.本文详细回顾了目前流行的三类基于积分方程的高精度快速算法, 包括基于非均匀快速傅里叶变换的算法、基于高斯和的算法与核截断算法. 它们都能达到谱精度, 计算效率都类似于离散快速傅里叶变换(FFT), 并都能处理各向异性的密度函数. 这三类算法具有离散卷积结构;一旦生成了离散张量, 位势的计算将转化为两倍长度向量的傅里叶变换, 计算效率达到了近似最优,且与各向异性强度无关.最后我们介绍了误差估计的已有结果, 并用实例从精度、效率和各向异性等方面展示了算法能力.

快速多极算法(FMM)是处理大规模多体系统的高效数值算法,在分子动力学、天体动力学、声学以及电磁学等领域发挥着重要作用.本文首先回顾了快速多极算法的发展历史,其次以Helmholtz和Maxwell方程为例,介绍了二维和三维情形下基于核解析展开的快速多极算法的数据结构、数学原理、实现步骤和复杂度分析,并给出了相应的自适应FMM实现方法,最后基于MATLAB平台进行了二维和三维情形下多体模拟的数值实验.

本文针对美式期权的定价问题设计了基于有限差分方法的预估-校正数值算法. 该算法采用显式离散格式先对自由边界条件进行预估, 再对经过变量替换后的关于期权价格的偏微分方程采用隐式格式离散, 并用Fourier 方法分析了此离散格式的稳定性. 接下来, 引入基于Richardson外推法的后验误差指示子. 这个后验误差指示子能够在给定的误差阈值范围内, 针对期权价格和自由边界找到合适的网格划分. 最后, 通过设计多组数值实验并与Fazio^[1]采用显式离散格式算得的数值结果相比较, 验证了所提算法的有效性, 稳定性和收敛性.

ADMM 算法是求解可分离凸优化问题的经典算法之一, 但其无法保证原始迭代序列的收敛性且其子问题计算量很大. 为了保证该算法所有迭代点列的全局收敛性及提高计算效率, 采用凸组合技术的黄金比率邻近ADMM 算法被提出, 其中凸组合因子$\psi$ 是关键参数. 本文在黄金比率邻近ADMM 算法的基础上, 扩大了凸组合因子$\psi$ 的取值范围, 提出了收敛步长范围更广的推广黄金比率邻近ADMM 算法. 并在一定的假设下, 证明了算法的全局收敛性及函数值残差和约束违反度在遍历意义下的$\mathcal{O}(1/N)$ 次线性收敛速度. 以及, 当目标函数中任意一个函数强凸时, 证明了算法在遍历意义下的$\mathcal{O}(1/N^2)$ 收敛率. 最后, 本文通过数值试验表明推广算法的有效性.

本文基于E-SAV方法及复化梯形求积公式, 为近场动力学方程提出了一类二阶显式的能量守恒格式, 并对时间半离散格式进行了严格的误差分析. 数值结果验证了格式的能量守恒性及收敛阶.

交替方向法是求解矩阵补全问题的经典方法之一. 近年来, 随着信息的高速发展, 需要处理的矩阵规模越来越大. 为进一步提高交替方向法求解大规模矩阵补全问题的效率, 本文将交替方向法中的一个子问题结合惯性策略进行加速, 即利用该子问题的前一步迭代点和前一步的惯性迭代点进行线性组合得到新一步的惯性迭代点, 从而提出了一种改进的求解矩阵补全问题的惯性交替方向法. 本文在合理的假设条件下, 给出了新算法的收敛性证明. 最后, 通过随机矩阵补全及图像修复实例的数值实验结果验证了新算法的优越性.

针对大型稀疏线性方程组求解问题, 本文以块Kaczmarz方法的思想为基础, 提出了一种新的随机块Kaczmarz算法——随机贪婪残差块Kaczmarz(GREBK(k))算法. 首先, 利用K-means聚类算法对标准化残差进行聚类分块, 获得系数矩阵中对应的行分块策略; 针对上述分块方式, 再进行随机贪婪块Kaczmarz方法求解. 相关理论分析证明了该算法的收敛性. 最后, 数值实验表明GREBK(k)算法改进了目前现有相关结果, 是一种行之有效的数值方法.

水平线性互补问题(HLCP)是著名线性互补问题(LCP)的重要推广形式之一, 投影迭代法和模系矩阵分裂迭代法是最近提出的求解HLCP两类非常有效的热点方法.本文研究表明, 尽管这两类方法导出原理不同, 但在一定条件下是等价的. 特别地, 当模系矩阵分裂迭代法中参数矩阵$\Omega$取为特定的正对角矩阵时,投影Jacobi法、投影Gauss-Seidel法和投影SOR法分别等价于模系Jacobi迭代法、加速的模系Gauss-Seidel迭代法和加速的模系SOR迭代法. 此外, 对一般的正对角矩阵$\Omega$,本文也研究了两类方法的等价性. 最后, 通过数值算例验证了本文的理论结果.

求解无约束优化问题的一阶算法具有迭代简单、存储量小的优点, 在求解大规模问题时具有一定的优势. 为提升其收敛速度, 近些年发展出了多种加速技巧. 本文以最一般的求解无约束优化的梯度法为切入点, 介绍常见的加速梯度法的技巧与策略, 并进一步介绍这些加速技巧在邻近点算法、复合优化问题和随机优化问题中的表现形式. 另外, 本文还总结了一些其它仅用一阶信息就取得加速效果的策略和特殊问题中出现的加速方法.

在Riesz空间分数阶对流-扩散方程的数值求解中, 通过采用加权移位的Grünwald差分格式对其空间导数进行离散以及Crank-Nicolson 格式对其时间导数进行离散, 得到一个系数矩阵为单位矩阵与两个对称正定Toeplitz矩阵之和的线性方程组. 在本文中, 对该线性方程组, 利用其系数矩阵的结构,提出了一种$\tau$预处理矩阵, 并采用预处理共轭梯度法求解了该线性方程组. 理论分析给出了预处理后系数矩阵的谱分布以及条件数估计. 数值实验结果也说明了所构造的预处理矩阵在采用预处理共轭梯度法求解Riesz空间分数阶对流-扩散方程离散后得到的线性方程组的有效性.

谱共轭梯度法是求解无约束优化的一种有效算法. 该文首先对JJSL共轭参数[Jiang et al. Computational and Applied Mathematics, 2021, 40(174)] 进行投影修正, 再通过选取合适谱参数以保证其搜索方向有下降性, 从而得到两个有效的谱共轭梯度法. 一般假设下, 分别使用常规非精确线搜索计算步长, 获得这两个新算法的全局收敛性. 数值试验结果以及相应性能图进一步说明其数值有效性.

本文对一类由维纳过程和泊松过程驱动的随机偏微分方程的数值求解方法进行了研究. 我们应用分裂算法的思想将方程分裂为三个简单的子方程, 并利用它们的解算子构造了分裂近似解, 同时研究了其收敛性和收敛阶. 之后我们用有限元方法和有限差分方法分别对空间变量和时间变量进行了离散化, 结合分裂算法构造了求解跳跃随机偏微分方程的全离散分裂近似解, 给出了误差分析结果. 最后我们用数值实验验证了算法的收敛阶.

针对电路仿真中瞬态分析产生的超大规模稀疏线性方程组, 分块对角加边 (Bordered Block Diagonal, BBD) 方法是一类经典的求解方法. 本文提出了一种改进的 BBD 方法, 通过使用基础列分解和流水线分解结合的方式, 改善了传统 BBD 方法中负载不均衡的问题. 在矩阵边界分解时, 本文通过引入流水线分解克服了传统方法边界难以并行的缺陷. 通过求解 16 个真实电路上产生的超大规模稀疏线性方程组, 我们验证了改进 BBD 方法的有效性. 相较于传统的 BBD 方法, 改进方法在不同线程下的求解速度均有一定提升.

Lasso问题是压缩感知, 信号处理和稀疏线性回归等领域的热点问题. 本文基于邻近算子提出了邻近次梯度方法来求解分块Lasso和稀疏分块Lasso类型问题.在问题的目标函数不需要强凸性的前提下证明了所提出算法的线性收敛速率并用数值实验验证了算法的效率.

本文在复对称不定线性方程组的等价形式的基础上, 结合预处理的修正的Hermitian与反Hermitian分裂(PMHSS)迭代法的设计思路, 提出了PMHSS迭代方法的一种不均衡变形迭代格式(即: LVPMHSS迭代法). 在理论上详细分析了LVPMHSS迭代法的收敛性, 同时, 还给出了特殊预处理矩阵下的LVPMHSS预处理矩阵的谱性质, 并通过极小化对应迭代法的迭代矩阵谱半径得到拟最优迭代参数. 数值实验的结果验证了新算法的可行性与有效性.

在求解大规模数据的优化问题时, 由于数据规模和维数较大, 传统的算法效率较低. 本文通过采用非精确梯度和非精确Hessian矩阵来降低计算成本, 提出了非精确信赖域算法和非精确自适应三次正则化算法. 在一定条件下, 证明了算法有限步停止, 并估计了算法迭代的复杂度. 特别地, 我们分析了采用随机抽样时算法在给定概率下的复杂度. 最后, 通过二分类问题的数值求解, 比较了本文提出的随机信赖域算法, 随机自适应三次正则化算法和已有算法收敛效率. 数值结果表明在相同精度下, 本文提出的算法效率更高, 并且随机自适应三次正则化算法的效率优于随机信赖域算法.

本文研究一类非凸非光滑不可分优化. 基于Peaceman-Rachford(PR)分裂算法, 并结合Armijo线搜索技术及线性正则化技术, 提出了两个线性邻近PR分裂算法. 利用PR分裂算法思想, 将增广拉格朗日法涉及的子问题分解成两个小规模子问题. 为便于子问题的求解和使其具有良好的理论性质, 对子问题的目标函数中的光滑项作线性化处理, 并分别添加必要的正则项. 在常规假设下, 论证了算法的全局收敛性及迭代复杂性. 最后, 数值实验结果表明算法是有效的.

针对奇异摄动对流扩散边界层问题, 应用多尺度有限元法结合自适应的分层网格提出逼近理论并进行数值模拟. 多尺度有限元法仅需在粗尺度规模展开运算, 通过多尺度基函数建立尺度之间的映射关系, 实现从微观到宏观的数据嵌入. 再结合分层网格用于粗单元离散化, 能够自适应地逼近边界层. 理论证明了多尺度有限元解的能量范数误差估计具有稳定性和超收敛, 数值验证了其精确高效的一致超收敛结果.

本文通过实现深度前馈人工神经网络求解不可压缩流体偏微分方程, 基于方程残差、初边值条件构造合适的损失函数和深度学习求解算法. 与传统数值方法相比, 该方法只需在内部、边界和初始时刻随机生成样本点作为训练集, 因此该方法是无网格的, 并且各物理场变量之间并行求解, 便于分析复杂多物理场耦合模型中物理量的变化规律. 收敛性分析在统一框架下为深度学习方法求解此类不可压缩流体偏微分方程提供了理论支撑, 通过求解一类非定常Stokes方程, 一类粘性Boussinesq 方程和一类Navier-Stokes/Darcy 耦合方程说明此方法可以有效求解不可压缩流体偏微分方程并且具有较好的精度.

本文提出一种求解大规模$\ell_1$问题的L-BFGS算法. 在积极集集合上算法的搜索方向与临界阙值算法^[7,9]的方向相同, 自由空间集合上使用了L-BFGS的搜索方向. 在适当的条件下, 我们证明了使用非单调技术的算法是全局收敛的. 数值实验证明所提出的算法是有效的.

本文主要考虑 1$ < p < \infty$ 时 $p$-Laplace问题的混合高阶方法（HHO方法）.即利用最高次数大于1的分段多项式函数逼近离散未知数, 数值变量在Raviart-Thomas 有限元空间中进行局部梯度重构, 用高阶梯度$\mathbf{Ru_{h}}$代替传统梯度$\mathbf{Dv}$, 且其无需在正则三角剖分上稳定. 我们从能量的角度出发, 将离散能量极小值进行梯度重构, 在新的距离框架下, 通过引入离散应力, 得到了HHO 方法的先验和后验误差估计. 数值算例验证了该混合高阶方法的可靠性和有效性.

本文首先对一维时滞 Fisher 方程建立了保非负性的 Du Fort-Frankel 差分格式. 运用数学归纳法证明了当网格比 $r_{x}=(\varepsilon \Delta t)/h^{2}_{x}$ $\le 1/2$ 时, 它的数值解大于或者等于零. 这里 $\varepsilon$, $\Delta t$ 和 $h_{x}$ 分别是扩散系数, 时间和空间方向上的网格步长. 其次, 运用截断技巧修正由保非负性的 Du Fort Frankel 差分格式获得的数值解, 从而设计了一类既保非负性又保最大界的差分方法. 运用数学归纳法证明了 当 $r_{x}\le 1/2$ 时, 它的数值解落在区间 $[0,1]$ 内. 运用能量分析法, 我们证明这两类方法在最大范数下均有 $\mathcal{O}$ $(\Delta t+(\Delta t/h_{x})^{2}+h^{2}_{x})$ 的收敛阶. 再次, 类似地, 我们对二维问题建立了保非负性的 Du Fort-Frankel 差分格式和既保非负性又保最大界的差分法, 及其理论. 最后, 数值结果验证了理论的正确性和新算法的高效性.

本文考虑求解一类不可分的非凸非光滑优化问题, 该问题的目标函数由如下两部分组成: 关于全局变量不可分的正常下半连续双凸函数, 与两个关于独立变量的无利普希茨连续梯度的非凸函数. 本文提出广义的惯性交替结构化邻近梯度下降算法(general inertial alternating structure-adapted proximal gradient descent algorithm, 简记为 GIASAP 算法), 该算法框架不仅引入非线性邻近正则项与惯性加速技巧, 同时采用常数步长与动态步长两种策略. 本文证明了GIASAP算法O(1/k)的非渐近收敛率, 以及当目标函数具有Kurdyka-Łojasiewicz性质时, 由GIASAP算法生成的有界序列全局收敛到问题的驻点. 最后, 本文通过数值实验验证了算法的可行性与有效性.

时间变步长的两步向后差分公式(BDF2)具有强稳定性,在刚性问题、多尺度动力学等问题中具有广泛的应用,但在偏微分方程最优控制问题的应用研究相对较少.本文主要研究用变步长方法求解一类反应扩散方程源项控制的最优控制问题,时间方向采用变步长BDF2格式,空间方向采用中心差分方法进行离散.利用离散正交卷积(DOC)核和离散互补卷积(DCC)核的分析工具,证明了最优控制问题的最优解在相邻时间步长比介于$\frac{1}{4.8645}$和4.8645之间时,所构建的变步长差分格式在离散的$L^2$范数下是无条件稳定的,且在时间与空间方向都具有二阶收敛精度.最后通过数值算例验证了所构造格式的可行性和有效性.

浸入有限元方法是一类基于非拟合网格求解界面问题的有效数值方法.目前, 对带有传统界面跳跃条件的界面问题, 浸入有限元方法已有许多研究,而对带有Robin型跳跃条件的界面问题, 该方法的研究较少.本文针对带有Robin型跳跃条件的一维界面问题提出了浸入有限元方法.本文证明并通过数值算例验证了浸入有限元空间的最优逼近性以及浸入有限元方法的最优收敛性.

基于SR1方法和谱共轭梯度方法, 借助投影算子, 本文建立了一种求解非线性凸约束单调方程组问题的谱梯度型无导数投影算法, 其搜索方向满足充分下降性且独立于线搜索条件. 在适当的假设条件下, 算法具有全局收敛性. 算例实验结果表明, 该算法具有稳定性和有效性. 最后, 将算法应用于稀疏信号恢复问题.

本文提出了求解绝对值方程组的单调坐标下降算法,在适当的条件下分析了算法的全局收敛性并用数值实验验证了所提算法的可行性及有效性.本文的另一个目的是指出文献[Optim.Lett.,6:1027—1033,2012]在构造目标函数的下降方向时误用其二阶泰勒展开导致的错误.

本文对一类变分数阶非线性随机微积分方程初值问题构造了Euler-Maruyama (EM)方法进行数值求解. 然后, 证明了该EM方法的强稳定性和强收敛性, 其强收敛阶为$\max\{1-\alpha^{*}, 0.5$}, 其中$\alpha^{*}=\max\{\alpha(t)\}$, 这里$\alpha(t)$ 是Riemann-Liouville变分数阶导数的阶数. 最后, 用数值试验验证了该EM方法的强收敛阶.

Floquet变换是研究具有周期平移不变性算子的数学工具,本文从这个视角讨论了周期体系量子特征值问题的基本数学性质,由Floquet变换得到Bloch函数, 通过Floquet逆变换定义Wannier函数.在此过程中, 证明了作用于周期单元平方可积函数的算子$H({\bf k})$的自伴性及预解集紧性、Wannier函数作为$L^2(\mathbb{R}^d)$基底的正交性与完备性. 还证明了孤立能带关于${\bf k}$的连续可微性,介绍了非孤立能带组的光滑化.最后, 从Wannier函数的Floquet变换出发, 介绍了能带的插值计算.

本文引入线搜索准则, 提出了一种带惯性项的 Bregman 邻近梯度算法求解一类非凸复合优化问题, 其中目标函数为相对光滑的损失函数与非光滑正则函数之和. 在广义凹Kurdyka-Łojasiewicz (KL) 性质的假设下, 证明了算法的全局收敛性. 最后将算法应用于图像恢复问题和非凸的$l_{1/2}$ 稀疏优化问题, 数值实验表明新算法的有效性与优越性.

在目标函数满足Lojasiewicz性质的条件下, 建立了一般流形上邻近点算法的收敛速度. 所得结果在黎曼流形上是新的, 改进了欧氏空间中的相应结果.

本文针对二维空间中海面下方多障碍体散射问题, 分别从理论分析和数值计算两方面进行研究. 通过分析散射问题的特性, 利用Helmholtz方程, 结合不同边界条件以及无穷远处辐射条件, 建立了海面下方多障碍体散射问题的数学模型, 并证明了散射问题解的唯一性. 基于位势理论, 利用间接积分方程方法, 得到了不同区域的场所满足的积分表示, 以及边界上密度函数所满足的边界积分方程. 通过引入位势算子, 将积分区域进行截断, 得到有界域上的算子方程. 针对所建立的边界积分方程系统, 利用Nyström方法构造数值格式, 并证明了数值解的收敛性. 最后, 利用数值实验验证理论的正确性和有效性. 进一步, 通过设计数值实验分析不同参数对散射问题的影响.

径向基函数神经网络 (RBFNN) 可用于插值和分类预测, 本文提出基于奇异值分解 (SVD) 技术来改进传统的RBFNN, 从而极大地简化网络结构. 具体来说, 本文提出的方法能够实现隐藏层神经元的自动选取和优化, 删除冗余的神经元, 进而节省内存和计算成本. 同时, 我们将使用 $K$ 折交叉验证法来确定径向基函数 (RBF) 中的径向参数 $\varepsilon$, 以保证算法精度. 更重要的是, 我们基于Halko等提出的近似SVD算法 ${ }^{[2]}$, 逐行读取样本数据并实时处理, 避免将所有样本数据一次性导入内存. 所有的数值实验都表明, 相比于传统的RBFNN, 本文提出的算法在不损失计算精度的前提下, 极大地提高了计算效率, 并简化了RBFNN结构.

本文针对一类块2×2结构的线性方程组, 利用其系数矩阵的结构性质以及Schur补近似矩阵的匹配技巧, 讨论了两类Schur补矩阵的近似矩阵以及它们之间的关系, 提出了一个新的结构约束预处理子, 并且给出了该预处理子理论推导和算法优势. 通过极小化预处理矩阵的谱聚集程度, 得到了优化这两类Schur补矩阵的参数选择策略及特征值分布, 并证明了在满足一定特殊条件下, 可以进一步改进和优化基于Schur补近似的预处理技术. 同时比较了这两类Schur补近似矩阵的效果及其适用范围, 最后总结得到一类通用可靠且有效的预处理技术, 并运用在目前最有效的三类预处理子上. 我们通过几个数值实验例子证明理论分析是可信服的, 也验证了优化的预处理子的有效性.

多维标度分析(MDS)是一种用于分析和可视化数据之间相似性或距离关系的统计方法, 它通过将数据点映射到低维空间中的坐标来表示它们之间的相对距离或相似性. 多维标度问题的古典解通过对(非欧氏型)距离矩阵平方进行双中心化处理, 进而通过截断特征值分解寻求低维的拟合构造点. 本文对距离矩阵平方进行直接拟合, 重构问题为零列和Stiefel子流形和线性流形约束下的矩阵优化模型, 并结合乘积流形几何性质, 设计一类自适应问题模型的基于Zhang-Hager技术拓展的黎曼梯度下降求解算法. 数值实验说明通过直接拟合能得到误差更小的拟合欧氏距离矩阵, 且所提算法与已有投影梯度流算法及黎曼优化工具箱中的黎曼一阶和二阶算法在迭代效率上有一定的优势.

本文针对多重线性PageRank问题, 结合松弛技术, 提出了新的张量分裂算法, 并给出了相应的收敛性分析. 数值实验表明, 在适当选择松弛参数的情况下, 新算法具有较好的数值效果.

能量稳定通量重构 (Energy Stable Flux Reconstruction, ESFR) 方法在求解线性对流方程时具有能量稳定性质. 但在求解非线性方程时能量稳定性质的实现需要采用$L^2$投影, 否则可能由于存在混淆误差, 导致不稳定. 本文将ESFR与过积分相结合构造具有良好去混淆效果的高阶通量重构 (Flux Reconstruction, FR) 方法. 采用积分点大于求解点$(Q>P)$的取点方式, 从理论上分析了格式的能量稳定特性. 从数值上对比了$g_{DG}$与$g_{SD}$两种修正函数, 三种不同过积分取点方式, 并对比过积分与非过积分形式的ESFR$(Q=P)$}. 通过对一维非均匀线性对流方程、二维等熵涡及欠解析涡流算例的模拟, 结果表明: 在$g_{SD}$修正函数下,ESFR$(Q>P)$格式比ESFR$(Q=P)$格式去混淆效果更好, 数值误差更小; 对比两种修正函数,$g_{DG}$修正函数数值误差更小, 更稳定: 对比三种过积分通量点分布, 选定$g_{DG}$修正函数时, 通量点取Legendre-Gauss-Lobatto(LGL)点或者通量点基于高斯权重剖分会具有更好的非线性稳定性, 并且通量点取LGL点时最优.

本文研究了向列相液晶和粘性流相场模型的数值逼近.首先运用凸分裂方法去处理Ginzburg-Landau函数,得到了一个向列相液晶和粘性流相场模型的等价模型.其次在数值格式上,使用向后欧拉方法进行了时间离散,使用混合有限元方法进行了空间离散,使用压力矫正方法将压力和速度解耦,得到了一个新的一阶格式.然后通过理论分析,证明了该格式是无条件稳定的.最后,对变量$\mathbf{d},\mathbf{u},\phi$的时间收敛阶,空间收敛阶,能量演化和奇异点湮灭进行了数值模拟,这些数值结果验证了理论部分的准确性和有效性.