双层优化是近年来的一个热门研究方向. 这主要归功于机器学习的兴起和双层优化在机器学习中的许多重要应用. 本文对双层优化的算法、理论及应用最近几年的发展做一个简要的介绍. 内容主要包括双层优化的历史, 双层优化在电力系统, 超参优化, 元学习等领域的应用, 以及双层优化的算法设计和理论保证. 算法方面我们主要分两种情况：下层问题是强凸问题和下层问题是一般凸问题. 这里我们会讨论梯度法和基于下层最优函数的方法. 我们也会重点讨论分布式网络中的双层优化, 包括去中心化的双层优化和联邦双层优化的算法和理论分析.

卷积位势广泛存在于科学和工程领域, 它的高效高精度计算往往是数值仿真的瓶颈.卷积位势是典型的非局部积分, 卷积核函数通常在原点或者无穷远处具有奇异性,密度函数是光滑速降函数并可能具有较强的各向异性. 无论是从卷积还是从傅里叶积分出发,我们首先将全空间截断到有界矩形区域并将其等距离散, 再应用傅里叶谱方法来高精度逼近密度函数.理想的求解器需要在保证高精度的同时, 尽可能提高计算效率, 并妥善处理各向异性密度函数的情形.本文详细回顾了目前流行的三类基于积分方程的高精度快速算法, 包括基于非均匀快速傅里叶变换的算法、基于高斯和的算法与核截断算法. 它们都能达到谱精度, 计算效率都类似于离散快速傅里叶变换(FFT), 并都能处理各向异性的密度函数. 这三类算法具有离散卷积结构;一旦生成了离散张量, 位势的计算将转化为两倍长度向量的傅里叶变换, 计算效率达到了近似最优,且与各向异性强度无关.最后我们介绍了误差估计的已有结果, 并用实例从精度、效率和各向异性等方面展示了算法能力.

ADMM 算法是求解可分离凸优化问题的经典算法之一, 但其无法保证原始迭代序列的收敛性且其子问题计算量很大. 为了保证该算法所有迭代点列的全局收敛性及提高计算效率, 采用凸组合技术的黄金比率邻近ADMM 算法被提出, 其中凸组合因子$\psi$ 是关键参数. 本文在黄金比率邻近ADMM 算法的基础上, 扩大了凸组合因子$\psi$ 的取值范围, 提出了收敛步长范围更广的推广黄金比率邻近ADMM 算法. 并在一定的假设下, 证明了算法的全局收敛性及函数值残差和约束违反度在遍历意义下的$\mathcal{O}(1/N)$ 次线性收敛速度. 以及, 当目标函数中任意一个函数强凸时, 证明了算法在遍历意义下的$\mathcal{O}(1/N^2)$ 收敛率. 最后, 本文通过数值试验表明推广算法的有效性.

交替方向法是求解矩阵补全问题的经典方法之一. 近年来, 随着信息的高速发展, 需要处理的矩阵规模越来越大. 为进一步提高交替方向法求解大规模矩阵补全问题的效率, 本文将交替方向法中的一个子问题结合惯性策略进行加速, 即利用该子问题的前一步迭代点和前一步的惯性迭代点进行线性组合得到新一步的惯性迭代点, 从而提出了一种改进的求解矩阵补全问题的惯性交替方向法. 本文在合理的假设条件下, 给出了新算法的收敛性证明. 最后, 通过随机矩阵补全及图像修复实例的数值实验结果验证了新算法的优越性.

在Riesz空间分数阶对流-扩散方程的数值求解中, 通过采用加权移位的Grünwald差分格式对其空间导数进行离散以及Crank-Nicolson 格式对其时间导数进行离散, 得到一个系数矩阵为单位矩阵与两个对称正定Toeplitz矩阵之和的线性方程组. 在本文中, 对该线性方程组, 利用其系数矩阵的结构,提出了一种$\tau$预处理矩阵, 并采用预处理共轭梯度法求解了该线性方程组. 理论分析给出了预处理后系数矩阵的谱分布以及条件数估计. 数值实验结果也说明了所构造的预处理矩阵在采用预处理共轭梯度法求解Riesz空间分数阶对流-扩散方程离散后得到的线性方程组的有效性.

水平线性互补问题(HLCP)是著名线性互补问题(LCP)的重要推广形式之一, 投影迭代法和模系矩阵分裂迭代法是最近提出的求解HLCP两类非常有效的热点方法.本文研究表明, 尽管这两类方法导出原理不同, 但在一定条件下是等价的. 特别地, 当模系矩阵分裂迭代法中参数矩阵$\Omega$取为特定的正对角矩阵时,投影Jacobi法、投影Gauss-Seidel法和投影SOR法分别等价于模系Jacobi迭代法、加速的模系Gauss-Seidel迭代法和加速的模系SOR迭代法. 此外, 对一般的正对角矩阵$\Omega$,本文也研究了两类方法的等价性. 最后, 通过数值算例验证了本文的理论结果.

求解无约束优化问题的一阶算法具有迭代简单、存储量小的优点, 在求解大规模问题时具有一定的优势. 为提升其收敛速度, 近些年发展出了多种加速技巧. 本文以最一般的求解无约束优化的梯度法为切入点, 介绍常见的加速梯度法的技巧与策略, 并进一步介绍这些加速技巧在邻近点算法、复合优化问题和随机优化问题中的表现形式. 另外, 本文还总结了一些其它仅用一阶信息就取得加速效果的策略和特殊问题中出现的加速方法.

本文对一类由维纳过程和泊松过程驱动的随机偏微分方程的数值求解方法进行了研究. 我们应用分裂算法的思想将方程分裂为三个简单的子方程, 并利用它们的解算子构造了分裂近似解, 同时研究了其收敛性和收敛阶. 之后我们用有限元方法和有限差分方法分别对空间变量和时间变量进行了离散化, 结合分裂算法构造了求解跳跃随机偏微分方程的全离散分裂近似解, 给出了误差分析结果. 最后我们用数值实验验证了算法的收敛阶.

本文研究一类非凸非光滑不可分优化. 基于Peaceman-Rachford(PR)分裂算法, 并结合Armijo线搜索技术及线性正则化技术, 提出了两个线性邻近PR分裂算法. 利用PR分裂算法思想, 将增广拉格朗日法涉及的子问题分解成两个小规模子问题. 为便于子问题的求解和使其具有良好的理论性质, 对子问题的目标函数中的光滑项作线性化处理, 并分别添加必要的正则项. 在常规假设下, 论证了算法的全局收敛性及迭代复杂性. 最后, 数值实验结果表明算法是有效的.

针对大型稀疏线性方程组求解问题, 本文以块Kaczmarz方法的思想为基础, 提出了一种新的随机块Kaczmarz算法——随机贪婪残差块Kaczmarz(GREBK(k))算法. 首先, 利用K-means聚类算法对标准化残差进行聚类分块, 获得系数矩阵中对应的行分块策略; 针对上述分块方式, 再进行随机贪婪块Kaczmarz方法求解. 相关理论分析证明了该算法的收敛性. 最后, 数值实验表明GREBK(k)算法改进了目前现有相关结果, 是一种行之有效的数值方法.

针对奇异摄动对流扩散边界层问题, 应用多尺度有限元法结合自适应的分层网格提出逼近理论并进行数值模拟. 多尺度有限元法仅需在粗尺度规模展开运算, 通过多尺度基函数建立尺度之间的映射关系, 实现从微观到宏观的数据嵌入. 再结合分层网格用于粗单元离散化, 能够自适应地逼近边界层. 理论证明了多尺度有限元解的能量范数误差估计具有稳定性和超收敛, 数值验证了其精确高效的一致超收敛结果.

Lasso问题是压缩感知, 信号处理和稀疏线性回归等领域的热点问题. 本文基于邻近算子提出了邻近次梯度方法来求解分块Lasso和稀疏分块Lasso类型问题.在问题的目标函数不需要强凸性的前提下证明了所提出算法的线性收敛速率并用数值实验验证了算法的效率.

本文通过实现深度前馈人工神经网络求解不可压缩流体偏微分方程, 基于方程残差、初边值条件构造合适的损失函数和深度学习求解算法. 与传统数值方法相比, 该方法只需在内部、边界和初始时刻随机生成样本点作为训练集, 因此该方法是无网格的, 并且各物理场变量之间并行求解, 便于分析复杂多物理场耦合模型中物理量的变化规律. 收敛性分析在统一框架下为深度学习方法求解此类不可压缩流体偏微分方程提供了理论支撑, 通过求解一类非定常Stokes方程, 一类粘性Boussinesq 方程和一类Navier-Stokes/Darcy 耦合方程说明此方法可以有效求解不可压缩流体偏微分方程并且具有较好的精度.

本文基于E-SAV方法及复化梯形求积公式, 为近场动力学方程提出了一类二阶显式的能量守恒格式, 并对时间半离散格式进行了严格的误差分析. 数值结果验证了格式的能量守恒性及收敛阶.

本文对一类变分数阶非线性随机微积分方程初值问题构造了Euler-Maruyama (EM)方法进行数值求解. 然后, 证明了该EM方法的强稳定性和强收敛性, 其强收敛阶为$\max\{1-\alpha^{*}, 0.5$}, 其中$\alpha^{*}=\max\{\alpha(t)\}$, 这里$\alpha(t)$ 是Riemann-Liouville变分数阶导数的阶数. 最后, 用数值试验验证了该EM方法的强收敛阶.

本文在复对称不定线性方程组的等价形式的基础上, 结合预处理的修正的Hermitian与反Hermitian分裂(PMHSS)迭代法的设计思路, 提出了PMHSS迭代方法的一种不均衡变形迭代格式(即: LVPMHSS迭代法). 在理论上详细分析了LVPMHSS迭代法的收敛性, 同时, 还给出了特殊预处理矩阵下的LVPMHSS预处理矩阵的谱性质, 并通过极小化对应迭代法的迭代矩阵谱半径得到拟最优迭代参数. 数值实验的结果验证了新算法的可行性与有效性.

本文主要用经济型差分流线扩散(EFDSD)法研究非线性对流占优扩散方程的向后 Euler (BE) 全离散有限元格式, 并在时间步长 $\tau$ 和空间剖分参数 $h$ 的比值无约束下, 导出 $H^1$ 模意义下具有 $O(h^2+\tau)$ 阶的超收敛性质. 首先, 引入时间离散系统, 将误差分为时间误差和空间误差两部分, 并利用数学归纳法, 通过时间误差给出了时间离散方程解的正则性. 其次利用空间误差导出有限元解的 $W^{0, \infty}$ 模的有界性, 再借助插值后处理技巧得到了 $H^1$ 模意义下的无网格比的超逼近和整体超收敛结果. 最后, 通过数值例子对理论分析的正确性和算法的高效性予以了验证.

本文首先对一维时滞 Fisher 方程建立了保非负性的 Du Fort-Frankel 差分格式. 运用数学归纳法证明了当网格比 $r_{x}=(\varepsilon \Delta t)/h^{2}_{x}$ $\le 1/2$ 时, 它的数值解大于或者等于零. 这里 $\varepsilon$, $\Delta t$ 和 $h_{x}$ 分别是扩散系数, 时间和空间方向上的网格步长. 其次, 运用截断技巧修正由保非负性的 Du Fort Frankel 差分格式获得的数值解, 从而设计了一类既保非负性又保最大界的差分方法. 运用数学归纳法证明了 当 $r_{x}\le 1/2$ 时, 它的数值解落在区间 $[0,1]$ 内. 运用能量分析法, 我们证明这两类方法在最大范数下均有 $\mathcal{O}$ $(\Delta t+(\Delta t/h_{x})^{2}+h^{2}_{x})$ 的收敛阶. 再次, 类似地, 我们对二维问题建立了保非负性的 Du Fort-Frankel 差分格式和既保非负性又保最大界的差分法, 及其理论. 最后, 数值结果验证了理论的正确性和新算法的高效性.

基于SR1方法和谱共轭梯度方法, 借助投影算子, 本文建立了一种求解非线性凸约束单调方程组问题的谱梯度型无导数投影算法, 其搜索方向满足充分下降性且独立于线搜索条件. 在适当的假设条件下, 算法具有全局收敛性. 算例实验结果表明, 该算法具有稳定性和有效性. 最后, 将算法应用于稀疏信号恢复问题.

本文针对二维空间中海面下方多障碍体散射问题, 分别从理论分析和数值计算两方面进行研究. 通过分析散射问题的特性, 利用Helmholtz方程, 结合不同边界条件以及无穷远处辐射条件, 建立了海面下方多障碍体散射问题的数学模型, 并证明了散射问题解的唯一性. 基于位势理论, 利用间接积分方程方法, 得到了不同区域的场所满足的积分表示, 以及边界上密度函数所满足的边界积分方程. 通过引入位势算子, 将积分区域进行截断, 得到有界域上的算子方程. 针对所建立的边界积分方程系统, 利用Nyström方法构造数值格式, 并证明了数值解的收敛性. 最后, 利用数值实验验证理论的正确性和有效性. 进一步, 通过设计数值实验分析不同参数对散射问题的影响.

在三角形网格上构造了一种求解Stokes方程的Lagrange二次有限体积法格式. 取连续的二次有限元空间与间断的线性有限元空间分别作为Stokes方程的速度项与压力项的试探空间, 从而保证了离散方程的速度解在宏元三角形单元上满足局部质量守恒性, 且有限元空间对自然满足所谓的inf-sup条件. 采用特殊的有限体积法映射与对偶剖分, 求解Stokes方程的Lagrange二次有限体积法格式等价于相对应的有限元法格式, 因此确保了有限体积法格式的无条件(无需约束三角形网格的几何形状)稳定性和关于速度项的最优阶$\mathbf{H}^1$范数的误差估计. 最后, 数值实验展示了理论结果的正确性以及有限体积法的数值模拟在计算流体力学中的有效性.

本文基于已有的连续扩散通量的两点非线性离散格式, 构造了2D非稳态扩散方程大变形网格上的两层非线性有限体积格式. 该格式利用Crank-Nicolson(C-N)方法的思想在时间方向获得了二阶精度. 由于所得代数方程组的系数矩阵的转置是M矩阵, 从而能够保持解的正性, 并利用Brouwer不动点定理证明了格式解的存在性. 数值实验结果表明, 在较大时间步长下, 该格式具有二阶计算精度.

本文针对多重线性PageRank问题, 结合松弛技术, 提出了新的张量分裂算法, 并给出了相应的收敛性分析. 数值实验表明, 在适当选择松弛参数的情况下, 新算法具有较好的数值效果.

本文考虑求解一类不可分的非凸非光滑优化问题, 该问题的目标函数由如下两部分组成: 关于全局变量不可分的正常下半连续双凸函数, 与两个关于独立变量的无利普希茨连续梯度的非凸函数. 本文提出广义的惯性交替结构化邻近梯度下降算法(general inertial alternating structure-adapted proximal gradient descent algorithm, 简记为 GIASAP 算法), 该算法框架不仅引入非线性邻近正则项与惯性加速技巧, 同时采用常数步长与动态步长两种策略. 本文证明了GIASAP算法O(1/k)的非渐近收敛率, 以及当目标函数具有Kurdyka-Łojasiewicz性质时, 由GIASAP算法生成的有界序列全局收敛到问题的驻点. 最后, 本文通过数值实验验证了算法的可行性与有效性.

在目标函数满足Lojasiewicz性质的条件下, 建立了一般流形上邻近点算法的收敛速度. 所得结果在黎曼流形上是新的, 改进了欧氏空间中的相应结果.

Floquet变换是研究具有周期平移不变性算子的数学工具,本文从这个视角讨论了周期体系量子特征值问题的基本数学性质,由Floquet变换得到Bloch函数, 通过Floquet逆变换定义Wannier函数.在此过程中, 证明了作用于周期单元平方可积函数的算子$H({\bf k})$的自伴性及预解集紧性、Wannier函数作为$L^2(\mathbb{R}^d)$基底的正交性与完备性. 还证明了孤立能带关于${\bf k}$的连续可微性,介绍了非孤立能带组的光滑化.最后, 从Wannier函数的Floquet变换出发, 介绍了能带的插值计算.

本文针对一类块2×2结构的线性方程组, 利用其系数矩阵的结构性质以及Schur补近似矩阵的匹配技巧, 讨论了两类Schur补矩阵的近似矩阵以及它们之间的关系, 提出了一个新的结构约束预处理子, 并且给出了该预处理子理论推导和算法优势. 通过极小化预处理矩阵的谱聚集程度, 得到了优化这两类Schur补矩阵的参数选择策略及特征值分布, 并证明了在满足一定特殊条件下, 可以进一步改进和优化基于Schur补近似的预处理技术. 同时比较了这两类Schur补近似矩阵的效果及其适用范围, 最后总结得到一类通用可靠且有效的预处理技术, 并运用在目前最有效的三类预处理子上. 我们通过几个数值实验例子证明理论分析是可信服的, 也验证了优化的预处理子的有效性.

多维标度分析(MDS)是一种用于分析和可视化数据之间相似性或距离关系的统计方法, 它通过将数据点映射到低维空间中的坐标来表示它们之间的相对距离或相似性. 多维标度问题的古典解通过对(非欧氏型)距离矩阵平方进行双中心化处理, 进而通过截断特征值分解寻求低维的拟合构造点. 本文对距离矩阵平方进行直接拟合, 重构问题为零列和Stiefel子流形和线性流形约束下的矩阵优化模型, 并结合乘积流形几何性质, 设计一类自适应问题模型的基于Zhang-Hager技术拓展的黎曼梯度下降求解算法. 数值实验说明通过直接拟合能得到误差更小的拟合欧氏距离矩阵, 且所提算法与已有投影梯度流算法及黎曼优化工具箱中的黎曼一阶和二阶算法在迭代效率上有一定的优势.

快速多极算法是加速计算由许多物理问题得出的大型稠密线性方程组的一种有效算法. 本文研究了求解三维位势问题快速多极算法整体误差的收敛性问题. 首先推导了整体误差的表达式, 然后给出了误差上界. 其次将结果应用于自适应八叉树结构, 得到具体的误差收敛阶. 最后通过具体的数值算例验证了本文的结果. 本文的方法和结论也可以推广到计算弹性静力学问题和斯托克斯流问题的快速多极算法的误差分析中.

本文引入线搜索准则, 提出了一种带惯性项的 Bregman 邻近梯度算法求解一类非凸复合优化问题, 其中目标函数为相对光滑的损失函数与非光滑正则函数之和. 在广义凹Kurdyka-Łojasiewicz (KL) 性质的假设下, 证明了算法的全局收敛性. 最后将算法应用于图像恢复问题和非凸的$l_{1/2}$ 稀疏优化问题, 数值实验表明新算法的有效性与优越性.