双层优化是近年来的一个热门研究方向. 这主要归功于机器学习的兴起和双层优化在机器学习中的许多重要应用. 本文对双层优化的算法、理论及应用最近几年的发展做一个简要的介绍. 内容主要包括双层优化的历史, 双层优化在电力系统, 超参优化, 元学习等领域的应用, 以及双层优化的算法设计和理论保证. 算法方面我们主要分两种情况：下层问题是强凸问题和下层问题是一般凸问题. 这里我们会讨论梯度法和基于下层最优函数的方法. 我们也会重点讨论分布式网络中的双层优化, 包括去中心化的双层优化和联邦双层优化的算法和理论分析.

ADMM 算法是求解可分离凸优化问题的经典算法之一, 但其无法保证原始迭代序列的收敛性且其子问题计算量很大. 为了保证该算法所有迭代点列的全局收敛性及提高计算效率, 采用凸组合技术的黄金比率邻近ADMM 算法被提出, 其中凸组合因子$\psi$ 是关键参数. 本文在黄金比率邻近ADMM 算法的基础上, 扩大了凸组合因子$\psi$ 的取值范围, 提出了收敛步长范围更广的推广黄金比率邻近ADMM 算法. 并在一定的假设下, 证明了算法的全局收敛性及函数值残差和约束违反度在遍历意义下的$\mathcal{O}(1/N)$ 次线性收敛速度. 以及, 当目标函数中任意一个函数强凸时, 证明了算法在遍历意义下的$\mathcal{O}(1/N^2)$ 收敛率. 最后, 本文通过数值试验表明推广算法的有效性.

交替方向法是求解矩阵补全问题的经典方法之一. 近年来, 随着信息的高速发展, 需要处理的矩阵规模越来越大. 为进一步提高交替方向法求解大规模矩阵补全问题的效率, 本文将交替方向法中的一个子问题结合惯性策略进行加速, 即利用该子问题的前一步迭代点和前一步的惯性迭代点进行线性组合得到新一步的惯性迭代点, 从而提出了一种改进的求解矩阵补全问题的惯性交替方向法. 本文在合理的假设条件下, 给出了新算法的收敛性证明. 最后, 通过随机矩阵补全及图像修复实例的数值实验结果验证了新算法的优越性.

水平线性互补问题(HLCP)是著名线性互补问题(LCP)的重要推广形式之一, 投影迭代法和模系矩阵分裂迭代法是最近提出的求解HLCP两类非常有效的热点方法.本文研究表明, 尽管这两类方法导出原理不同, 但在一定条件下是等价的. 特别地, 当模系矩阵分裂迭代法中参数矩阵$\Omega$取为特定的正对角矩阵时,投影Jacobi法、投影Gauss-Seidel法和投影SOR法分别等价于模系Jacobi迭代法、加速的模系Gauss-Seidel迭代法和加速的模系SOR迭代法. 此外, 对一般的正对角矩阵$\Omega$,本文也研究了两类方法的等价性. 最后, 通过数值算例验证了本文的理论结果.

求解无约束优化问题的一阶算法具有迭代简单、存储量小的优点, 在求解大规模问题时具有一定的优势. 为提升其收敛速度, 近些年发展出了多种加速技巧. 本文以最一般的求解无约束优化的梯度法为切入点, 介绍常见的加速梯度法的技巧与策略, 并进一步介绍这些加速技巧在邻近点算法、复合优化问题和随机优化问题中的表现形式. 另外, 本文还总结了一些其它仅用一阶信息就取得加速效果的策略和特殊问题中出现的加速方法.

针对大型稀疏线性方程组求解问题, 本文以块Kaczmarz方法的思想为基础, 提出了一种新的随机块Kaczmarz算法——随机贪婪残差块Kaczmarz(GREBK(k))算法. 首先, 利用K-means聚类算法对标准化残差进行聚类分块, 获得系数矩阵中对应的行分块策略; 针对上述分块方式, 再进行随机贪婪块Kaczmarz方法求解. 相关理论分析证明了该算法的收敛性. 最后, 数值实验表明GREBK(k)算法改进了目前现有相关结果, 是一种行之有效的数值方法.

本文在复对称不定线性方程组的等价形式的基础上, 结合预处理的修正的Hermitian与反Hermitian分裂(PMHSS)迭代法的设计思路, 提出了PMHSS迭代方法的一种不均衡变形迭代格式(即: LVPMHSS迭代法). 在理论上详细分析了LVPMHSS迭代法的收敛性, 同时, 还给出了特殊预处理矩阵下的LVPMHSS预处理矩阵的谱性质, 并通过极小化对应迭代法的迭代矩阵谱半径得到拟最优迭代参数. 数值实验的结果验证了新算法的可行性与有效性.

本文通过实现深度前馈人工神经网络求解不可压缩流体偏微分方程, 基于方程残差、初边值条件构造合适的损失函数和深度学习求解算法. 与传统数值方法相比, 该方法只需在内部、边界和初始时刻随机生成样本点作为训练集, 因此该方法是无网格的, 并且各物理场变量之间并行求解, 便于分析复杂多物理场耦合模型中物理量的变化规律. 收敛性分析在统一框架下为深度学习方法求解此类不可压缩流体偏微分方程提供了理论支撑, 通过求解一类非定常Stokes方程, 一类粘性Boussinesq 方程和一类Navier-Stokes/Darcy 耦合方程说明此方法可以有效求解不可压缩流体偏微分方程并且具有较好的精度.

本文首先对一维时滞 Fisher 方程建立了保非负性的 Du Fort-Frankel 差分格式. 运用数学归纳法证明了当网格比 $r_{x}=(\varepsilon \Delta t)/h^{2}_{x}$ $\le 1/2$ 时, 它的数值解大于或者等于零. 这里 $\varepsilon$, $\Delta t$ 和 $h_{x}$ 分别是扩散系数, 时间和空间方向上的网格步长. 其次, 运用截断技巧修正由保非负性的 Du Fort Frankel 差分格式获得的数值解, 从而设计了一类既保非负性又保最大界的差分方法. 运用数学归纳法证明了 当 $r_{x}\le 1/2$ 时, 它的数值解落在区间 $[0,1]$ 内. 运用能量分析法, 我们证明这两类方法在最大范数下均有 $\mathcal{O}$ $(\Delta t+(\Delta t/h_{x})^{2}+h^{2}_{x})$ 的收敛阶. 再次, 类似地, 我们对二维问题建立了保非负性的 Du Fort-Frankel 差分格式和既保非负性又保最大界的差分法, 及其理论. 最后, 数值结果验证了理论的正确性和新算法的高效性.

基于SR1方法和谱共轭梯度方法, 借助投影算子, 本文建立了一种求解非线性凸约束单调方程组问题的谱梯度型无导数投影算法, 其搜索方向满足充分下降性且独立于线搜索条件. 在适当的假设条件下, 算法具有全局收敛性. 算例实验结果表明, 该算法具有稳定性和有效性. 最后, 将算法应用于稀疏信号恢复问题.

Floquet变换是研究具有周期平移不变性算子的数学工具,本文从这个视角讨论了周期体系量子特征值问题的基本数学性质,由Floquet变换得到Bloch函数, 通过Floquet逆变换定义Wannier函数.在此过程中, 证明了作用于周期单元平方可积函数的算子$H({\bf k})$的自伴性及预解集紧性、Wannier函数作为$L^2(\mathbb{R}^d)$基底的正交性与完备性. 还证明了孤立能带关于${\bf k}$的连续可微性,介绍了非孤立能带组的光滑化.最后, 从Wannier函数的Floquet变换出发, 介绍了能带的插值计算.

本文针对多重线性PageRank问题, 结合松弛技术, 提出了新的张量分裂算法, 并给出了相应的收敛性分析. 数值实验表明, 在适当选择松弛参数的情况下, 新算法具有较好的数值效果.

在目标函数满足Lojasiewicz性质的条件下, 建立了一般流形上邻近点算法的收敛速度. 所得结果在黎曼流形上是新的, 改进了欧氏空间中的相应结果.

本文主要用经济型差分流线扩散(EFDSD)法研究非线性对流占优扩散方程的向后 Euler (BE) 全离散有限元格式, 并在时间步长 $\tau$ 和空间剖分参数 $h$ 的比值无约束下, 导出 $H^1$ 模意义下具有 $O(h^2+\tau)$ 阶的超收敛性质. 首先, 引入时间离散系统, 将误差分为时间误差和空间误差两部分, 并利用数学归纳法, 通过时间误差给出了时间离散方程解的正则性. 其次利用空间误差导出有限元解的 $W^{0, \infty}$ 模的有界性, 再借助插值后处理技巧得到了 $H^1$ 模意义下的无网格比的超逼近和整体超收敛结果. 最后, 通过数值例子对理论分析的正确性和算法的高效性予以了验证.

本文针对二维空间中海面下方多障碍体散射问题, 分别从理论分析和数值计算两方面进行研究. 通过分析散射问题的特性, 利用Helmholtz方程, 结合不同边界条件以及无穷远处辐射条件, 建立了海面下方多障碍体散射问题的数学模型, 并证明了散射问题解的唯一性. 基于位势理论, 利用间接积分方程方法, 得到了不同区域的场所满足的积分表示, 以及边界上密度函数所满足的边界积分方程. 通过引入位势算子, 将积分区域进行截断, 得到有界域上的算子方程. 针对所建立的边界积分方程系统, 利用Nyström方法构造数值格式, 并证明了数值解的收敛性. 最后, 利用数值实验验证理论的正确性和有效性. 进一步, 通过设计数值实验分析不同参数对散射问题的影响.

在三角形网格上构造了一种求解Stokes方程的Lagrange二次有限体积法格式. 取连续的二次有限元空间与间断的线性有限元空间分别作为Stokes方程的速度项与压力项的试探空间, 从而保证了离散方程的速度解在宏元三角形单元上满足局部质量守恒性, 且有限元空间对自然满足所谓的inf-sup条件. 采用特殊的有限体积法映射与对偶剖分, 求解Stokes方程的Lagrange二次有限体积法格式等价于相对应的有限元法格式, 因此确保了有限体积法格式的无条件(无需约束三角形网格的几何形状)稳定性和关于速度项的最优阶$\mathbf{H}^1$范数的误差估计. 最后, 数值实验展示了理论结果的正确性以及有限体积法的数值模拟在计算流体力学中的有效性.

本文考虑求解一类不可分的非凸非光滑优化问题, 该问题的目标函数由如下两部分组成: 关于全局变量不可分的正常下半连续双凸函数, 与两个关于独立变量的无利普希茨连续梯度的非凸函数. 本文提出广义的惯性交替结构化邻近梯度下降算法(general inertial alternating structure-adapted proximal gradient descent algorithm, 简记为 GIASAP 算法), 该算法框架不仅引入非线性邻近正则项与惯性加速技巧, 同时采用常数步长与动态步长两种策略. 本文证明了GIASAP算法O(1/k)的非渐近收敛率, 以及当目标函数具有Kurdyka-Łojasiewicz性质时, 由GIASAP算法生成的有界序列全局收敛到问题的驻点. 最后, 本文通过数值实验验证了算法的可行性与有效性.

本文针对一类块2×2结构的线性方程组, 利用其系数矩阵的结构性质以及Schur补近似矩阵的匹配技巧, 讨论了两类Schur补矩阵的近似矩阵以及它们之间的关系, 提出了一个新的结构约束预处理子, 并且给出了该预处理子理论推导和算法优势. 通过极小化预处理矩阵的谱聚集程度, 得到了优化这两类Schur补矩阵的参数选择策略及特征值分布, 并证明了在满足一定特殊条件下, 可以进一步改进和优化基于Schur补近似的预处理技术. 同时比较了这两类Schur补近似矩阵的效果及其适用范围, 最后总结得到一类通用可靠且有效的预处理技术, 并运用在目前最有效的三类预处理子上. 我们通过几个数值实验例子证明理论分析是可信服的, 也验证了优化的预处理子的有效性.

本文基于已有的连续扩散通量的两点非线性离散格式, 构造了2D非稳态扩散方程大变形网格上的两层非线性有限体积格式. 该格式利用Crank-Nicolson(C-N)方法的思想在时间方向获得了二阶精度. 由于所得代数方程组的系数矩阵的转置是M矩阵, 从而能够保持解的正性, 并利用Brouwer不动点定理证明了格式解的存在性. 数值实验结果表明, 在较大时间步长下, 该格式具有二阶计算精度.

多维标度分析(MDS)是一种用于分析和可视化数据之间相似性或距离关系的统计方法, 它通过将数据点映射到低维空间中的坐标来表示它们之间的相对距离或相似性. 多维标度问题的古典解通过对(非欧氏型)距离矩阵平方进行双中心化处理, 进而通过截断特征值分解寻求低维的拟合构造点. 本文对距离矩阵平方进行直接拟合, 重构问题为零列和Stiefel子流形和线性流形约束下的矩阵优化模型, 并结合乘积流形几何性质, 设计一类自适应问题模型的基于Zhang-Hager技术拓展的黎曼梯度下降求解算法. 数值实验说明通过直接拟合能得到误差更小的拟合欧氏距离矩阵, 且所提算法与已有投影梯度流算法及黎曼优化工具箱中的黎曼一阶和二阶算法在迭代效率上有一定的优势.

本文引入线搜索准则, 提出了一种带惯性项的 Bregman 邻近梯度算法求解一类非凸复合优化问题, 其中目标函数为相对光滑的损失函数与非光滑正则函数之和. 在广义凹Kurdyka-Łojasiewicz (KL) 性质的假设下, 证明了算法的全局收敛性. 最后将算法应用于图像恢复问题和非凸的$l_{1/2}$ 稀疏优化问题, 数值实验表明新算法的有效性与优越性.

快速多极算法是加速计算由许多物理问题得出的大型稠密线性方程组的一种有效算法. 本文研究了求解三维位势问题快速多极算法整体误差的收敛性问题. 首先推导了整体误差的表达式, 然后给出了误差上界. 其次将结果应用于自适应八叉树结构, 得到具体的误差收敛阶. 最后通过具体的数值算例验证了本文的结果. 本文的方法和结论也可以推广到计算弹性静力学问题和斯托克斯流问题的快速多极算法的误差分析中.

针对电路仿真中瞬态分析产生的超大规模稀疏线性方程组, 分块对角加边 (Bordered Block Diagonal, BBD) 方法是一类经典的求解方法. 本文提出了一种改进的 BBD 方法, 通过使用基础列分解和流水线分解结合的方式, 改善了传统 BBD 方法中负载不均衡的问题. 在矩阵边界分解时, 本文通过引入流水线分解克服了传统方法边界难以并行的缺陷. 通过求解 16 个真实电路上产生的超大规模稀疏线性方程组, 我们验证了改进 BBD 方法的有效性. 相较于传统的 BBD 方法, 改进方法在不同线程下的求解速度均有一定提升.

浸入有限元方法是一类基于非拟合网格求解界面问题的有效数值方法.目前, 对带有传统界面跳跃条件的界面问题, 浸入有限元方法已有许多研究,而对带有Robin型跳跃条件的界面问题, 该方法的研究较少.本文针对带有Robin型跳跃条件的一维界面问题提出了浸入有限元方法.本文证明并通过数值算例验证了浸入有限元空间的最优逼近性以及浸入有限元方法的最优收敛性.

本文主要考虑 1$ < p < \infty$ 时 $p$-Laplace问题的混合高阶方法（HHO方法）.即利用最高次数大于1的分段多项式函数逼近离散未知数, 数值变量在Raviart-Thomas 有限元空间中进行局部梯度重构, 用高阶梯度$\mathbf{Ru_{h}}$代替传统梯度$\mathbf{Dv}$, 且其无需在正则三角剖分上稳定. 我们从能量的角度出发, 将离散能量极小值进行梯度重构, 在新的距离框架下, 通过引入离散应力, 得到了HHO 方法的先验和后验误差估计. 数值算例验证了该混合高阶方法的可靠性和有效性.

高非线性随机微分方程的数值方法可以分为显式和隐式两类方法, 通常显式方法的计算量小但稳定性差, 隐式方法的稳定性好但计算量大. 本文提出一种隐式部分截断Euler方法, 证明了它是强收敛和均方稳定的. 此外, 研究结果表明, 对于平移系数含线性函数情况, 它与显式部分截断Euler方法计算量相近, 而稳定性更好, 即兼具显式和隐式方法的优点.

本文考虑了一类伪Jacobi矩阵的广义双倍维逆特征值问题, 该问题通过从矩阵的特征值和它的$r$阶顺序主子矩阵来重构该矩阵. 该类矩阵特征值的分布与其两个互补主子矩阵特征值的大小关系有关, 当大小关系不同时, 该类矩阵的特征值分布将会发生很大变化. 于是根据该矩阵特征方程根的分布情况来讨论其特征值分布, 并且给出了问题有解的充分必要条件. 然后, 将该问题等价转化为蒋尔雄提出的$k$问题并解决了该问题. 最后, 通过数值算例验证了所给算法的有效性和可行性.

多集分裂可行性问题 (MSSFP)是分裂可行性问题的推广, 在图像重建、相位恢复等实际问题中具有广泛的应用. 基于选择技巧, Yao等人[Optimization, 2020, 69(2): 269-281]在Hilbert 空间中提出了两种求解MSSFP的投影算法(SPA). 本文修正了SPA的步长参数, 提出了两种求解MSSFP的修正惯性投影算法(MISPA). 在解集非空的假设条件下分别得到了MISPA的弱、强收敛性. 数值实验表明: MISPA是可行的, 惯性方法可以加速SPA.

径向基函数神经网络 (RBFNN) 可用于插值和分类预测, 本文提出基于奇异值分解 (SVD) 技术来改进传统的RBFNN, 从而极大地简化网络结构. 具体来说, 本文提出的方法能够实现隐藏层神经元的自动选取和优化, 删除冗余的神经元, 进而节省内存和计算成本. 同时, 我们将使用 $K$ 折交叉验证法来确定径向基函数 (RBF) 中的径向参数 $\varepsilon$, 以保证算法精度. 更重要的是, 我们基于Halko等提出的近似SVD算法 ${ }^{[2]}$, 逐行读取样本数据并实时处理, 避免将所有样本数据一次性导入内存. 所有的数值实验都表明, 相比于传统的RBFNN, 本文提出的算法在不损失计算精度的前提下, 极大地提高了计算效率, 并简化了RBFNN结构.

随着大模型所代表的AI技术革命浪潮的兴起, 以数据为中心的AI研究(Data-centric AI)快速崛起, 使得包括线性可分性在内的数据分析技术愈发受到研究者的重视. 线性可分判定作为数据分析的基础性数学问题, 在大数据时代的应用背景下, 高效的判定方法依然是个未被充分满足的需求. 本文提出并论证了一种基于球面模型的点与集合线性可分的充分必要条件；并基于该充要条件, 进一步提出并论证了两集合线性可分的并行化快速初筛检测方法. 本文方法的优势在于: (1)内在并行化特点, 具备低时间复杂度, 执行效率要远优于现有方法. (2)并行化适用性, 任何线性可分性判定方法均可以使用本文的并行化框架来实现加速. 文中基于基准数据集和人工数据集的验证实验也充分展示了本文方法的准确性和实现的高效性.

本文的目的是重构含时变源的弥散黏滞波方程.源可以分为未知的时间部分和已知的空间部分,未知部分借助非全域范围的额外探测值确定.我们提出了一种基于额外探测值的源重构方法,并证明了弱解的存在唯一性.最后通过算例对理论结果进行了验证.