双层优化是近年来的一个热门研究方向. 这主要归功于机器学习的兴起和双层优化在机器学习中的许多重要应用. 本文对双层优化的算法、理论及应用最近几年的发展做一个简要的介绍. 内容主要包括双层优化的历史, 双层优化在电力系统, 超参优化, 元学习等领域的应用, 以及双层优化的算法设计和理论保证. 算法方面我们主要分两种情况：下层问题是强凸问题和下层问题是一般凸问题. 这里我们会讨论梯度法和基于下层最优函数的方法. 我们也会重点讨论分布式网络中的双层优化, 包括去中心化的双层优化和联邦双层优化的算法和理论分析.

快速多极算法(FMM)是处理大规模多体系统的高效数值算法,在分子动力学、天体动力学、声学以及电磁学等领域发挥着重要作用.本文首先回顾了快速多极算法的发展历史,其次以Helmholtz和Maxwell方程为例,介绍了二维和三维情形下基于核解析展开的快速多极算法的数据结构、数学原理、实现步骤和复杂度分析,并给出了相应的自适应FMM实现方法,最后基于MATLAB平台进行了二维和三维情形下多体模拟的数值实验.

交替方向法是求解矩阵补全问题的经典方法之一. 近年来, 随着信息的高速发展, 需要处理的矩阵规模越来越大. 为进一步提高交替方向法求解大规模矩阵补全问题的效率, 本文将交替方向法中的一个子问题结合惯性策略进行加速, 即利用该子问题的前一步迭代点和前一步的惯性迭代点进行线性组合得到新一步的惯性迭代点, 从而提出了一种改进的求解矩阵补全问题的惯性交替方向法. 本文在合理的假设条件下, 给出了新算法的收敛性证明. 最后, 通过随机矩阵补全及图像修复实例的数值实验结果验证了新算法的优越性.

针对大型稀疏线性方程组求解问题, 本文以块Kaczmarz方法的思想为基础, 提出了一种新的随机块Kaczmarz算法——随机贪婪残差块Kaczmarz(GREBK(k))算法. 首先, 利用K-means聚类算法对标准化残差进行聚类分块, 获得系数矩阵中对应的行分块策略; 针对上述分块方式, 再进行随机贪婪块Kaczmarz方法求解. 相关理论分析证明了该算法的收敛性. 最后, 数值实验表明GREBK(k)算法改进了目前现有相关结果, 是一种行之有效的数值方法.

求解无约束优化问题的一阶算法具有迭代简单、存储量小的优点, 在求解大规模问题时具有一定的优势. 为提升其收敛速度, 近些年发展出了多种加速技巧. 本文以最一般的求解无约束优化的梯度法为切入点, 介绍常见的加速梯度法的技巧与策略, 并进一步介绍这些加速技巧在邻近点算法、复合优化问题和随机优化问题中的表现形式. 另外, 本文还总结了一些其它仅用一阶信息就取得加速效果的策略和特殊问题中出现的加速方法.

针对电路仿真中瞬态分析产生的超大规模稀疏线性方程组, 分块对角加边 (Bordered Block Diagonal, BBD) 方法是一类经典的求解方法. 本文提出了一种改进的 BBD 方法, 通过使用基础列分解和流水线分解结合的方式, 改善了传统 BBD 方法中负载不均衡的问题. 在矩阵边界分解时, 本文通过引入流水线分解克服了传统方法边界难以并行的缺陷. 通过求解 16 个真实电路上产生的超大规模稀疏线性方程组, 我们验证了改进 BBD 方法的有效性. 相较于传统的 BBD 方法, 改进方法在不同线程下的求解速度均有一定提升.

本文在复对称不定线性方程组的等价形式的基础上, 结合预处理的修正的Hermitian与反Hermitian分裂(PMHSS)迭代法的设计思路, 提出了PMHSS迭代方法的一种不均衡变形迭代格式(即: LVPMHSS迭代法). 在理论上详细分析了LVPMHSS迭代法的收敛性, 同时, 还给出了特殊预处理矩阵下的LVPMHSS预处理矩阵的谱性质, 并通过极小化对应迭代法的迭代矩阵谱半径得到拟最优迭代参数. 数值实验的结果验证了新算法的可行性与有效性.

本文通过实现深度前馈人工神经网络求解不可压缩流体偏微分方程, 基于方程残差、初边值条件构造合适的损失函数和深度学习求解算法. 与传统数值方法相比, 该方法只需在内部、边界和初始时刻随机生成样本点作为训练集, 因此该方法是无网格的, 并且各物理场变量之间并行求解, 便于分析复杂多物理场耦合模型中物理量的变化规律. 收敛性分析在统一框架下为深度学习方法求解此类不可压缩流体偏微分方程提供了理论支撑, 通过求解一类非定常Stokes方程, 一类粘性Boussinesq 方程和一类Navier-Stokes/Darcy 耦合方程说明此方法可以有效求解不可压缩流体偏微分方程并且具有较好的精度.

本文主要考虑 1$ < p < \infty$ 时 $p$-Laplace问题的混合高阶方法（HHO方法）.即利用最高次数大于1的分段多项式函数逼近离散未知数, 数值变量在Raviart-Thomas 有限元空间中进行局部梯度重构, 用高阶梯度$\mathbf{Ru_{h}}$代替传统梯度$\mathbf{Dv}$, 且其无需在正则三角剖分上稳定. 我们从能量的角度出发, 将离散能量极小值进行梯度重构, 在新的距离框架下, 通过引入离散应力, 得到了HHO 方法的先验和后验误差估计. 数值算例验证了该混合高阶方法的可靠性和有效性.

本文首先对一维时滞 Fisher 方程建立了保非负性的 Du Fort-Frankel 差分格式. 运用数学归纳法证明了当网格比 $r_{x}=(\varepsilon \Delta t)/h^{2}_{x}$ $\le 1/2$ 时, 它的数值解大于或者等于零. 这里 $\varepsilon$, $\Delta t$ 和 $h_{x}$ 分别是扩散系数, 时间和空间方向上的网格步长. 其次, 运用截断技巧修正由保非负性的 Du Fort Frankel 差分格式获得的数值解, 从而设计了一类既保非负性又保最大界的差分方法. 运用数学归纳法证明了 当 $r_{x}\le 1/2$ 时, 它的数值解落在区间 $[0,1]$ 内. 运用能量分析法, 我们证明这两类方法在最大范数下均有 $\mathcal{O}$ $(\Delta t+(\Delta t/h_{x})^{2}+h^{2}_{x})$ 的收敛阶. 再次, 类似地, 我们对二维问题建立了保非负性的 Du Fort-Frankel 差分格式和既保非负性又保最大界的差分法, 及其理论. 最后, 数值结果验证了理论的正确性和新算法的高效性.

本文考虑求解一类不可分的非凸非光滑优化问题, 该问题的目标函数由如下两部分组成: 关于全局变量不可分的正常下半连续双凸函数, 与两个关于独立变量的无利普希茨连续梯度的非凸函数. 本文提出广义的惯性交替结构化邻近梯度下降算法(general inertial alternating structure-adapted proximal gradient descent algorithm, 简记为 GIASAP 算法), 该算法框架不仅引入非线性邻近正则项与惯性加速技巧, 同时采用常数步长与动态步长两种策略. 本文证明了GIASAP算法O(1/k)的非渐近收敛率, 以及当目标函数具有Kurdyka-Łojasiewicz性质时, 由GIASAP算法生成的有界序列全局收敛到问题的驻点. 最后, 本文通过数值实验验证了算法的可行性与有效性.

基于SR1方法和谱共轭梯度方法, 借助投影算子, 本文建立了一种求解非线性凸约束单调方程组问题的谱梯度型无导数投影算法, 其搜索方向满足充分下降性且独立于线搜索条件. 在适当的假设条件下, 算法具有全局收敛性. 算例实验结果表明, 该算法具有稳定性和有效性. 最后, 将算法应用于稀疏信号恢复问题.

Floquet变换是研究具有周期平移不变性算子的数学工具,本文从这个视角讨论了周期体系量子特征值问题的基本数学性质,由Floquet变换得到Bloch函数, 通过Floquet逆变换定义Wannier函数.在此过程中, 证明了作用于周期单元平方可积函数的算子$H({\bf k})$的自伴性及预解集紧性、Wannier函数作为$L^2(\mathbb{R}^d)$基底的正交性与完备性. 还证明了孤立能带关于${\bf k}$的连续可微性,介绍了非孤立能带组的光滑化.最后, 从Wannier函数的Floquet变换出发, 介绍了能带的插值计算.

浸入有限元方法是一类基于非拟合网格求解界面问题的有效数值方法.目前, 对带有传统界面跳跃条件的界面问题, 浸入有限元方法已有许多研究,而对带有Robin型跳跃条件的界面问题, 该方法的研究较少.本文针对带有Robin型跳跃条件的一维界面问题提出了浸入有限元方法.本文证明并通过数值算例验证了浸入有限元空间的最优逼近性以及浸入有限元方法的最优收敛性.

在目标函数满足Lojasiewicz性质的条件下, 建立了一般流形上邻近点算法的收敛速度. 所得结果在黎曼流形上是新的, 改进了欧氏空间中的相应结果.

本文针对多重线性PageRank问题, 结合松弛技术, 提出了新的张量分裂算法, 并给出了相应的收敛性分析. 数值实验表明, 在适当选择松弛参数的情况下, 新算法具有较好的数值效果.

本文引入线搜索准则, 提出了一种带惯性项的 Bregman 邻近梯度算法求解一类非凸复合优化问题, 其中目标函数为相对光滑的损失函数与非光滑正则函数之和. 在广义凹Kurdyka-Łojasiewicz (KL) 性质的假设下, 证明了算法的全局收敛性. 最后将算法应用于图像恢复问题和非凸的$l_{1/2}$ 稀疏优化问题, 数值实验表明新算法的有效性与优越性.

径向基函数神经网络 (RBFNN) 可用于插值和分类预测, 本文提出基于奇异值分解 (SVD) 技术来改进传统的RBFNN, 从而极大地简化网络结构. 具体来说, 本文提出的方法能够实现隐藏层神经元的自动选取和优化, 删除冗余的神经元, 进而节省内存和计算成本. 同时, 我们将使用 $K$ 折交叉验证法来确定径向基函数 (RBF) 中的径向参数 $\varepsilon$, 以保证算法精度. 更重要的是, 我们基于Halko等提出的近似SVD算法 ${ }^{[2]}$, 逐行读取样本数据并实时处理, 避免将所有样本数据一次性导入内存. 所有的数值实验都表明, 相比于传统的RBFNN, 本文提出的算法在不损失计算精度的前提下, 极大地提高了计算效率, 并简化了RBFNN结构.

本文针对一类块2×2结构的线性方程组, 利用其系数矩阵的结构性质以及Schur补近似矩阵的匹配技巧, 讨论了两类Schur补矩阵的近似矩阵以及它们之间的关系, 提出了一个新的结构约束预处理子, 并且给出了该预处理子理论推导和算法优势. 通过极小化预处理矩阵的谱聚集程度, 得到了优化这两类Schur补矩阵的参数选择策略及特征值分布, 并证明了在满足一定特殊条件下, 可以进一步改进和优化基于Schur补近似的预处理技术. 同时比较了这两类Schur补近似矩阵的效果及其适用范围, 最后总结得到一类通用可靠且有效的预处理技术, 并运用在目前最有效的三类预处理子上. 我们通过几个数值实验例子证明理论分析是可信服的, 也验证了优化的预处理子的有效性.

多维标度分析(MDS)是一种用于分析和可视化数据之间相似性或距离关系的统计方法, 它通过将数据点映射到低维空间中的坐标来表示它们之间的相对距离或相似性. 多维标度问题的古典解通过对(非欧氏型)距离矩阵平方进行双中心化处理, 进而通过截断特征值分解寻求低维的拟合构造点. 本文对距离矩阵平方进行直接拟合, 重构问题为零列和Stiefel子流形和线性流形约束下的矩阵优化模型, 并结合乘积流形几何性质, 设计一类自适应问题模型的基于Zhang-Hager技术拓展的黎曼梯度下降求解算法. 数值实验说明通过直接拟合能得到误差更小的拟合欧氏距离矩阵, 且所提算法与已有投影梯度流算法及黎曼优化工具箱中的黎曼一阶和二阶算法在迭代效率上有一定的优势.

时间变步长的两步向后差分公式(BDF2)具有强稳定性,在刚性问题、多尺度动力学等问题中具有广泛的应用,但在偏微分方程最优控制问题的应用研究相对较少.本文主要研究用变步长方法求解一类反应扩散方程源项控制的最优控制问题,时间方向采用变步长BDF2格式,空间方向采用中心差分方法进行离散.利用离散正交卷积(DOC)核和离散互补卷积(DCC)核的分析工具,证明了最优控制问题的最优解在相邻时间步长比介于$\frac{1}{4.8645}$和4.8645之间时,所构建的变步长差分格式在离散的$L^2$范数下是无条件稳定的,且在时间与空间方向都具有二阶收敛精度.最后通过数值算例验证了所构造格式的可行性和有效性.

本文提出了求解绝对值方程组的单调坐标下降算法,在适当的条件下分析了算法的全局收敛性并用数值实验验证了所提算法的可行性及有效性.本文的另一个目的是指出文献[Optim.Lett.,6:1027—1033,2012]在构造目标函数的下降方向时误用其二阶泰勒展开导致的错误.

本文研究了向列相液晶和粘性流相场模型的数值逼近.首先运用凸分裂方法去处理Ginzburg-Landau函数,得到了一个向列相液晶和粘性流相场模型的等价模型.其次在数值格式上,使用向后欧拉方法进行了时间离散,使用混合有限元方法进行了空间离散,使用压力矫正方法将压力和速度解耦,得到了一个新的一阶格式.然后通过理论分析,证明了该格式是无条件稳定的.最后,对变量$\mathbf{d},\mathbf{u},\phi$的时间收敛阶,空间收敛阶,能量演化和奇异点湮灭进行了数值模拟,这些数值结果验证了理论部分的准确性和有效性.

高非线性随机微分方程的数值方法可以分为显式和隐式两类方法, 通常显式方法的计算量小但稳定性差, 隐式方法的稳定性好但计算量大. 本文提出一种隐式部分截断Euler方法, 证明了它是强收敛和均方稳定的. 此外, 研究结果表明, 对于平移系数含线性函数情况, 它与显式部分截断Euler方法计算量相近, 而稳定性更好, 即兼具显式和隐式方法的优点.

本文考虑求解一类特殊的非凸优化问题,即DC优化问题,其目标函数可以写成一个光滑凸函数,一个适当的闭凸函数和一个连续可能非光滑凹函数的和.本文提出广义惯性的邻近DC算法(GIPDCA),该算法框架在经典邻近DC算法的基础上,对惯性方向和求解子问题时的梯度中心和邻近中心采用了三个不同的外推点.该算法可以包括一些经典的算法作为特例.本文证明了当目标函数具有Kurdyka-Łojasiewicz性质且参数满足合适的条件时,由算法GIPDCA生成的有界序列全局收敛到问题的临界点.最后,通过数值实验验证了算法的可行性和有效性.

本文提出采用隐显分裂方法求解金融期权定价问题中的美式期权满足的线性互补问题.尽管隐显方法已被广泛地应用跳扩散模型,但大多应用在欧式期权,而且在美式期权的数值求解问题中鲜有稳定性分析.在本文中,我们提出在时间上采用隐显二阶向后微分公式(BDF2)、隐显Crank-Nikolson蛙跳(CNLF)和隐显Crank-Nikolson AdamBashforth (CNAB)三种离散化方法,并证明了它们的稳定性.空间上采用有限差分离散,由于初值函数的非光滑性,在执行价格附近考虑局部网格细化策略来提高精度.为了验证理论结果,分别给出了Merton型和Kou型跳扩散模型下美式期权定价的数值结果.数值实验结果表明,我们提出的方法是稳定且有效的.

随着大模型所代表的AI技术革命浪潮的兴起, 以数据为中心的AI研究(Data-centric AI)快速崛起, 使得包括线性可分性在内的数据分析技术愈发受到研究者的重视. 线性可分判定作为数据分析的基础性数学问题, 在大数据时代的应用背景下, 高效的判定方法依然是个未被充分满足的需求. 本文提出并论证了一种基于球面模型的点与集合线性可分的充分必要条件；并基于该充要条件, 进一步提出并论证了两集合线性可分的并行化快速初筛检测方法. 本文方法的优势在于: (1)内在并行化特点, 具备低时间复杂度, 执行效率要远优于现有方法. (2)并行化适用性, 任何线性可分性判定方法均可以使用本文的并行化框架来实现加速. 文中基于基准数据集和人工数据集的验证实验也充分展示了本文方法的准确性和实现的高效性.

多集分裂可行性问题 (MSSFP)是分裂可行性问题的推广, 在图像重建、相位恢复等实际问题中具有广泛的应用. 基于选择技巧, Yao等人[Optimization, 2020, 69(2): 269-281]在Hilbert 空间中提出了两种求解MSSFP的投影算法(SPA). 本文修正了SPA的步长参数, 提出了两种求解MSSFP的修正惯性投影算法(MISPA). 在解集非空的假设条件下分别得到了MISPA的弱、强收敛性. 数值实验表明: MISPA是可行的, 惯性方法可以加速SPA.

本文主要研究了求解时滞Fisher方程的一类保非负性有限差分法和一类保最大值原理的有限差分法.首先,利用一类加权差分公式和显式欧拉方法分别离散扩散项和一阶时间导数,从而对时滞Fisher方程构造了一类保非负性的差分格式.其次,运用截断技术校正由保非负性差分格式算得的数值解,从而得到了一类满足最大{值}原理的数值方法.然后,利用数值解和精确解的非负性和有界性,得到了它们在最大范数意义下的误差估计和稳定性.数值结果验证了理论结果的正确性和方法的有效性.

本文的目的是重构含时变源的弥散黏滞波方程.源可以分为未知的时间部分和已知的空间部分,未知部分借助非全域范围的额外探测值确定.我们提出了一种基于额外探测值的源重构方法,并证明了弱解的存在唯一性.最后通过算例对理论结果进行了验证.

本文针对低Tucker秩张量补全问题,基于$L_{*}-L_{F}$,提出一种新的非凸优化.采用Lagrange乘子法,设计了三种求解新优化的高精度低秩张量补全算法.在理论方面,分析了算法的全局收敛性.在数值实验方面，针对新的非凸优化和传统的核范数凸优化,利用仿真数据和实际图像修复进行了数值实验.实验结果表明,在精度基本相同的情况下,本文建议的三种算法在CPU时间上优于文献[12]中的高精度张量补全算法.

本文考虑了一类伪Jacobi矩阵的广义双倍维逆特征值问题, 该问题通过从矩阵的特征值和它的$r$阶顺序主子矩阵来重构该矩阵. 该类矩阵特征值的分布与其两个互补主子矩阵特征值的大小关系有关, 当大小关系不同时, 该类矩阵的特征值分布将会发生很大变化. 于是根据该矩阵特征方程根的分布情况来讨论其特征值分布, 并且给出了问题有解的充分必要条件. 然后, 将该问题等价转化为蒋尔雄提出的$k$问题并解决了该问题. 最后, 通过数值算例验证了所给算法的有效性和可行性.

多维标度分析(MDS)是在低维空间展示和分析多维数据结构的一种数据分析技术,其中的个体差异标度模型(INDSCAL)是一类针对多个数据矩阵同时度量多维标度的特定模型,它不仅对所要分析对象的结构进行分析,还能兼顾到判断主体之间的尺度差异.本文将正交INDSCAL模型拟合问题重构为Stiefel流形和对角矩阵线性流形约束下的矩阵优化模型,结合乘积流形几何性质,设计一类自适应问题模型的强Wolfe型混合黎曼共轭梯度求解算法,并给出算法的全局收敛性.数值实验说明所提算法对问题模型是可行有效的,且较黎曼优化工具箱中已有算法及其他黎曼一阶算法在迭代效率上有一定的优势.

针对广义坐标系上带重力源项的Euler方程,提出一种基于加权紧致非线性差分方法的高阶保平衡型有限差分格式。基本思想是,利用稳态解信息对重力源项进行重构,使之在平衡状态下与流通量中的压力梯度形成对应关系；采用具有尺度不变性的非线性插值计算半节点处的守恒量,确保平衡状态下守恒量的重构值与稳态解的重构值精确相等；采用相同的中心差分格式计算通量导数和网格导数,保证数值格式在曲网格上满足几何守恒律.理论推导和数值试验证明了格式的保平衡性、保几何守恒律性,以及在曲网格能够获得高阶精度和对稳态解附近的小扰动实现精细捕捉.