收斂速度

• 商收斂因子${\displaystyle Q_{p}}$的定義式如下:

${\displaystyle Q_{p}=\limsup _{k\rightarrow \infty }{\frac {||x_{k+1}-x^{*}||_{2}}{||x_{k}-x^{*}||_{2}^{p}}},p\in [1,+\infty ]}$

商收斂因子也稱Q—因子, 商收斂階也稱Q—收斂階. 利用商收斂因子, 對收斂速度進行描述的方式如下:

1. 如果${\displaystyle Q_{1}=0}$, 則稱${\displaystyle \{x_{k}\}}$是Q—超線性收斂於${\displaystyle x^{*}}$; 如果${\displaystyle 0<Q_{1}<1}$, 則稱${\displaystyle \{x_{k}\}}$是Q—線性收斂於${\displaystyle x^{*}}$; 如果${\displaystyle Q_{1}\geq 1}$, 則稱${\displaystyle \{x_{k}\}}$是Q—次線性收斂於${\displaystyle x^{*}}$.
2. 如果${\displaystyle Q_{2}=0}$, 則稱${\displaystyle \{x_{k}\}}$是Q—超平方收斂於${\displaystyle x^{*}}$; 如果${\displaystyle 0<Q_{2}<+\infty }$, 則稱${\displaystyle \{x_{k}\}}$是Q—平方收斂於${\displaystyle x^{*}}$; 如果${\displaystyle Q_{2}=+\infty }$, 則稱${\displaystyle \{x_{k}\}}$是Q—次平方收斂於${\displaystyle x^{*}}$.

注意: Q—線性收斂與Q—平方收斂, 以及Q—次線性收斂與Q—次平方收斂的評判標準有些微差別. 「Q—平方收斂」也稱為「Q—二次收斂」.

依照Q—平方收斂 (不是Q—線性收斂) 的定義, 可以定義Q—立方收斂 (將${\displaystyle Q_{2}}$改為${\displaystyle Q_{3}}$), Q—四次方收斂等更高Q—收斂階.

• 商收斂階${\displaystyle O_{Q}}$的定義式如下:

${\displaystyle O_{Q}=\inf\{p|p\in [1,+\infty ){\text{ 且 }}Q_{p}=+\infty \}}$

對比商收斂因子的描述, 商收斂階是指求出一個數${\displaystyle n\geq 1}$ (不一定是整數), 使得對於${\displaystyle \forall t_{1}\geq n}$, 點列${\displaystyle \{x_{k}\}}$都是Q—次${\displaystyle t_{1}}$次方收於, 且對於${\displaystyle t_{2}<n}$, ${\displaystyle \{x_{k}\}}$都是Q—${\displaystyle t_{2}}$次方收斂. 而這個數${\displaystyle n}$就是點列的商收斂階.

• 根收斂因子${\displaystyle R_{p}}$的定義式如下:

${\displaystyle R_{p}=\left\{{\begin{aligned}\limsup _{k\rightarrow \infty }||x_{k}-x^{*}||_{2}^{1/k},&{\mbox{ when }}p=1,\\\limsup _{k\rightarrow \infty }||x_{k}-x^{*}||_{2}^{1/p^{k}},&{\mbox{ when }}p>1.\end{aligned}}\right.}$

根收斂因子也稱R—因子, 根收斂階也稱R—收斂階. 利用根收斂因子, 對收斂速度進行描述的方式如下:

1. 如果${\displaystyle R_{1}=0}$, 則稱${\displaystyle \{x_{k}\}}$是R—超線性收斂於${\displaystyle x^{*}}$; 如果${\displaystyle 0<R_{1}<1}$, 則稱${\displaystyle \{x_{k}\}}$是R—線性收斂於${\displaystyle x^{*}}$; 如果${\displaystyle R_{1}=1}$, 則稱${\displaystyle \{x_{k}\}}$是R—次線性收斂於${\displaystyle x^{*}}$.
2. 如果${\displaystyle R_{2}=0}$, 則稱${\displaystyle \{x_{k}\}}$是R—超平方收斂於${\displaystyle x^{*}}$; 如果${\displaystyle 0<R_{2}<1}$, 則稱${\displaystyle \{x_{k}\}}$是R—平方收斂於${\displaystyle x^{*}}$; 如果${\displaystyle R_{2}\geq +\infty }$, 則稱${\displaystyle \{x_{k}\}}$是R—次平方收斂於${\displaystyle x^{*}}$.

注意: R—次線性收斂與R—次平方收斂的評判標準有些微差別. 「R—平方收斂」也稱為「R—二次收斂」.

依照R—平方收斂 (不是R—線性收斂) 的定義, 可以定義R—立方收斂 (將${\displaystyle R_{2}}$改為${\displaystyle R_{3}}$), R—四次方收斂等更高R—收斂階.

• 根收斂階${\displaystyle O_{R}}$的定義式如下:

${\displaystyle O_{R}=\inf\{p|p\in [1,+\infty ){\text{ 且 }}R_{p}=1\}}$

對比根收斂因子的描述, 根收斂階是指求出一個數${\displaystyle n\geq 1}$ (不一定是整數), 使得對於${\displaystyle \forall t_{1}\geq n}$, 點列${\displaystyle \{x_{k}\}}$都是R—次${\displaystyle t_{1}}$次方收於, 且對於${\displaystyle t_{2}<n}$, ${\displaystyle \{x_{k}\}}$都是R—${\displaystyle \ \ t_{2}}$次方收斂. 而這個數${\displaystyle n}$就是點列的根收斂階.

對於一個收斂點列而言, 其Q—收斂階不大於其R—收斂階, 即

${\displaystyle O_{Q}\leq O_{R}.}$

有時, 一個數列的R—收斂階可能很高, 但其Q—收斂階可能很低. 當然可以證明, 一個R—收斂階高的點列至少比某些Q—收斂低的點列收斂得更快.

有如下數列:

${\displaystyle a_{1}=1,\ a_{2}={\frac {1}{2}},\ a_{3}={\frac {1}{4}},\ a_{4}={\frac {1}{8}},\ \cdots ,\ a_{k}={\frac {1}{2^{k-1}}},\ \cdots ,\ a_{\infty }=0.}$

容易計算: ${\displaystyle Q_{1}={\frac {1}{2}}}$, 故該數列是Q線性收斂的; 滿足${\displaystyle Q_{p}=+\infty }$的${\displaystyle p}$的集合為${\displaystyle \{x|x>1\}}$, 此集合的下確界為${\displaystyle 1}$, 故該數列的收斂階為${\displaystyle 1}$. 而同理, 可計算得該數列是R線性收性, R收斂階為${\displaystyle 1}$.

有如下向量列:

${\displaystyle v^{(1)}=(a,b)^{\mathbf {T} },\ v^{(2)}=(a^{2},b^{2})^{\mathbf {T} },\ \cdots ,\ v^{(k)}=(a^{k},b^{k})^{\mathbf {T} },\ \cdots ,\ v^{(\infty )}=(0,0)^{\mathbf {T} }.(0<a^{2}+b^{2}<1)}$.

據上作出計算如下,

${\displaystyle Q_{1}=\limsup _{k\rightarrow \infty }{\frac {\|(a^{k+1},b^{k+1})^{\mathbf {T} }\|_{2}}{\|(a^{k},b^{k})^{\mathbf {T} }\|_{2}}}=\limsup _{k\rightarrow \infty }{\frac {\sqrt {(a^{k+1})^{2}+(b^{k+1})^{2}}}{\sqrt {(a^{k})^{2}+(b_{k})^{2}}}}<\limsup _{k\rightarrow \infty }{\frac {\sqrt {(a^{2k}+b^{2k})(a^{2}+b^{2})}}{\sqrt {a^{2k}+b^{2k}}}}={\sqrt {a^{2}+b^{2}}}<1,}$

故數列為Q線性收斂; Q收斂階為${\displaystyle 1}$;

${\displaystyle R_{1}=\limsup _{k\rightarrow \infty }(a^{2k}+b^{2k})^{1/2k}=\max\{a,b\}<1,}$

故數列為R線性收斂; R收斂階為${\displaystyle 1}$.

注: 此处的牛頓法指應用於最優化的牛頓法.

可以證明, 如果牛頓法的目標函數${\displaystyle f(x)}$的二階導數${\displaystyle f^{\prime \prime }(x)}$在其收斂點${\displaystyle x_{\infty }}$處Lipschitz連續, 則滿足不等式

${\displaystyle 0<{\frac {|x_{k+1}-x_{\infty }|}{|x_{k}-x_{\infty }|}}<+\infty .}$

此說明牛頓法的疊代點列是Q平方收斂; 另言之, 牛頓法的收斂速度是二次的. [2]