OI 數論中的上界估計與時間複雜度證明

預備

0.1 漸進符號

其實不少高等數學 / 數學分析教材在講解無窮小的比較時已經相當嚴謹地介紹過大 O、小 O 記號，然而各種歷史習慣記法的符號濫用（abuse of notation）^[1] 直到現在都讓筆者頭疼. These notations seem to be innocent, but can be catastrophic without careful manipulation. For example,

• $$n=O(n^2)\wedge n^2=O(n^2)⟹n=n^2$$

  Knuth 在《具體數學》裡舉出的例子^[2]. “$=$” 隱含的對稱性使其在 $g(x)=O(f(x))$ 中格格不入. 事實上，將 $O(f(x))$ 看作“階不高於 $f(x)$ 的所有函式的集合”是比“某個階不高於 $f(x)$ 的函式”更嚴謹的理解. 因此，本文將使用 $f(x)\in O(g(x))$ （有時也記為 $O(f(x))\subset O(g(x))$）的集合論符號代替傳統的 $f(x)=O(g(x))$ 記法.

• $$n^2\sin n\in O(n^2)⟹\sum _{i=1}^n{i}^2\sin i\in \sum _{i=1}^{n}O(i^2)\subset O\left(\sum _{i=1}^n{i}^2\right)\subset O(n^3)$$ 或更一般的， $$g(x)\in O(f(x))⟹\sum _{P(n,i)}g(i)\in \sum _{P(n,i)}O(f(i))\subset O(\sum _{P(n,i)}f(i))$$

  沒看出有啥問題，對吧？筆者在寫作此文時犯了同樣的錯誤. 請注意，大 O 記號的作用物件是函式，$f(i)$ 是什麼？它只是個函式值，是確定的數——這是因為 $i$ 也是求和列舉中確定的數，而不是 $n$ 這種真正代表變元的記號. 所以 $O(f(i))$ 是什麼？它什麼也不是.

  這種錯誤的出現是在所難免的，我們太習慣用 $x$、$x^3+5x^2+x$ 這種變元都不明確的記號來表示函式了^[1] . 寫成 $f(x)$ 也不嚴謹，因為只有 $f$ 才應代表函式本身，$f(x)$ 只能是函式值. 這樣我們就可以放心地寫下 $O(f)$，不用擔心把變元與確定值弄混了.

  然而大家還是喜歡寫 $O(n^2)$ 和 $O(e^{n^2})$，而不是奇怪的 $O({\mathrm{id}}^2)$ 和 $O(\exp \circ {\mathrm{id}}^2)$. 所以，我們大概只能沿用這種不太嚴謹的記號，並時刻提醒自己加倍小心了. （形如 $x\mapsto e^{x^2}$ 的 $\lambda$ 風格“匿名函式”記號可能更好？）

  但上述命題從結論上是正確的. 正確的推導過程應為 $$\sum _{P(n,i)}g(i)\le \sum _{P(n,i)}Cf(i)\le C\sum _{P(n,i)}f(i)\in O(\sum _{P(n,i)}f(i))$$

  第一步是直接由大 O 記號的定義得到的結果.

Wikipedia^[3] 中有一張詳盡的表格介紹了各種漸進符號的定義，OI Wiki^[4] 上也有極好的講解，尚不熟練的讀者可以參考. 有興趣仔細研究的讀者可以參考《具體數學》第九章^[2] 、Wikipedia 及其 reference（個人推薦 Knuth 關於 $O$、$\mathrm{\Omega }$、$\mathrm{\Theta }$ 的短文^[5] ）. 本文除用 “$\in$” 和“$\subset$”替代 “$=$” 外，完全使用 Knuth 提議的記號體系.

0.2 調和數 $H(n)$ / 調和級數

調和級數的部分和 $H(n)$ 定義為 $$H(n)=\sum _{i=1}^n\frac{1}{i}$$ 透過一些與 $e$ 有關的數列放縮可以證明 $\underset{n\to \mathrm{\infty }}{lim}(H(n)-\log n)=c$，其中 $c\approx 0.577$ 是 Euler 常數. 因此 $nH(n)\sim n\log n\in \mathrm{\Theta }(\log n)$.

0.3 自然數等冪和 $P_p(n)$ / $p$ - 級數

$p$ - 級數可視為調和級數的推廣. 其部分和定義為 $$P_p(n)=\sum _{i=1}^n{i}^{-p}$$

$p$ - 級數具有如下性質：

• 當 $p>1$ 時，$p$ - 級數收斂；

• 當 $p=1$ 時，$p$ - 級數是調和級數；

• 當 $-\mathrm{\infty }<p<1$ 時，我們指出 $$P_p(n)\sim \frac{1}{1-p}{n}^{1-p}\in \mathrm{\Theta }(n^{1-p})$$

$-\mathrm{\infty }<p<1$ 時 $p$ - 級數的漸進估計可以從連續冪函式積分的角度理解. 證明這漸進性，離散情況下，可對 $n^p$ 差分後字首和 + 二項式定理得到高次項係數，或可用離散微積分理論得到精確表示（參見《具體數學》^[6] ）；連續情況下，Lagrange 中值定理應為較簡單的估計方法. 這裡從略. 總之，我們得到： $$P_p(n)\in \{\begin{array}{ll}\mathrm{\Theta }(n^{1-p})& p<1\\ \mathrm{\Theta }(n\log n)& p=1\\ \mathrm{\Theta }(1)& p>1\end{array}$$

1 約數函式 ${\sigma }_z(n)$

約數函式（Divisor Function，也可稱為除數函式、因數函式）是與 $n$ 的因子有關的一類函式，定義如下：

Definition 1 (約數函式) $${\sigma }_z(n)=\sum _{d\mid n}{d}^z$$

當 $z=0$ 時，${\sigma }_0(n)$ 被稱為約數個數函式（number-of-divisors function），常被記為 $d(n)$ 或 $\tau (n)$. 當 $z=1$ 時，${\sigma }_1(n)$ 被稱為約數和函式（sum-of-divisors function），常直接記為 $\sigma (n)$.

Example 1 估計 ${\sigma }_0(n)$ 的漸進上界.

也就是估計 $n$ 的因子的數量. 一個廣為人知的上界是 $2\sqrt{n}$，因為 $n$ 的所有小於 $\sqrt{n}$ 的因子 $d$ 均與另一因子 $\frac{n}{d}$ 一一對應.

事實上進一步可以證明 ${\sigma }_0(n)\in o(n^{ϵ})\mathrm{\forall }ϵ>0$^[7] ，雖然這在 OI 中並不實用.

Example 2 估計 $\widehat{{\sigma }_0}(n)=\sum _{i=1}^n{\sigma }_0(i)$ 的漸進上界.

即估計 $1$ 到 $n$ 中所有數因子個數的和. 這是一個形式上鮮為人知但其應用廣為人知的例子. 變換求和順序，容易得到

$$\widehat{{\sigma }_0}(n)=\sum _{i=1}^n{\sigma }_0(i)=\sum _{i=1}^n\sum _{d\mid i}1=\sum _{d=1}^n\lfloor \frac{n}{d}\rfloor \le \sum _{d=1}^n\frac{n}{d}=nH(n)\in O(n\log n)$$

顯然，這比 $O(n\sqrt{n})$ 的平凡估計好上不少. 本例的思路不僅是埃氏篩（Sieve of Eratosthenes）的理論基礎，也在杜教篩、快速 Mobius 變換、$gcd$ 卷積^[8] 等處出現.

進一步利用此技巧和 $p$ - 級數的估計，我們甚至能在仔細研究 ${\sigma }_z(n)$ 前就得到其字首和的漸進估計：

Example 3 估計 $\widehat{{\sigma }_z}(n)=\sum _{i=1}^n{\sigma }_z(i)$ 的漸進上界.

$$\begin{array}{rl}\widehat{{\sigma }_z}(n)& =\sum _{i=1}^n{\sigma }_z(i)=\sum _{i=1}^n\sum _{d\mid i}{d}^z=\sum _{d=1}^n{d}^z\lfloor \frac{n}{d}\rfloor \\ & \le n\sum _{d=1}^n{d}^{z-1}=n{P}_{1-z}(n)\in \{\begin{array}{ll}O(n^{z+1})& z>0\\ O(n\log n)& z=0\\ O(n)& z<0\end{array}\end{array}$$

遺憾的是，對此字首和做差分並不能得到 ${\sigma }_z(n)$ 的優秀估計.

現在引入一個重要放縮技巧，其在後續估計中屢試不爽.

Proposition 1 $$\sum _{d\mid n}f(d)\le \sum _{i=1}^{n}f(\lfloor \frac{n}{i}\rfloor )$$

顯然，右式比左式多算了 $i\nmid n$ 的項，因此命題是正確的. 但我們還可以做得更好：

Proposition 2 $$\sum _{d\mid n}f(d)\le \sum _{i=1}^{\sqrt{n}}f(i)+f(\lfloor \frac{n}{i}\rfloor )$$

$\sqrt{n}$ 分治. 我們其實已經在 Example 1 估計 ${\sigma }_0(n)$ 時用過此技巧了.

Example 4 估計 ${\sigma }_1(n)$ 的漸進上界.

用 Proposition 1： $${\sigma }_1(n)=\sum _{d\mid n}d\le \sum _{i=1}^n\lfloor \frac{n}{i}\rfloor \le nH(n)\in O(n\log n)$$

可以證明用 Proposition 2 不會得到更優的結果.

我們發現了一個有趣的事實：${\sigma }_1(n)$ 和 $\widehat{{\sigma }_0}(n)$ 的漸進上界均為 $O(n\log n)$.

Example 5 估計 ${\sigma }_z(n)$ 的漸進上界.

用 Proposition 2 和 $p$ - 級數的性質：

$$\begin{array}{rl}{\sigma }_z(n)& =\sum _{d\mid n}{d}^z\le \sum _{i=1}^{\sqrt{n}}{i}^z+{\lfloor \frac{n}{i}\rfloor }^z\\ & \le \{\begin{array}{lll}{\displaystyle 2\sum _{i=1}^{\sqrt{n}}{\lfloor \frac{n}{i}\rfloor }^z\le 2n^z\sum _{i=1}^{\sqrt{n}}{i}^{-z}}& =2n^z{P}_z(\sqrt{n})& z\ge 0\\ {\displaystyle 2\sum _{i=1}^{\sqrt{n}}{i}^z}& =2P_{-z}(\sqrt{n})& z<0\end{array}\\ \in & \{\begin{array}{ll}2n^{z}O(1)& z>1\\ 2nO(\log \sqrt{n})& z=1\\ 2n^{z}O(n^{\frac{1-z}{2}})& 0\le z<1\\ 2O(n^{\frac{1+z}{2}})& -1<z<0\\ 2O(\log \sqrt{n})& z=-1\\ 2O(1)& z<-1\end{array}=\{\begin{array}{ll}O(n^z)& z>1\\ O(n\log n)& z=1\\ O(n^{\frac{1+z}{2}})& -1<z<1\\ O(\log n)& z=-1\\ O(1)& z<-1\end{array}\end{array}$$

我們得到了一個相當優秀的漸進上界. 值得關注的是：

• 當 $z=0$ 時，${\sigma }_0(n)\in O(n^{\frac{1}{2}})$. 這與 Example 1 的結果一致.
• 當 $z=\frac{1}{2}$ 時，${\sigma }_{\frac{1}{2}}(n)\in O(n^{\frac{3}{4}})$，即 $\sum _{d\mid n}\sqrt{d}\in O(n^{\frac{3}{4}})$. 洛谷 P4980 Polya 定理模板題^[9] 的一種比較 trivial 的解法^[10] 的時間複雜度證明就來源於此. 我們之後還會在整除分塊與杜教篩中見到它.

另外，如果只使用 Proposition 1 ，$-1<z<1$ 部分的漸進上界將只能估計至 $O(n)$. 因此 Proposition 2 是更為優越的.

約數函式更復雜的上限與漸進估計可參考 Wikipedia^[7].

2 整除分塊

也被稱為數論分塊. 求 $$\sum _{i=1}^{n}f(i)g(\lfloor \frac{n}{i}\rfloor )$$ 我們按 $d=\lfloor \frac{n}{i}\rfloor$ 分塊求和： $$\sum _{d}g(d)\sum _{\lfloor \frac{n}{i}\rfloor =d}f(i)$$ 可以證明，對一指定的 $d$，滿足 $d=\lfloor \frac{n}{i}\rfloor$ 的 $i$ 取遍一連續區間，故若 $f$ 的字首和能 $O(1)$ 求出，塊數量 $\mathrm{\#}{\left\{\lfloor \frac{n}{i}\rfloor \right\}}_{i=1}^n$ 即該演算法的時間複雜度. 注意到當 $i\le \sqrt{n}$ 時，$\lfloor \frac{n}{i}\rfloor$ 最多隻有 $\lfloor \sqrt{n}\rfloor$ 種取值，而 $i\ge \sqrt{n}$ 時，$1\le \lfloor \frac{n}{i}\rfloor \le \sqrt{n}$ 表明其也最多隻有 $\lfloor \sqrt{n}\rfloor$ 種取值. 因此整除分塊的時間複雜度 $$T_1(n)=\mathrm{\#}{\left\{\lfloor \frac{n}{i}\rfloor \right\}}_{i=1}^n\le 2\sqrt{n}\in O(\sqrt{n})$$

方便起見，後文記 $D(n)={\left\{\lfloor \frac{n}{i}\rfloor \right\}}_{i=1}^n$.

2.1 整除分塊巢狀

將 Proposition 2 加強，我們有如下通用放縮：

Proposition 3 $$\sum _{d\mid n}f(d)\le \sum _{d\in D(n)}f(d)\le \sum _{i=1}^{\sqrt{n}}f(i)+f(\lfloor \frac{n}{i}\rfloor )$$

LHS 成立的關鍵在於 $\{d:d\mid n\}\subset D(n)$；而 RHS 的本質就是上述對整除分塊塊數量上界的估計.

注意到 Proposition 2 是 Example 5 證明的核心，而 Proposition 3 是 Proposition 2 的加強版，故仿造 Example 5 的證明，我們有

Example 6 令 $$S_z(n)=\sum _{d\in D(n)}{d}^z$$ 則前述 Example 5 中 ${\sigma }_z(n)$ 的上界與漸進上界也同樣適用於 $S_z(n)$.

現在可以對巢狀整除分塊 $$\sum _{i=1}^{n}f(i)\sum _{j=1}^{\lfloor \frac{n}{i}\rfloor }g(j)h(\lfloor \frac{n}{ij}\rfloor )$$ 的時間複雜度 $T_2$ 做出估計了. 對 Example 6 取 $z=\frac{1}{2}$，立刻有 $$T_2(n)=\sum _{d\in D(n)}{T}_1(d)\le 2\sum _{d\in D(n)}\sqrt{d}=2S_{\frac{1}{2}}(n)\le 4\sqrt{n}{P}_{\frac{1}{2}}(\sqrt{n})\in O(n^{\frac{3}{4}})$$

我們還可以進一步歸納. 假定 $\mathrm{\forall }m\ge 0,\mathrm{\exists }{z}_m:0\le z_m<1,T_m(n)=O(n^{z_m})$，我們有

$$T_{m+1}(n)=\sum _{d\in D(n)}{T}_m(d)\le C\sum _{d\in D(n)}{n}^{z_m}=C{S}_{z_m}(n)\in O(n^{\frac{1+z_m}{2}})$$

因此 $z_{m+1}=\frac{1+z_m}{2}$. 邊界條件 $z_0=0$，數列遞推求得 $z_m=1-2^{-m}$，檢驗滿足條件. 因此 $m$ 重巢狀整除分塊的時間複雜度 $$T_m(n)\in O(n^{1-2^{-m}})$$

3 杜教篩

杜教篩可以以低於線性的時間複雜度求解某些數論函式的字首和. 其思路並不複雜. 設 $f$ 為一數論函式，我們希望快速求得其字首和 $\hat{f}(n)=\sum _{i=1}^{n}f(i)$. 考慮數論函式 $g$ 和 $h=g\ast f$， $$h(n)=\sum _{d\mid n}g(d)f(\frac{n}{d})$$ 兩端做字首和得 $$\begin{array}{rl}\hat{h}(n)& =\sum _{i=1}^{n}h(i)\\ & =\sum _{i=1}^n\sum _{d\mid i}g(d)f(\frac{i}{d})\\ & =\sum _{d=1}^{n}g(d)\sum _{i=1}^{\lfloor \frac{n}{d}\rfloor }f(i)\\ & =\sum _{d=1}^{n}g(d)\hat{f}(\lfloor \frac{n}{d}\rfloor )\\ & =g(1)\hat{f}(n)+\sum _{d=2}^{n}g(d)\hat{f}(\lfloor \frac{n}{d}\rfloor )\end{array}$$ 因此 $$\hat{f}(n)=\frac{1}{g(1)}(\hat{h}(n)-\sum _{d=2}^{n}g(d)\hat{f}(\lfloor \frac{n}{d}\rfloor ))$$

故若 $g$、$h$ 的字首和可 $O(1)$ 算得，根據上式整除分塊即可遞迴地計算出 $f$ 的字首和.

下面分析演算法的複雜度. 注意到 $$\lfloor \frac{\lfloor \frac{n}{i}\rfloor }{j}\rfloor =\lfloor \frac{n}{ij}\rfloor$$ 故單輪遞迴涉及到的自變數均可表示為 $d=\lfloor \frac{n}{i}\rfloor$ 的形式. 一個 $\hat{f}(d)$ 做整除分塊耗時 $T_1(d)$，若採用記憶化遞迴，由上節分析，演算法總時間複雜度為 $$\sum _{d\in D(n)}{T}_1(d)=T_2(n)\in O(n^{\frac{3}{4}})$$

但我們還可以做得更好——考慮先用 $O(K)$ 的時間複雜度線性篩出前 $K$ 個 $f(n)$ 並求字首和，則遞迴求解時，$d\le K$ 的 $\hat{f}(d)$ 就無需再向下遞迴了. 為分析此類時間複雜度，對 Proposition 3 做最後一點擴充套件：

Proposition 4 $$\sum _{\begin{array}{c}d\mid n\\ d>K\end{array}}f(d)\le \sum _{\begin{array}{c}d\in D(n)\\ d>K\end{array}}f(d)\le \sum _{K<i\le \sqrt{n}}f(i)+\sum _{1\le i\le min\{\lfloor \frac{n}{K}\rfloor ,\sqrt{n}\}}f(\lfloor \frac{n}{i}\rfloor )$$

特別的，當 $K>\sqrt{n}$ 時，有

$$\sum _{\begin{array}{c}d\mid n\\ d>K\end{array}}f(d)\le \sum _{\begin{array}{c}d\in D(n)\\ d>K\end{array}}f(d)\le \sum _{1\le i\le \lfloor \frac{n}{K}\rfloor }f(\lfloor \frac{n}{i}\rfloor )$$

故用 Proposition 4 ，當 $K>\sqrt{n}$ 時，演算法在遞迴部分的時間複雜度降低為

$$\begin{array}{rl}\sum _{\begin{array}{c}d\in D(n)\\ d>K\end{array}}{T}_1(d)& =\sum _{1\le i\le \lfloor \frac{n}{K}\rfloor }{T}_1(\lfloor \frac{n}{i}\rfloor )\\ & \le \sum _{1\le i\le \lfloor \frac{n}{K}\rfloor }C\sqrt{\frac{n}{i}}\\ & =C\sqrt{n}\sum _{1\le i\le \lfloor \frac{n}{K}\rfloor }{i}^{-\frac{1}{2}}\\ & =C\sqrt{n}{P}_{\frac{1}{2}}\left(\lfloor \frac{n}{K}\rfloor \right)\\ & \in \sqrt{n}O\left({\left(\frac{n}{K}\right)}^{\frac{1}{2}}\right)\\ & \subset O(n{K}^{-\frac{1}{2}})\end{array}$$

總時間複雜度為 $$O(K)+O(n{K}^{-\frac{1}{2}})$$

為最小化時間複雜度，取 $K=n^{\frac{2}{3}}$，得到最優時間複雜度 $O(n^{\frac{2}{3}})$.

這部分的時間複雜度證明主要參考了文章^[11].

References

1. Abuse of notation - wikipedia. (n.d.). https://en.wikipedia.org/wiki/Abuse_of_notation#Function_notation.

2. Graham, R. L., Knuth, D. E., & Patashnik, O. (1994). Concrete mathematics: A foundation for computer science (second, pp. 443–449). Addison-Wesley.

3. Big o notation - wikipedia # family of bachmann–landau notations. (n.d.). https://en.wikipedia.org/wiki/Big_O_notation#Family_of_Bachmann%E2%80%93Landau_notations.

4. 複雜度 - OI wiki. (n.d.). https://oi-wiki.org/basic/complexity/#%E6%B8%90%E8%BF%9B%E7%AC%A6%E5%8F%B7%E7%9A%84%E5%AE%9A%E4%B9%89.

5. Knuth, D. E. (1976). Big omicron and big omega and big theta. SIGACT News, 8(2), 18–24. https://doi.org/10.1145/1008328.1008329

6. Graham, R. L., Knuth, D. E., & Patashnik, O. (1994). Concrete mathematics: A foundation for computer science (second, pp. 47–56). Addison-Wesley.

7. Divisor function - wikipedia # growth_rate. (n.d.). https://en.wikipedia.org/wiki/Divisor_function#Growth_rate.

8. sun123zxy. (2020). sun123zxy’s blog - 原創OI題目 GCD卷積 problem and solution. https://blog.sun123zxy.top/posts/20201206-gcdconv/.

9. P4980 【模板】pólya 定理 - 洛谷 | 電腦科學教育新生態. (n.d.). https://www.luogu.com.cn/problem/P4980.

10. sun123zxy. (2020). sun123zxy’s blog - 等價類計數：Burnside引理 & Polya定理. http://blog.sun123zxy.top/posts/20200321-burnside/#s-4.3.

11. Ander. (2022). 杜教篩. https://zhuanlan.zhihu.com/p/521699400.