人工智慧的進步主要由「運算規模擴展」（Compute Scaling）驅動，且此趨勢將持續至 2030 年
這份報告開宗明義地指出，過去十幾年人工智慧（AI）能力之所以能有驚人的飛躍，最根本、最核心的驅動因素，就是我們投入了越來越龐大的運算資源來訓練和運行 AI 模型。報告認為，相較於演算法的創新或數據的累積，運算力的持續指數級增長，才是理解 AI 發展軌跡的關鍵鑰匙。基於過去的穩定趨勢，報告大膽預測，這種以運算力為核心的規模擴展，在未來幾年內不僅不會停止，反而會繼續成為推動 AI 能力邊界的主導力量，至少持續到 2030 年。
為了更深入地理解這個論點，我們可以將其拆解成幾個環環相扣的層面來解釋。
第一層：什麼是「運算規模擴展」？
想像一下，訓練一個大型 AI 模型，就像是教育一個超級大腦。這個過程需要三個要素：教材（數據）、學習方法（演算法），以及最重要的——學習所需的時間和精力（運算力，或稱 Compute）。「運算規模擴展」指的並不僅僅是讓電腦晶片跑得更快，而是指投入於 AI 訓練的總計算量呈現爆炸性增長。這份報告指出，自 2010 年深度學習時代開啟以來，用於訓練頂尖 AI 模型的運算量大約每年增長 4 到 5 倍。
這個增長體現在幾個方面：
- 更大的硬體集群：從使用幾塊 GPU（圖形處理器）到今天動輒使用數萬、甚至數十萬塊 GPU 組成的超級電腦集群。這就像是從一個小小的家教班，擴展到一個擁有無數頂尖教授的巨型大學。
- 更長的訓練時間：過去的模型可能訓練幾天或幾週，而現在最前沿的模型，例如 GPT-4 的後繼者，可能需要在龐大的硬體集群上連續運行數個月。這相當於讓那個超級大腦進行更長時間的全神貫注學習。
- 更高效的硬體：每一代新的 AI 晶片（如 NVIDIA 的 GPU）在性能和效率上都有顯著提升，讓我們在同樣的時間內可以完成更多的計算。
報告預測，如果這個趨勢不變，到了 2030 年，最頂尖的 AI 模型所使用的訓練運算量，將會是當今（2024 年）最大模型的 1,000 倍。這個數字是驚人的，意味著我們將看到一個從 GPT-2 到 GPT-4 量級的再次飛躍。
第二層：為什麼「運算力」比演算法和數據更關鍵？
這是一個核心問題。許多人可能會認為，更聰明的演算法或更優質的數據才是 AI 進步的關鍵。報告對此提出了深刻的見解，這也呼應了 AI 研究領域一個著名的觀點——「苦澀的教訓」（The Bitter Lesson）。
- 相對於演算法：「苦澀的教訓」指出，縱觀 AI 發展七十年的歷史，那些試圖將人類知識或複雜邏輯編碼進演算法的精巧設計，長期來看，最終都敗給了那些簡單、通用，但能夠有效利用大規模運算力的方法。換句話說，最成功的演算法創新，往往不是讓 AI 變得「更聰明」，而是讓 AI 能夠「更有效地學習」，也就是更好地吸收和利用龐大的運算資源。例如，Transformer 架構的偉大之處，就在於它極大地釋放了平行計算的潛力，使得在超大規模數據集上進行超大規模訓練成為可能。因此，演算法的進步往往是作為「運算規模擴展」的催化劑或僕人而存在的，而不是它的替代品。
- 相對於數據：數據無疑是 AI 的燃料，沒有數據，再強的運算力也無用武之地。然而，報告認為，在當前階段，「運算力」是比「數據」更為稀缺、更具限制性的瓶頸。報告分析，雖然高質量的公開文本數據可能在 2027 年前被耗盡，但 AI 開發者並不會因此停下腳步。有兩個主要出路：一是轉向多模態數據，如圖片、影片、音訊等，這些數據的總量遠比文本龐大；二是利用「合成數據」（Synthetic Data），也就是讓 AI 自己生成訓練材料。特別是在推理能力的訓練上，AI 可以透過自我對弈、解決問題、驗證答案等方式，創造出海量的、高質量的訓練數據。這個過程本身就需要巨大的運算力（特別是推理運算），這反而強化了運算力作為核心資源的地位。數據問題可以透過運算力來緩解，但運算力的瓶頸卻無法輕易繞過。
第三層：訓練運算（Training）與推理運算（Inference）的關係
報告也釐清了兩種運算力的角色。
- 訓練運算：這是一次性的、巨大的前期投資。就像建造一座發電廠，投入極高的成本和時間，目的是賦予模型強大的基礎能力。模型的能力上限，很大程度上是由訓練運算量決定的。
- 推理運算：這是模型被部署後，用來回答問題、生成內容、解決實際任務時所消耗的運算力。就像發電廠建成後，持續為千家萬戶供電。
近年來，隨著 AI 推理能力的提升（例如透過思維鏈等技術），有人認為 AI 的發展重心會從「訓練」轉向「推理」。但報告反駁了這種看法，認為兩者是相輔相成的，而非此消彼長。更高質量的訓練（需要更多訓練運算）可以讓模型在推理時更高效、更強大，用更少的推理步驟解決同樣的問題。反之，強大的推理能力也可以用於生成合成數據，進而提升訓練效果。因此，報告預測頂尖的 AI 實驗室將會同步擴展這兩種運算規模，它們的資源分配會保持在一個相對平衡的數量級上，共同推動 AI 的進步。
第四層：這個趨勢真的能持續嗎？——所謂的「撞牆」論
報告正面回應了市場上關於 AI 發展「撞到牆」（Hitting a wall）的擔憂。報告將這種擔憂分為幾個層次：
- 最激進的「撞牆」：認為 AI 的性能與運算投入之間的關係（即「規模法則」，Scaling Laws）將會突然失效。報告指出，目前幾乎沒有公開證據支持這一點。
- 較溫和的「撞牆」：性能提升不如預期，沒有達到研究人員的直覺期望。報告認為，從 GPT-4.5 等新模型的公開評測數據來看，性能提升基本仍在趨勢線上，符合預期。
- 最現實的「撞牆」：性能仍在提升，但擴展規模本身變得越來越困難。報告承認這一點是令人信服的挑戰。建造和運營能夠支持下一代模型訓練的數據中心，需要應對投資、數據來源、電力供應、晶片產能和網絡延遲等多重制約。然而，報告在後續章節中逐一分析了這些瓶頸，並得出結論：儘管挑戰巨大，但在 2030 年之前，這些瓶頸都不足以構成一個明確的、不可逾越的障礙，來阻止當前的趨勢繼續下去。例如，巨額的投資可以被 AI 創造的巨大經濟價值所證明是合理的；電力需求可以透過分佈式訓練和對新能源的投資來滿足。
總結
此論點是整份報告的基石。它確立了一種預測 AI 未來的方法論：既然運算規模的擴展是過去和現在 AI 進步的核心驅動引擎，那麼預測未來的最好方式，就是假設這個引擎將繼續以接近歷史的速度運轉。這就引出了一系列後續問題：驅動這個引擎需要多少燃料（投資、數據、能源）？引擎性能提升後，這輛「AI 列車」能到達多遠的地方（AI 的具體能力）？報告的其他所有論點，都是在這個核心論點的基礎上展開的推演和論證。理解了這一點，我們就掌握了解讀這份報告對 2030 年 AI 世界描繪的藍圖的鑰匙。