「人工智慧經歷七十年的研究歷程，留給我們最重要的啟示，就是圖靈獎得主 Rich Sutton 所寫下的『苦澀的教訓（The Bitter Lesson）』：長期來看，依託海量算力的一般化方法，永遠會無情超越人類精心編碼的專家系統。」在 SEMICON Taiwan 2026 開幕主題演講中，Google 人工智慧與基礎設施資深副總裁暨首席技術官 Amin Vahdat 開宗明義以這條學術鐵律作為技術底色的鋪陳。
Vahdat 提出一套由下而上的「六層智慧堆疊（Architecture of Intelligence）」概念：底層以最受限的「能源」為起點，往上依序承接「資料中心建物設施」、「晶片與機架硬體」、「分散式軟體系統」、「模型架構」，最終在最頂層的「各類應用服務」完成能量到智慧的質變轉換。而在整套體系中最核心的硬體支柱，正是 Google 歷經十餘年淬鍊、如今全面扛起超大規模機器學習訓練與推論重責的 TPU 架構。
Vahdat 提出一套由下而上的「六層智慧堆疊」
演講中，Vahdat 毫無保留地將 TPU 領先業界的關鍵拆解為六大系統架構洞見。首先在晶片運算核心本體，TPU 深度採用高達 256x256 維度的二維脈動陣列（Systolic Array）架構，使晶片單次巡迴即能爆發出約 1,600 萬次浮點運算；這種架構讓資料在算子乘法器之間規律流動，將最耗電的資料搬移與每位元耗能（pJ/bit）降至極低水準。
第二是摒棄傳統快取層級、全由編譯器主控的記憶體管理（Compiler-controlled Memory），直接依據演算法在底層鎖定資料時空分佈；第三則是揚棄僵化的 IEEE 標準 FP32 格式，從研究端量身打造下探至 4 位元（FP4）數值表示法，以最精準的位元數包裝最大量的神經網路資訊。
再者，系統級液冷架構深度整合至機架最核心，使高功耗運算單元得以突破氣冷熱阻瓶頸維持極限輸出；最後，再加上領先業界的自研光路交換技術以及與生態系夥伴的極致協同設計，共同構築出這套在相同功耗下較通用 CPU 創造百倍效率的晶片體系。
Google 展示了令人驚嘆的「光學電路交換器（OCS）」黑科技
除了單晶片算力之外，巨量叢集內部的互連架構更是決定大模型訓練成敗的關鍵主戰場。針對最新一代推論晶片 TPU 8i，Google 獨創了名為「BoardFly」的全新網路拓撲，專門針對神經網路最頻繁的 AllReduce 與 AllGather 集合通訊進行流向最佳化，將晶片彼此交換資料的時間足足縮短了一半。
而在橫跨數千個機架的大規模訓練場景，Google 則展示了令人驚嘆的「光學電路交換器（OCS）」硬體黑科技。在標準 144 個機架構成的巨型訓練 Pod 中，所有光纖皆匯流至一片僅有手指大小的 OCS 晶片上，其內部由馬達驅動的 256 顆 3D 微反射鏡即時偏轉光束。
這套光學系統全程沒有任何光電轉換（No OEO）與資料封包重整的額外延遲，整機運作功耗僅以瓦特計算；一旦訓練過程中發生任何節點硬體故障，管理系統可在數秒鐘內在光學層面重構實體網路拓撲，完全繞過故障設備，將過往動輒數小時的停機修復時間抹平至零感體驗。
人類正正式邁入「代理人運算」新紀元
在光電深度整合的加持下，Google 的運算版圖正以驚人尺度對外擴張。在硬體層，訓練配置的 TPU 8T 叢集已能透過 3D 環形拓撲（3D Torus），在 9,600 顆晶片間無縫共享高達 2PB 的超高速高頻寬記憶體（HBM），並以近乎奈秒級的延遲高度同步運算；在跨機房維度，最新一代代號為「Virgo」的資料中心網路則提供高達每秒 47 PB（Petabits/sec）的無阻塞交換頻寬，串起近 10 萬顆 TPU 運作；再結合 Google 跨洋海底光纜骨幹網，成功實現了全球超過 100 萬顆 TPU 協同處理單一巨型 AI 訓練任務的空前壯舉。
於演講尾聲 ，Vahdat斷言，人類正正式邁入「代理人運算（Agentic Computing）」新紀元。過往由人類透過鍵盤、以數秒為單位輸入提示詞與模型互動的交互模式正在迅速退場，取而代之的是由程式在毫秒微秒間自主調用模型的「電腦對電腦」高速循環，這將使得未來對實質算力的渴求迎來數個數量級的幾何倍數暴衝。
在這樣的大趨勢下，晶片尺寸的幾何擴張、晶粒對晶粒（Die-to-Die）互連介面、超高頻寬記憶體近運算（Near-Memory Computing）、高階 SerDes 通訊，以及光學線路一路延伸至晶片封裝內部（Co-Packaged Optics, CPO / 矽光子技術），都將在未來幾年全面迎來技術引爆點。
「我們正處於新一波硬體文藝復興的最初章節，」Vahdat 的結論不僅為這場科技盛會定調了技術路線，也為全球半導體技術的下一步探索指明了清晰的方向。
