蘋果晶片人工智慧已經到了僅靠效率可能已經不夠的地步。 Apple 處理器繼續提供強大的每瓦性能、較長的電池壽命以及硬體和軟體的緊密整合，但現代生成模型的需求增長速度超出了傳統的年度晶片改進可以輕鬆滿足的速度。
英偉達提供了最具影響力的例子，說明半導體開發在人工智慧的壓力下如何改變。 Blackwell 透過高速介面連接兩個大型晶片，超越了傳統的單晶片 GPU。 Rubin 將這個概念擴展為一個涉及 GPU、CPU、網路、交換器、記憶體和軟體的協調平台。
Apple 不應嘗試將資料中心處理器放入 MacBook 或 iPhone 中。然而，它可以吸收 Nvidia 加速開發背後的幾個原則，並將其應用於功率、溫度、隱私和電池壽命仍然至關重要的個人設備。
Nvidia 不再將每個處理器呈現為獨立的元件。布萊克威爾Rubin 和 Rubin 是針對特定類別的工作負載共同開發計算引擎、記憶體、互連和軟體的平台。
蘋果已經部分遵循了這個理念。其係統單晶片結合了 CPU 核心、GPU 核心、神經引擎、媒體加速器、影像處理、記憶體控制器和安全硬體。統一記憶體架構允許不同處理器存取同一池，而無需在單獨的 CPU 和 GPU 記憶體之間重複複製大型資料集。
M5 Pro 和 M5 Max 透過融合架構推進了此方法，將兩個晶片組合到一個系統中，並將神經加速器放置在每個 GPU 核心內。 Apple 也將 M5 Max 上的統一記憶體頻寬提高到每秒 614GB。
下一步應該是一個更明顯的人工智慧路線圖，涵蓋幾代晶片，而不是僅在設備發佈時展示每項改進。規劃大型本地模型的開發人員需要了解記憶體容量、數位格式、加速器支援和軟體相容性將如何發展。
可預測的方向將使專業軟體公司更有信心優化 Mac 的複雜模型，而不是將 Apple 晶片視為次要平台。
Chiplet 可以擴展到最大的 Mac 之外
Blackwell 示範如何透過每秒 10TB 的晶片到晶片連接將兩個掩模版有限的晶片作為一個 GPU 運行。英偉達使用先進的封裝來突破生產一塊巨大矽片的物理和製造限制。
Apple 正在朝著類似的方向發展，M5 Pro 和 M5 Max 使用的兩晶片融合架構。該設計可以成為更靈活的計算塊組合的基礎。
未來蘋果矽可以將 CPU、GPU、神經引擎、媒體和連接組件分離到專門的小晶片中，而不是在同一流程節點上重建每個功能。可以為性能敏感的邏輯保留更新的製造工藝，而成熟的技術則可以處理因尺寸縮小而獲益甚少的組件。
這將提高製造產量，並使蘋果能夠創建更多配置，而無需為每個設備層設計完全獨立的晶片。 Mac Studio 可以接收額外的 GPU 和 AI 區塊，而MacBook Pro可以優先考慮效率和記憶體頻寬。
英式積電已經提供了用於堆疊和連接多個矽片的技術，包括 SoIC、CoWoS 和 InFO。蘋果多年來一直使用複雜的封裝，但人工智慧處理可能證明更深入地採用垂直堆疊和異質整合是合理的。
面臨的挑戰將是保持蘋果晶片的低延遲和能源效率。只有當小晶片之間的通訊不會消耗過多電量或強制軟體將每個區塊視為單獨的裝置時才有用。
記憶必須成為人工智慧的功能
英偉達最近的發展表明，人工智慧性能不僅取決於計算，還取決於行動數據。
大型語言模型在記憶體和計算單元之間不斷傳輸參數、啟動和快取上下文。處理器可以包含巨大的理論能力，但當記憶體無法足夠快地提供資料時，處理器仍然未充分利用。
蘋果透過統一記憶體擁有優勢。 Mac 可以將大部分記憶體分配給 AI 模型，而不受獨立顯示卡常見的固定視訊記憶體限制。數百 GB 的 Mac Studio 配置可以運行許多消費性 GPU 無法容納的模型。
僅靠能力並不能解決問題。未來的蘋果晶片人工智慧設計需要更高的頻寬、改進的壓縮和更智慧的緩存，以便更大的上下文視窗不會壓垮記憶體系統。
蘋果還可以為桌上型晶片推出專用的高頻寬記憶體選項。用於 AI 開發的昂貴的 Mac Studio 或 Mac Pro 可以將統一的系統記憶體與位於 GPU 和神經引擎旁邊的更快的本地池結合起來。
這樣的設計會使共享記憶體架構的簡單性變得複雜，但 Nvidia 的進展表明，極端的 AI 效能越來越需要不同的記憶體層協同工作。
較低的精度可以產生較大的增益
Blackwell 透過擴展對包括 FP4 在內的數位格式的支持，加速了生成式 AI。使用更少的位元來表示權重和計算可以減少記憶體使用，並允許透過相同的硬體運行更多的操作。
較低的精度不會自動保持模型品質。它需要精心設計的縮放、量化和軟體支持，以防止準確性下降。
蘋果已經針對壓縮和量化模型優化了其加速器，但它可能會使低精度人工智慧成為更突出的架構優先事項。神經引擎和 GPU 硬體應支援根據每層的敏感度動態選擇的多種格式。
未來的模型可以使用更高的精度進行計算，同時將不太敏感的操作轉移到 4 位甚至更小的表示形式，從而導致錯誤累積。這將提高速度並減少記憶體壓力，而無需迫使開發人員對整個模型進行相同的量化。
Apple 可以使該功能在內存和電量有限的 iPhone 和 iPad 上特別有價值。一種精度需要 12GB 的模型在智慧壓縮後可以安裝在主流設備中，從而允許更多的私有處理保留在本地。
軟體是 Nvidia 最難的一課
英偉達的優勢不僅限於電晶體。 CUDA、TensorRT、通訊庫和優化的模型框架使其硬體更易於用於研究和生產。
蘋果有 Metal、Core ML 和 MLX，但生態系統仍然分散。開發人員可能需要不同的工具，這取決於他們的目標是消費者應用程式、科學工作流程、本地語言模型還是 GPU 運算。
MLX 是一個強大的基礎，因為它是針對 Apple 晶片、統一記憶體以及來自 NumPy、PyTorch 和 JAX 等框架的熟悉開發模式而設計的。蘋果應該將其擴展為從實驗到商業部署的更完整的路線。
透過 MLX 創建或微調的模型應該可以更少的轉換步驟轉移到 Mac、iPhone 和 iPad 應用程式中。分析工具應解釋工作負載是否在 CPU、GPU 或神經引擎上運行，並在模型受到記憶體、精度或不受支援的操作限制時建議更改。
Nvidia 共同改進了硬體和軟體，使每個架構都能從新的核心、編譯器和模型最佳化中受益。蘋果也需要同樣的迫切感。當第三方開發人員無法輕鬆地將要求苛刻的工作負載引導到神經引擎時，更快的神經引擎提供的價值有限。
互連可以將 Mac 變成小型 AI 集群
Rubin透過NVLink和高速交換將眾多GPU視為一個協調的運算系統。蘋果可以將這項原則應用到更小的規模上。
Thunderbolt 對於儲存和顯示很有用，但它不允許多台 Mac 共享記憶體和加速器作為一台低延遲 AI 電腦。專用的 Apple 互連可讓 Mac Studio 或未來的 Mac Pro 模組結合處理資源來進行模型訓練、推理和科學模擬。
Apple 先前使用 UltraFusion 連接 M1 Ultra 和 M2 Ultra 內的兩個處理器晶片。將相關概念擴展到一個套件之外可以創建緊湊的人工智慧集群，保留 macOS、統一的開發工具和本地資料控制。
這個概念不會與包含數十個高功率 GPU 的 Nvidia 機架直接競爭。它的吸引力在於隱私、可管理的功耗以及在研究實驗室、生產工作室、醫療組織和無法將敏感資訊發送到公有雲服務的企業內部的安裝。
蘋果還可以在自己的裝置上進行分散式處理。同一本地網路上的 Mac、iPad 和 iPhone 包含多個通常獨立使用的神經引擎。安全的工作負載分配可以將閒置設備轉變為臨時推理資源，而不會暴露個人資訊。
蘋果必須保持差異化
Nvidia 針對巨大的持續工作負載、液體冷卻和跨整個機架測量的功率預算優化了資料中心系統。蘋果公司為安靜的桌上型電腦、輕薄筆記型電腦和袖珍設備設計晶片。
過於密切地追隨英偉達會損害蘋果晶片成功的品質。 MacBook 完成 AI 任務的速度提高了一倍，但電池壽命卻縮短了數小時，這並不代表著簡單的改進。
相反，蘋果應該選擇性地使用 Nvidia 的創新：模組化晶片來擴展處理器、更強的互連以減少瓶頸、降低精度以適應更大的模型以及使每個加速器都可訪問的統一軟體堆疊。
最有希望的測試場可能是未來的 Mac Studio，而不是 iPhone。其更大的熱封套可以引入先進的封裝、額外的人工智慧晶片和更快的內存，然後再減少便攜式設備的這些技術。然後，成功的元素可以在產品陣容中移動，為蘋果提供一條從工作站級實驗到數十億個人設備的實用路線。
