集中式智慧：全新 Bonsai AI 模型系列協助實現超越資料中心的高效能 AI

PrismML加州的人工智慧研究實驗室推出了一系列新的 1 位元 Bonsai 模型，旨在將先進的智慧直接提供給人們生活和工作的設備，而不是將人工智慧限制在大型資料中心。 

PrismML源自加州理工學院的研究，該公司表示其工作重點在於最大化“智慧密度”，即模型在單位規模和部署空間內所能提供的實用能力。這種方法與傳統的AI開發截然不同，後者通常強調以犧牲部署能力和效率為代價來增加模型規模和參數數量。

該實驗室的旗艦模型 Bonsai 8B（1 位元）在所有組件（包括嵌入層、注意力層、多層感知器層和輸出頭）中均採用完整的 1 位元設計，沒有更高精度的回退層。該模型大小僅為 1.15 GB，比同等參數類別的 16 位元模型小約 14 倍，但 PrismML 報告稱其在標準基準測試中保持了強大的性能。更小的體積使其能夠部署在 iPhone、iPad 和 Mac 等設備以及標準 GPU 上，與傳統的大規模模型相比，可提供更快的推理速度和更低的記憶體佔用。

PrismML強調，這項突破不僅體現在效能上，更體現在人工智慧的運作範圍上。更小、更有效率的模型能夠實現更低延遲的應用，透過設備端運算增強隱私保護，並在離線或頻寬受限的環境下保持功能正常運作。 

潛在應用包括持久性設備端代理、即時機器人、企業級副駕駛以及專為安全或資源受限環境設計的AI原生工具。 PrismML認為，集中式智慧拓展了AI的設計空間，讓系統反應更迅速、更可靠、更易於廣泛部署。

擴展 Bonsai：更小的 1 位元模型將效率和智慧擴展到邊緣設備

除了 Bonsai 8B 之外，PrismML 還推出了更小的模型，即 1 位元 Bonsai 4B 和 1.7B，它們將相同的效率和智慧密度原則擴展到更小的模型尺寸。早期演示表明，該系列模型均具有高吞吐量、高能效和極具競爭力的基準測試精度。該實驗室還指出，這些模型在目前的商用硬體上能夠高效運行，而未來針對 1 位元推理優化的設備有望帶來更大的效率提升。

PrismML 的發布標誌著人工智慧開發領域的重大轉變，它強調的是集中式智慧和可移植性，而非單純的規模。該實驗室設想，未來先進的人工智慧能夠在雲端和邊緣設備之間無縫運行，使智慧系統隨時隨地被需要的人所使用。 1 位元 Bonsai 模型採用 Apache 2.0 許可，支援在 Apple 裝置、NVIDIA GPU 以及其他各種平台上部署。