NEAR 聯創 Illia：為何 AI 需要 Web3？

我們正處於十字路口，道路一側是一個封閉的AI世界，它將導致更多的操縱。

近日，NEAR聯創Illia出席了“2024香港Web3嘉年華”活動，併發表AI和Web3相關話題的重要演講。本文特對其演講進行了整理，略有刪減。

大家好，我是NEAR的聯合創始人Illia，今天我們將討論為什麼AI需要Web3。NEAR實際上起源於AI，在開始創業之旅之前，我在Google Research工作，專注於自然語言理解，也是谷歌深度學習框架TensorFlow的主要貢獻者之一。在一群同事的共同努力下，我們創造了首個“Transformers”模型，它帶來了我們現在看到的重大創新，推動了AI的發展，這也是GPT中的“T”的由來。

後來我離開谷歌創辦了NEAR。作為一家AI初創公司，我們會教機器編程，我們的方法之一是做大量的數據標記，讓學生為我們創建數據，我們面臨著支付他們工資的問題，因為他們來自全球各地，他們中的一些人甚至沒有銀行賬戶。我們開始研究區塊鏈作為應對方法，並意識到沒有什麼能滿足我們的需求 ，即可擴容、低費用、易使用和易上手。也是在此時我們創建了NEAR協定。

對不熟悉的人說 ，語言模型並非新事物，它們從20世紀50年代就存在了。通用的統計模型允許對語言建模，並在各種應用中使用它。對我來說 ，真正有趣的創新發生在2013年，當時引入了詞嵌入，這個創意可以讓我們從“紐約”這樣的符號，新增到多維度的向量中並轉換為數學形式。這與深度學習模型配合得很好，它們只是大量的矩陣乘法和激活函數。

2013年後我加入谷歌。在2014年初，研究中使用的主要模型是RNN。它與人類一次閱讀一個單字的方法相似，這有一個巨大的限制，如果你想閱讀多個文檔來回答一個問題，你將有一個相當大的延遲，這在Google上的生產中使用是不可行的。

Transformer誕生於我們在解決RNN挑戰的過程中。我們嘗試利用計算中的並行性，它更多存在於硬體中，特別是在GPU中，幾乎可以消耗整個文檔 ，並嘗試同時理解它 ，而不需要一次執行1個步驟，沒有這種瓶頸。這允許我們為OpenAI團隊引入一個模型後，真正擴展它，在非常大的語料庫上預訓練它，這催生了我們今天看到的ChatGPT、Gemini和其他模型等重大創新。

現在我們看到AI出現了重大創新，而且這種創新還在加速。這些模型能夠進行基本的推理，他們有常識。我們看到人們繼續挑戰這些模型的極限。我認為，重要的是，在機器學習和數據科學領域有人在解釋結果。現在有趣的是大語言模型能夠直接與人交流，並且能夠與其他應用和工具進行交互。所以現在我們有了技術手段可以繞過中間人來解釋結果。

對於那些不熟悉的人來說，當我們談論這些模型被GPU訓練或被使用時 ，它們其實並不是遊戲機GPU或加密挖礦GPU。這是一臺專業的超級電腦，一臺機器上通常有八個GPU，它們具有巨大的競爭能力。這些機器被堆放在架子上，這些機架大多部署在數據中心。你訓練相當大的模型如Groq，花費3個月的時間，動用10,000個H100。租借設備將花費你6,400萬美元。更重要的是，除了計算本身之外還有連接性。

這裡的一個重要部分是A100，特別是H100，通過每秒900千兆位元組的連接速度連接。所以作為參考，你的CPU到RAM，以每秒9千兆位元組的速度連接。在數據中心機架中的兩個節點/兩個GPU之間移動數據實際上比將數據從GPU移動到CPU更快，特別是現在我們還在努力改進Blackwell，其連接速度有望翻倍，達到每秒1,800千兆位元組，這種硬體連接速度是瘋狂的，它允許我們不把這些設備看作獨立設備。因為從程式員的角度來看，它們感覺像是一個單一的操作。當你大規模構建系統時，有很多需要注意。這個想法是這些是高度連接的設備，本地網路上的正常連接是每秒100兆位元組，所以大約比這低一萬倍。

現在由於對訓練的這種要求，我們現在看到封閉的AI模型正在興起。即使模型權重是開源的，我們實際上仍然不知道模型中加入了什麼。這很重要，因為這些模型實際上是關於從數據中學習偏向的。有人開玩笑說，模型其實只是權重和偏向，這就是模型的表現方式。現在除了工程師之外，還有許多團隊通過修改數據集來決定進入模型的內容，因為某些原因決定某些內容不應該出現在數據中。然後在模型產生之後，對其進行後期處理並改變系統提示，來決定這個模型將會推理什麼。尤其危險的是，我們並不知道這個模型是如何產生的。

我們也看到了AI正在迎來大規模的抗議和訴訟。因為從數據的使用到這些模型如何產生結果，到這些公司對分發平臺的權力，都容易引起爭議。模型本身成為了分發平臺，我們由此面臨著巨大的風險。顯然監管機構正試圖管制我們，想辦法限制不良行為者的訪問，這使開放模型和去中心化方法更難存在。開源沒有足夠的經濟動力，因此導致公司可能開始開源，然後在試圖賺錢的過程中限制開源其模型 ，以獲得更多的資本來購買算力，訓練更大的模型。

生成式AI正在成為大規模操縱人們的工具，大公司的經濟狀況總會導致激勵機制扭曲。在你實現了你的目標市場份額後，你將繼續展示收入增長。你需要增加每個用戶貢獻的平均收入，所以你需要從用戶身上獲取更多的價值，這就是開源AI的所有情況。使用Web3作為一種工具來激勵人們，可以為人們創造機會，同時也為人們創造足夠的計算和數據資源，使人們建立有競爭力的模型。

我們需要讓大量AI工具在Web3世界發揮作用，才能將其整合在一起，我將從數據、基礎設施和應用層面，介紹其中的幾個部分。其中一個重要的部分是因為這些語言模型現在能夠直接與社會互動，它們能夠在整個廣泛的範圍內，操縱和明顯地製造虛假資訊。我想指出的是，AI在這裡不是問題，因為這類事情以前就存在。重要的是我們需要利用密碼學和鏈上聲譽來解決這個問題。問題不在於AI生成這個或人類生成這個，關鍵是誰發佈了它，它的源頭是什麼，社區的意見是什麼，這才是真正重要的。

另一方面，我們現在有代理。我們習慣把一切都稱為代理。但現實是，它們有相當大的多樣性，可以有工具或自治代理，這可以是中心化的或去中心化的，例如ChatGPT是一個中心化的工具，而Llama模型是開源的。因此它們可以以中心化或去中心化的方式被使用，也可以讓去中心化模型只在用戶設備上運行，而不需要區塊鏈或類似的東西。因為如果你在你的設備上運行模型，你就可以保證它完全符合你的期望，有一種完全自治的去中心化AI治理，需要進行驗證，比如當它分配資金和做出重要決定時。

還有不同類型的專業化。比如prompt，你可以進行zero shot，教Llama以特定的方式回應 ，你可以對特定數據進行微調，以向模型添加更多知識。或者你可以進行檢索增強，以在用戶請求時添加某種背景資訊。輸出也不必只是文本，它也可以是一個豐富的UI元件，它可以是一個直接的行動，在區塊鏈上做一些事情。

接下來是自主。它可以是一個工具 ，用來做你想做的事情；它也可以編寫自己的計劃並在其上執行；它可以是一個連續的工作，你只需指定一個目標；它可以是一個強化學習優化，你只需指定一個指標和一套標準和邊界；你讓模型不斷探索並找到增長的方法。

最後是基礎架構。你可以使用中心化基礎架構如OpenAI和Groq。你可以有一個分佈式的本地模型，你可以有一個帶有概率的去中心化推理。有一個非常有趣的使用案例，我們從可編程貨幣轉向智慧資產，這是資產行為由自然語言定義的地方，並且可能與真實世界，或與其他用戶交互。比如這可以使用能閱讀新聞的自然語言oracle，它可以根據正在發生的事情自動優化策略。這裡最大的注意事項是，當前的語言模型對敵對行為並不健壯，因此很容易在各種事情上說服他們。

我們正處於十字路口，道路一側是一個封閉的AI世界，它將導致更多的操縱。監管決策通常會導致這種情況，因為監管機構會要求越來越多的監督，越來越多的KYC和越來越多的要求。只有大公司才能滿足這一要求。而創業公司 ，尤其是嘗試開源的創業公司，將沒有資源來進行實際競爭，最後只能倒閉以及被大公司收購。我們開始看到這種情況的發生。

道路的另一側是開放的模型，我們有承諾和能力，以非盈利和開源的心態來執行它，我們使用加密經濟激勵創造機會和資源，這是具有競爭力的開源AI模型所必需的。NEAR正在努力在整個生態中做到這一點。AI is NEAR。在接下來的幾周裡，我們會有更多的更新，歡迎大家關注我的推特和NEAR社交網站，瞭解更多更新，謝謝！