Dune AI評量：鏈上分析師會下崗嗎？

• 資訊


本文將通過從簡單到複雜的多個問題，對 Dune AI 進行測試，驗證其可用性和可靠性。

原創| Odaily星球日報

作者| 南枳

11 月初， Web3資料分析基礎架構 Dune 宣布推出 DuneAI ，使用者可以使用其自然語言引擎以任何語言提出問題，無需了解 SQL 即可獲得加密資料見解。 Odaily 將透過從簡單到複雜的多個問題，對 Dune AI 進行測試，驗證其可用性和可靠性。

案例 1 ——特定協議交易量查詢

問題： Blur過去七天的每日交易量（Find the Blur volume in the for last 7 days, by day）？

將 Dune AI 給出的答案與 Dune 上按讚最多的 Blur query （右下圖），數據對比如下，二者有接近1% 的差值。

Dune AI評量：鏈上分析師會下崗嗎？插图1

案例 2 ——特定網路交易量查詢

問題： Arbitrum網路今天執行了多少筆交易（How many transactions were processed today in arbitrum）？

左圖為Dune AI 給出的答案，右邊為Odaily 所編輯query，二者結果大致一致（差異來自query 執行時間不同）。

Dune AI評量：鏈上分析師會下崗嗎？插图3

案例 3 ——帶有歧義的查詢

問題： Uniswap上週日交易總量（Total volume on Uniswap last week by day）？

在這裡，出現了三個問題：

  • Dune AI 將查詢範圍限製在了以太坊上，而 Uniswap 部署於多個鏈上，並且原始提問並沒有這個要求。

  • 與DefiLlama 上的 Uniswap資料對比，差值較大， 24 日至26 日為例，分別相差6% 、 9% 和11% 。

Dune AI評量：鏈上分析師會下崗嗎？插图5

  • 這裡原本想要查詢的是上一個星期週一至週日的數據，而此處的last week被解釋為過去七日，為進一步驗證，將查詢語句修改為「上一個完整週的Uniswap日交易量（The total volume on Uniswap for the previous full week by day）”，結果如下圖所示，仍然查詢的是過去七日的數據。

Dune AI評量：鏈上分析師會下崗嗎？插图7

案例 4 ——多條件複雜查詢

問題：過去一週使用Stargate在以太坊和 Arbitrum 之間跨鏈的每日金額（The daily amount bridged between Ethereum and Arbitrum using Stargate over the past week）？

Dune AI評量：鏈上分析師會下崗嗎？插图9

查詢結果為空，Odaily 對 query 進行查驗後，整體查詢內容和語法都沒有問題，查詢出錯的原因在於選擇了錯誤的資料集“stargate_arbitrum.ProxyOFT_evt_SendToChain”，這是一個隻有 12 個資料的資料集。

案例 5 ——模糊查詢

問題：Uniswap 的收入、 Unibot的收入？

Dune AI 要求進一步明確問題，而不會自主給出總交易量/日交易量等不同的query。

Dune AI評量：鏈上分析師會下崗嗎？插图11

而進一步明確問題“Uniswap的日收入（daily revenue of Uniswap）”，Dune AI開始查詢，但最終給出了錯誤答案，將日交易量作為Uniswap的收入進行了計算。

Dune AI評量：鏈上分析師會下崗嗎？插图13

案例 6 ——新概念查詢

問題：pols 的銘刻詳情（the inscription process of pols）？

Dune AI 不能理解銘刻（inscription）的概念，儘管車站內已有人寫過pols 的相關query。

Dune AI評量：鏈上分析師會下崗嗎？插图15

小結

Dune AI 的 SQL 基本功紮實，隻要有對應的資料能夠正確寫出對應的 query，但是還存在著自然語意處理能力不足、準確性不足、不存在抽象理解能力等問題。目前來看除了比較簡單的問題外，Dune AI 僅能作為query 的撰寫助手，答案是否可靠還需要人工對SQL 內容進行驗證。

聯系郵箱：0xniumao@gmail.com






赞 (0)
上一篇 2023年12月2日 am10:29
下一篇 2023年12月2日 am10:29

相关推荐