熱門話題
#
Bonk 生態迷因幣展現強韌勢頭
#
有消息稱 Pump.fun 計劃 40 億估值發幣,引發市場猜測
#
Solana 新代幣發射平臺 Boop.Fun 風頭正勁
大多數人認為去中心化計算失敗是因為「沒有足夠的GPU」。
他們只是在關注供應。
真正的障礙是協調,誰能解決這個問題,誰就能制定AI基礎設施的規則。 🧵

/2 我們不斷從志願計算(如 Folding@Home)中學到錯誤的教訓。
這些工作能容忍慢節點和掉線。
現代 AI 訓練和推理則懲罰不一致,一個不穩定的 GPU 可能會使整個運行停滯。
/3 有一個問題不斷出現:
全球分散且不匹配的 GPU 能否像一台可預測的機器一樣運作?
如果答案是否定的,那麼可靠性和開發者體驗就毫無意義,因為什麼都無法交付。
/4 網際網路使得 GPU 像是具有不同調音的樂器。
數據中心堆疊假設完美的時序。
全球網狀結構會帶來抖動、不均的帶寬、隨機的停機時間和硬體變異。協調必須吸收這些混亂。
/5 @YottaLabs 採取操作系統路線,而非市場路線。
排程、通訊、記憶體卸載、故障處理、驗證。
重點很簡單,將不可靠的機器轉變為一個行為足夠可預測的集群,以滿足服務水平協議(SLA)。
/6 最具體的見解是,將推斷分為兩個工作。
預填需要最好的 GPU。
解碼可以在較弱的 GPU 上運行。
這種設計防止昂貴的顯卡在便宜的顯卡上等待,並使“混合艦隊”變得有用而不是痛苦。
/7 然後是隱藏的瓶頸,移動模型的工作記憶體(KV 快取)。
如果你一次性發送一個大傳輸,你會停滯不前。
Yotta 在計算運行時以小塊流式傳輸,並壓縮快取,因此 WAN 延遲不再主導。
90
熱門
排行
收藏
