テスラの AI 担当副社長である @aelluswamy 氏による新しい 30 分間のプレゼンテーションが公開され、FSD、AI、チームの最新の進捗状況について語ります。 プレゼンテーションのハイライト: • テスラの車両フリートは、毎日 500 年分の運転データを提供できます。 次元の呪い: • 高フレームレートの 8 台のカメラ = 30 秒の運転コンテキストあたり数十億のトークン。 • テスラは、感覚入力と制御アクションの間の適切な相関関係を圧縮して抽出する必要があります。 データの利点: • テスラは「ナイアガラの滝のデータ」、つまり何百年にもわたる集団車両運転にアクセスできます。 • スマート データ トリガーを使用して、まれなコーナー ケース (複雑な交差点、予測不可能な動作など) をキャプチャします。 品質と効率: • モデルを効率的にトレーニングするために必要な重要なデータのみを抽出します。 デバッグと解釈可能性: • システムがエンドツーエンドであっても、Tesla はモデルに解釈可能なデータを出力するように求めることができます。 3D占有、道路境界、オブジェクト、標識、信号機など。 • 自然言語クエリ: モデルが特定の決定を下した理由を尋ねます。 • これらの補助予測は車を駆動しませんが、エンジニアのデバッグと安全性の確保に役立ちます。 テスラの高度なガウススプラッティング(3Dシーンモデリング): • テスラは、限られたカメラビューから3Dシーンを再構築するためのカスタムの超高速ガウススプラッティングシステムを開発しました。 • 少数のカメラアングルからでも鮮明で正確な3Dレンダリングを生成し、標準的なNeRF/スプラッティングアプローチよりもはるかに優れています。 - 3Dでの運転環境の迅速な視覚的デバッグを可能にします。 評価とワールドモデル: • 評価は最も難しい課題です:モデルはオフラインではうまく機能しても、実際の条件では失敗する可能性があります。 • テスラは、高速道路での簡単な運転だけでなく、エッジケースに焦点を当てたバランスのとれた多様な評価データセットを構築しています。...