gpt-ossの初期の頃の@ClementDelangueからの素晴らしい視点とヒント。 強力な基盤を構築するには時間がかかりますが、推論プロバイダーや@huggingfaceと協力して、これらのモデルが最高のパフォーマンスを発揮できるよう支援できることを嬉しく思います。フィードバックをお寄せください!
clem 🤗
clem 🤗8月6日 23:44
gpt-ossについては、多くの相反する見解があります(やった、スポットライトを浴びているオープンソース)! @FireworksAI_HQ、@CerebrasSystems、@GroqInc、@togethercomputeのおかげで、HF推論プロバイダーを使用して公式@openaiデモを強化しているため、何が起こっているのかを最前列で把握できます。 覚えておくべきこと:新しいフロンティアのオープンモデルの推論は、特にハーモニーのような新しいフォーマットと、gpt-ossがゲートから出ている関心の量では簡単ではありません。 初期のスパイクは、品質、精度、全体的な「雰囲気」に一時的に影響を与える可能性があり、特にプロバイダーがほとんど睡眠をとらずに時間との戦いをしているリリース後わずか 24 時間です。 間違った意見を形成しないようにするためのいくつかのアドバイス: - できるだけ早くバイブを取得したい場合は、HF 推論プロバイダーなどの多様なプロバイダーを提供するホスト型セットアップを使用し、公式の標準ガイド ( - 可能であれば、HF モデル ページ (通常、トランスフォーマーと vLLM の信頼できる情報源である) から独自のハードウェアで試してみてください (そこでも生成時に間違いを犯す可能性があることに注意してください) - 冷やして、一粒の塩でXのホットテイクを取ります。最初の数日間は混乱するかもしれませんが、オープンソースの力は不正行為がないことなので、これらのモデルのすべての長所と限界を徐々に明らかにしていきます。 個人的には、これは@OpenAIチームによる画期的なリリースであり、その意味合いから10年後に記憶に残るようなリリースだと思います。未来🚀🚀🚀がどうなるか楽しみです
23.77K