我和克劳德最近玩了一个小游戏,叫做“上下文窗口鸡”。 你有一个上下文窗口来开始和完成项目。如果用完了,你必须从头开始。 今晚我们在第二次尝试中成功制作了一个语音听写小部件,使用了NVIDIA的parakeet-0.6b。
(显然这意味着没有子代理,没有RLM,没有作弊!单个200k追踪。)
@maxsloef 我不太确定在更高的代币数量下究竟会发生什么。有时候,拥有大量额外的上下文似乎真的很有帮助,而有时候又会出现退化。我仍在努力理解这种行为,所以我并没有避免它。
113