Joitakin dioja @PyTorch confissa aiemmin tällä viikolla pitämästäni puheesta todentajien suunnitteluvalinnoista ja siitä, miten olemme rakentaneet lippulaivaekosysteemiä avoimille RL-ympäristöille :)

eritoten: - mielestämme oikea kapselointi ympäristölle on asennettava Python-paketti, joka toteuttaa tehdastoiminnon ja joka voi hallita ulkoisia resursseja joko valmiiden komponenttien kirjaston tai omien mukautettujen käynnistysohjelmien kautta - mielestämme OpenAI Chat Completions API on oikea abstraktiotaso useimmille kehittäjille, jotka rakentavat ympäristöjä, ja OpenAI Completions on vaihtoehto murto-osaan tapauksista, jotka vaativat tarkempaa hallintaa - Mielestämme kouluttajien ja ympäristökehysten kehittäjien tulisi kantaa taakka puhtaiden ja tuttujen primitiivien paljastamisesta ympäristönrakentajille, mikä heijastaa staattisten toimijoiden tai evaalien kehityskokemuksia. - mielestämme LLM-ympäristöt tuovat ainutlaatuisia haasteita verrattuna aikaisempiin RL-aikakausiin, ja että abstraktioiden tulisi kehittyä tämän huomioon ottamiseksi - Mielestämme kontit ovat tärkeitä monissa ympäristöissä, mutta niiden ei pitäisi olla pakollisia ympäristöissä, joissa niitä ei tarvita - Uskomme, että tämän ekosysteemin rakentaminen on globaali haaste, joka vaatii vivahteikkaita ja avoimia keskusteluja kiinnostuneiden sidosryhmien kesken, jotta kaikki voivat hyötyä Käytämme paljon aikaa näiden asioiden miettimiseen, kompromisseista keskustelemiseen, iterointiin ja kokeiluihin. Jos tarvitset jotain, jota emme vielä tue, tai ehdotuksia siitä, miten voimme parantaa, olemme kaikki korvat :)