Ich hatte erwartet, dass das kommt: OpenAI hat angekündigt, dass sie leistungsstarke Mini-Versionen von GPT-4 entwickelt haben, die lokal auf einem Laptop oder einem Telefon laufen werden. Das wird viel Inferenz von Rechenzentren auf unsere lokalen Maschinen verlagern. Wenn das Modell eine Frage lokal nicht beantworten kann, kann es sagen: „Warte einen Moment, während ich mit dem kollektiven Wissen Rücksprache halte...“ oder was auch immer und die Inferenz in der Cloud durchführen. Eine große Frage für uns im Bereich Elektrizität und Rechenzentren: Wie wird sich das auf die Trends beim Bau von Rechenzentren, deren Strombedarf und die Standorte, an denen sie bauen können/wollen, auswirken? Meine Hypothese: Es verringert die Nachfrage nach Inferenz in zentralisierten Rechenzentren, während es gleichzeitig den Grad der Latenz erhöht, mit dem Inferenz-Rechenzentren umgehen können (da Aufgaben mit häufig benötigter niedriger Latenz lokal erledigt werden).