Sehr aufregend. Sie können jetzt die wilden Sachen, die Claude Code lokal auf Ihrem Computer machen kann, direkt in Claude Desktop durchführen. Riesig. Wird die Kraft von Claude Code so vielen weiteren Menschen zugänglich machen. (Und sehr cool, dass sie in ihrer Ankündigung auf meinen Beitrag zu CC verlinkt haben, danke Team @AnthropicAI)

Meine wichtigsten Erkenntnisse von @Aish_Reganti und @KiritiBadam über den Aufbau erfolgreicher KI-Produkte für Unternehmen: 1. KI-Produkte unterscheiden sich in zwei grundlegenden Punkten von herkömmlicher Software: Sie sind nicht deterministisch, und man muss ständig zwischen Handlungsspielraum und Kontrolle abwägen. Traditionelle Produktentwicklungsprozesse scheitern, wenn Ihr Produkt auf dieselbe Eingabe unterschiedliche Antworten gibt und eigenständig handeln kann. 2. Der Handelsspielraum-gegen-Kontrolle-Kompromiss ist die zentrale Designentscheidung in jedem KI-Produkt. Aish und Kiriti stellen dies als Spektrum dar: An einem Ende handelt die KI autonom mit minimalen Leitplanken; am anderen Ende ist das System streng eingeschränkt mit expliziten Regeln und menschlichen Kontrollpunkten. Die meisten erfolgreichen KI-Produkte für Unternehmen befinden sich irgendwo in der Mitte und passen die Kontrolle dynamisch basierend auf Vertrauensbewertungen, Kontext und Risiko an. 3. Die meisten Misserfolge von KI-Produkten resultieren aus Ausführungsfehlern, nicht aus Modellbeschränkungen. Aish und Kiriti sehen, dass Teams das zugrunde liegende LLM beschuldigen, wenn das eigentliche Problem unklare Produktgrenzen, fehlende Leitplanken oder eine schlechte Benutzeranmeldung sind. Ein Modell, das 5 % der Zeit halluziniert, kann dennoch ein großartiges Produkt antreiben, wenn Sie das UX so gestalten, dass Vertrauensbewertungen sichtbar werden, Benutzer Ausgaben überprüfen können und die Aufgabe eingeschränkt wird. Die umsetzbare Erkenntnis: Bevor Sie nach einem besseren Modell fragen, überprüfen Sie Ihr Produktdesign, die Abdeckungsbewertung und die Benutzerflüsse. Disziplin bei der Ausführung schlägt in den meisten Fällen die Modellleistung. 4. Ihr V1-KI-Produkt sollte ein enges, wertvolles Problem mit strengen Leitplanken lösen. Teams scheitern, indem sie versuchen, beim ersten Versuch einen allgemeinen Assistenten oder Agenten zu entwickeln. Wählen Sie einen Workflow, automatisieren Sie eine sich wiederholende Aufgabe oder beantworten Sie eine Kategorie von Fragen wirklich gut. Ein engerer Umfang ermöglicht es Ihnen, fokussiertes Feedback zu sammeln, das Modell schneller zu optimieren und den Wert zu beweisen, bevor Sie erweitern. Breite kommt später, nachdem Sie den Kernprozess gemeistert haben. 5. Beobachtbarkeit und Protokollierung sind für KI-Produkte kritischer als für herkömmliche Software, da das Verhalten von KI nicht deterministisch und schwerer zu debuggen ist. Sie sollten nicht nur Fehler protokollieren, sondern auch Vertrauensbewertungen des Modells, Eingabeeigenschaften, Benutzerkorrekturen und Latenzmetriken. Wenn in der Produktion etwas schiefgeht, sind diese Protokolle der einzige Weg, um zu rekonstruieren, was das Modell gesehen hat und warum es eine bestimmte Entscheidung getroffen hat. Investieren Sie frühzeitig in die Protokollierungsinfrastruktur, bevor Sie eine Krise haben. 6. Bewertungen sind notwendig, aber nicht ausreichend. Bewertungen helfen Ihnen, die Modellleistung bei bekannten Testfällen zu messen, erfassen jedoch nicht die gesamte Produkterfahrung, Randfälle in der Produktion oder die Benutzerzufriedenheit. Teams, die sich ausschließlich auf Bewertungen verlassen, liefern Produkte, die in Tests gut abschneiden, aber in der Praxis scheitern. Kombinieren Sie Bewertungen mit kontinuierlicher Überwachung, Benutzerfeedbackschleifen und Beobachtbarkeitstools, um das zu erfassen, was automatisierte Tests übersehen. 7. "Kontinuierliche Kalibrierung" ersetzt traditionelle iterative Produktentwicklungszyklen. Da KI-Modelle abdriften und sich die Benutzererwartungen ändern, müssen Teams ständig die reale Leistung messen und Eingabeaufforderungen, Leitplanken oder Modellversionen anpassen. Aish und Kiriti empfehlen, Ihr Produkt von Anfang an so zu instrumentieren, dass Benutzerfeedback und Modellausgaben erfasst werden, und diese Daten wöchentlich zu überprüfen. Ohne kontinuierliche Kalibrierung wird Ihr KI-Produkt stillschweigend abgebaut, und die Benutzer werden abwandern, bevor Sie es bemerken. 8. Kontinuierliche Bereitstellung für KI bedeutet, Modellaktualisierungen und Eingabeaufforderungsänderungen als Code zu versenden, nicht manuelle Eingriffe. Herkömmliche Software stellt Code bereit; KI-Produkte stellen Code plus Modellgewichte, Eingabeaufforderungen und Abruflogik bereit. Aish und Kiriti plädieren dafür, Eingabeaufforderungen und Modellkonfigurationen als versionierte Artefakte in Ihrer CI/CD-Pipeline zu behandeln, mit automatisierten Regressionstests über Bewertungen. Dies verhindert das häufige Anti-Muster, dass PMs Eingabeaufforderungen in einer UI anpassen und die Produktion stören. Der Vorteil: Sie können das Verhalten des Modells sicher iterieren und schlechte Änderungen sofort zurücksetzen. 9. KI-Produkte scheitern, weil Teams die Bedeutung der Datenqualität unterschätzen. Aish und Kiriti sehen, dass Teams hastig Modelle feinabstimmen oder Funktionen hinzufügen, ohne zuerst zu überprüfen, ob ihre Trainings- und Bewertungsdaten tatsächlich die reale Nutzung widerspiegeln. Müll rein, Müll raus gilt doppelt für KI: Wenn Ihre Daten veraltet, voreingenommen oder nicht auf die Benutzerbedürfnisse abgestimmt sind, wird keine Menge an Eingabeaufforderungsengineering oder Modelloptimierung Ihnen helfen. Beginnen Sie damit, Ihre Daten in Ordnung zu bringen.

Spektakulär