Dieselbe KI, dieselbe Aufgabe, derselbe Prompt — und trotzdem liefert sie heute ein brauchbares Ergebnis und in der nächsten Woche kompletten Unsinn. Wer das erlebt, sucht den Fehler meistens am falschen Ort: im Modell oder im eigenen Prompt. Beides ist selten das eigentliche Problem. Die spannendere Frage ist, was um die KI herum aufgebaut ist — und genau darum geht es in diesem Video.
Kurz zusammengefasst: Ein KI-Agent besteht aus zwei Teilen — dem Modell und dem sogenannten Harness, zu Deutsch dem Gerüst drumherum. Das Gerüst hat vier Bausteine:
Kontext (was die KI über den Betrieb weiß), Werkzeuge (was sie tatsächlich tun darf), Grenzen (was tabu ist und wer haftet) und eine Rückschleife (wer die Ergebnisse prüft).
Fehlt einer dieser vier Bausteine, wird das Ergebnis unzuverlässig — unabhängig davon, welches Modell im Hintergrund läuft.
Dass die Umgebung so viel ausmacht, ist keine Behauptung, sondern in einem Programmier-Benchmark gemessen worden: Dasselbe KI-Modell, dieselben Aufgaben, aber drei unterschiedliche Arbeitsumgebungen — am Modell selbst wurde nichts verändert. Ergebnis: In der ersten Umgebung wurden rund 46 Prozent der Aufgaben gelöst, in der zweiten rund 50 Prozent, in der dritten rund 55 Prozent. Die Zahlen selbst lassen sich nicht auf ein Ingenieurbüro oder ein Angebotswesen übertragen, sie stammen aus einer Coding-Aufgabe. Übertragbar ist aber die Aussage dahinter: Derselbe „Mitarbeiter“ liefert je nach Arbeitsumgebung radikal unterschiedliche Ergebnisse — obwohl niemand am Modell etwas geändert hat. Das kennen wir von Menschen. Bei KI ist es genauso, nur merken wir es später, weil die KI uns nicht von sich aus sagt, woran es hakt.
Die Formel, die sich für dieses Zusammenspiel durchgesetzt hat, stammt aus einem viel zitierten Artikel von Martin Fowler und Birgitta Böckeler: Agent = Modell + Harness.
Das Modell ist der Kopf, das Harness ist alles andere (martinfowler.com/articles/harness-engineering.html).
Der praktische Nutzen dieser Formel:
Wer sein Harness sauber aufbaut und dokumentiert, kann das Modell jederzeit austauschen — heute Claude, morgen ein anderer Anbieter oder ein selbst gehostetes Modell. Das Gerüst trägt das Wissen, nicht der Anbieter.
Das ist nach unserer Erfahrung der größte und zugleich am meisten unterschätzte Baustein. Eine KI kennt die Welt, aber sie kennt deinen Betrieb nicht. Sie weiß nicht, wie ihr mit Kunden sprecht, und sie weiß nicht, dass ihr einen bestimmten Auftragstyp seit zwei Jahren ablehnt, weil er sich nicht mehr rechnet. Wissen, das nur in Dokumenten, Chatverläufen oder in den Köpfen der Mitarbeiter steckt, existiert für die KI schlicht nicht — ein Befund, der sich fast wortgleich auch bei OpenAI findet, deren Codex-Team genau daran gearbeitet hat, wie ein System ohne dieses „unsichtbare“ Wissen scheitert (openai.com/index/harness-engineering).
Der Satz „Das Wissen sitzt bei uns in den Köpfen“ fällt in praktisch jedem Erstgespräch. Der logische nächste Schritt ist, dieses Wissen strukturiert ins System zu bringen — nicht als riesige Textwüste, sondern durchsuchbar. Wer der KI zu viel auf einmal gibt, überlädt das sogenannte Kontextfenster, und die KI beginnt, sich Antworten zusammenzureimen statt sie zu wissen. Deshalb braucht es eine gezielte, semantische Suche in den eigenen Daten, statt der KI das komplette Firmengedächtnis vor die Füße zu kippen.
Zwischen „die KI beschreibt, wie ein Angebot aussehen könnte“ und „die KI zieht die letzten fünf vergleichbaren Angebote und legt einen Entwurf hin“ liegt ein riesiger Unterschied. Im ersten Fall redet die KI nur, im zweiten Fall arbeitet sie. Damit sie arbeiten kann, braucht sie Werkzeuge — also echte Zugänge, mit denen sie etwas nachschlagen oder ausführen kann. Ohne diese Zugänge bleibt jede KI ein eloquenter Praktikant, der den Aktenschrank nicht aufschließen darf.
Genau hier bleiben die meisten Betriebe hängen: Man arbeitet zwar schon mit KI, aber ohne sich Gedanken über die Werkzeuge und vor allem über die Rechtevergabe zu machen. Was darf die KI eines einzelnen Mitarbeiters im CRM oder in der Buchhaltung sehen und verändern? Diese Frage lässt sich nicht nachträglich beantworten, sondern muss vorher geklärt sein.
Der dritte Baustein ist unbequem, aber entscheidend: Was darf die KI nicht, und wo braucht sie eine echte menschliche Freigabe? Wie ernst das gemeint ist, zeigt ein Fall aus Kanada: Ein Chatbot einer Fluggesellschaft gab einem Kunden eine falsche Tarifauskunft. Vor Gericht argumentierte das Unternehmen, der Chatbot sei für seine eigenen Aussagen verantwortlich — das Gericht folgte dem nicht. Die Firma haftete für das, was ihr Chatbot gesagt hatte.
Für den eigenen Betrieb heißt das: Wenn ein KI-Agent Zugriff auf personenbezogene Daten bekommt, ohne dass die Grenzen vorher sauber dokumentiert sind, landet man schnell bei einem handfesten Datenschutzvorfall. Die gute Nachricht dabei: Diese Dokumentation lässt sich parallel zum Systemaufbau erledigen — und die KI kann beim Dokumentieren sogar selbst helfen.
Diesen vierten Baustein lassen die meisten weg, und er ist nach unserer Erfahrung der teuerste. Die unbequeme Wahrheit dahinter, dokumentiert von Anthropic Engineering: Bittet man einen KI-Agenten, seine eigene Arbeit zu bewerten, bewertet er sie fast immer positiv — auch wenn die Qualität für einen Menschen offensichtlich mittelmäßig ist. Die KI ist also kein verlässlicher Prüfer ihrer selbst. Wenn sie meldet „ist erledigt“, ist das keine Bestätigung, sondern erst einmal nur eine Behauptung — geprüft werden muss gegen den tatsächlichen Zustand.
Wie teuer eine fehlende Rückschleife werden kann, zeigt ein bekanntes Experiment: KI-Agenten wurden in eine nachgebaute Firma mit echten Aufgaben aus Projektmanagement, Personal und Finanzen gesetzt. Der beste Agent schaffte rund 30 Prozent der Aufgaben vollständig — einer sollte eine Kollegin im Firmenchat kontaktieren, fand sie nicht, benannte kurzerhand einen anderen Kollegen auf ihren Namen um und machte weiter, als sei nichts gewesen. Genau deshalb bleibt der Mensch im Prüfprozess: nicht als Bremse, sondern als die Instanz, die Ergebnisse gegen die Realität abgleicht.
Eine KI ist von Natur aus wahrscheinlich richtig, aber nicht sicher richtig. Das lässt sich einfach hochrechnen: Nimmt man einen Ablauf mit fünf Schritten an, bei dem jeder Schritt großzügig gerechnet zu 95 Prozent stimmt, landet man bei rund 77 Prozent Gesamt-Zuverlässigkeit — allein weil sich die kleinen Unsicherheiten von Schritt zu Schritt aufmultiplizieren. Das ist eine Modellrechnung, kein Messwert aus einem echten Betrieb, aber sie zeigt das Prinzip sehr gut.
Der praktische Ausweg: Die KI darf entscheiden, aber die Ausführung sollte über feste, hart programmierte Abläufe laufen, die sich nicht jedes Mal neu überlegen, wie sie etwas machen. Wo ein klassisches Skript zuverlässig durchläuft, muss die KI nur noch die Weiche stellen — links oder rechts, oben oder unten —, statt bei jedem Durchlauf neu zu improvisieren.
Ein sauberes Gerüst ist kein Selbstzweck, und es gibt vier Einwände, die man ernst nehmen sollte, bevor man loslegt.
Mehr Gerüst ist nicht automatisch besser. Moderne Modelle brauchen inzwischen weniger von dem komplizierten Drumherum, das früher notwendig war — zu viel davon kann die Leistung sogar verschlechtern. Ein Gerüst muss regelmäßig vereinfacht werden, sobald die Modelle selbst leistungsfähiger werden.
Jedes Gerüst hat ein Ablaufdatum. Ein Gerüst geht immer von der Annahme aus, dass das Modell etwas noch nicht zuverlässig kann. Wird ein Modell besser, muss man Teile des Gerüsts wieder abbauen — ähnlich wie Stützräder am Fahrrad, die irgendwann im Weg stehen, statt zu helfen.
Die letzten 20 Prozent kosten überproportional viel. Rund 80 Prozent eines Systems lassen sich mit vergleichsweise wenig Aufwand bauen. Für die letzten 20 Prozent — also dafür, dass die Ergebnisse wirklich verlässlich stimmen — braucht es deutlich mehr Denkarbeit und ein Team, das nicht die komplette Verantwortung an die KI abgibt.
Nicht alles muss vollautomatisiert werden. Wer auf Biegen und Brechen alles automatisieren will, riskiert dabei mitunter ein bereits funktionierendes System. Volle Automatisierung ist aktuell für viele Prozesse schlicht noch nicht der richtige Anspruch.
Innerhalb weniger Minuten lässt sich einordnen, welcher der vier Bausteine im eigenen Betrieb fehlt:
Der Prompt ist am Ende nur die letzten paar Meter. Was wirklich entscheidet, ob eine KI in deinem Betrieb zuverlässig arbeitet, ist das Gerüst drumherum: Kontext, Werkzeuge, Grenzen und eine echte Rückschleife. Das lässt sich nicht an einem Nachmittag fertigbauen, aber es lässt sich diese Woche anfangen — mit einer Seite über den eigenen Betrieb und einem einzigen Ablauf, den man sauber dokumentiert.
Wenn du dieses Gerüst nicht allein aufbauen willst, sondern mit unserer Erfahrung der letzten zwei Jahre startest: Buch dir ein unverbindliches Beratungsgespräch.
