Wir arbeiten seit drei Jahren mit KI. Doch wirklich für uns gearbeitet hat sie erst, nachdem wir unsere Daten aufgeräumt haben. An diesem Punkt steht heute ein großer Teil der Unternehmen: KI ist im Unternehmen angekommen, ihre Wirkung noch nicht. 57 Prozent der Unternehmen ab 20 Beschäftigten setzen KI ein, 2024 waren es noch 20 Prozent. Nur 3 Prozent schöpfen das Potenzial nach eigener Einschätzung eher stark aus, 59 Prozent überhaupt nicht (Bitkom, 2026).
Am Anfang war es die Neugier
Unser Einstieg war reine Neugier. Wir haben im Playground von OpenAI ausprobiert, was ein Sprachmodell kann, und schnell gemerkt, dass darin mehr steckt als ein besserer Textbaustein. Später kamen Midjourney für Bilder dazu, dann Gemini und Claude. Jedes Werkzeug hat uns eine Zeit beschäftig, auch beeindruckt, seine Relevanz verloren, wieder zurückerobert und viele Nerven gekostet.
In dieser Phase sind viele Unternehmen heute: KI als Werkzeug am einzelnen Arbeitsplatz, meist das bekannteste Produkt. Unter den KI-Anwendungen in deutschen Unternehmen liegt ChatGPT mit 70 Prozent weit vorn (Bitkom, 2025). Das bringt Änderungen in Arbeitsabläufe einzelner Aufgaben. Die eigentlich Abläufe des Unternehmens bleiben davon unberührt. Das war bei uns nicht anders.
Der erste Agent
Einen Schritt in Richtung Automatisierung sind wir im vergangenen Jahr gegangen, mit unserem ersten Agenten. Der Unterschied zum KI-Chatbot ist, dass ein Agent nicht auf eine Frage wartet, sondern er führt Arbeitsschritte selbstständig aus: Informationen suchen, prüfen, weitergeben. So entstand unser Agent Lisa Lunch und sie sollte herausfinden, welche Restaurants in der Umgebung welches Mittagessen anbieten. Sie recherchiert seitdem die Speisekarten und zeigt das Angebot im Team-Chat und auf den Bildschirmen in der Ideenfabrik.
Lisa ist damit unser erster Lauf eines Recherche-Agenten. Ein nicht zu unterschätzender Vorteil ist, dass unser Team jeden Tag, was ein KI-Agent macht und damit die Agenten in den Alltag eintauchen, ohne das es sich wie KI anfühlt.
Genau daran fehlt es vielen Unternehmen: Als größte Hürde für KI-Agenten nennen Entscheider mangelndes Vertrauen (32 Prozent), knapp dahinter einen unklaren Nutzen (31 Prozent). Nach dieser Befragung setzen 24 Prozent der kleinen und mittleren Unternehmen bereits Agenten ein (YouGov im Auftrag von Alibaba.com und bevh, 2026).
Scheitern hat meist dieselben Ursachen
Mit den nächsten Agenten kamen die Fehlschläge, und es waren viele. Unseren Daten fehlte Struktur. Sie waren zu grob erfasst, sodass ein Agent ähnliche Einträge nicht auseinanderhalten konnte. Und wir haben den Agenten zu viel Material auf einmal gegeben. Ein Sprachmodell verarbeitet bei jeder Anfrage einen begrenzten Ausschnitt an Informationen, den Kontext. Wird er zu groß und zu unsortiert, füllt das Modell Lücken mit plausibel klingenden, falschen Angaben. Diesen Effekt nennt die Fachwelt Halluzination. Warum KI-Agenten mit weniger Kontext bessere Ergebnisse liefern, haben wir in einem eigenen Beitrag beschrieben.
Dazu kamen unklare Aufgabenstellungen. Ein Agent, der nicht genau weiß, was er liefern soll, probiert. Jeder Versuch kostet Rechenzeit, und wir haben viel Budget für unklare Aufgabenstellungen ausgegeben.
Hinter jedem dieser Fehler standen unsere Daten bzw. Datenstrukturen. Das dasselbe Bild zeigen auch die Projekt in anderen Unternehmen. 44 Prozent der Unternehmen, die KI erwogen und nicht eingeführt haben, nennen mangelnde Datenqualität als Grund (Destatis, 2025). Die KfW zählt unzureichende Datengrundlagen zu den wichtigsten Hemmnissen im Mittelstand (Zimmermann, KfW Research, 2026). Und wer KI bereits nutzt, nennt die Datenaufbereitung mehr als doppelt so oft als großen Kostenpunkt wie Abos und Lizenzen.
Ein Jahr aufräumen
Die Konsequenz war ein Jahr Aufräumarbeit, und sie ist nicht abgeschlossen. Wir strukturieren unsere Daten weiter und zerlegen sie in immer feinere Einheiten.
Zwei Begriffe helfen, das zu verstehen. Rohdaten sind Daten, wie sie entstehen: eine Lieferantenliste mit Tippfehlern, doppelten Einträgen und Freitext. Bereinigte Daten sind geprüft, vereinheitlicht und in klare Felder getrennt. Wie fein diese Felder geschnitten sind, heißt Granularität. Steht in einer Werkzeugliste nur „Bohrer 8 mm Hersteller blau“, muss ein Agent raten. Stehen Werkzeugart, Durchmesser, Hersteller und Lagerort in eigenen Feldern, kann er suchen, vergleichen und nachbestellen.
Die Arbeit kostet Zeit, doch sie zahlt sich wirklich aus: Unsere Agenten verbrauchen deutlich weniger Rechenleistung (erzeugen also auch weniger Kosten) pro Aufgabe und halluzinieren deutlich seltener.
Eigene Daten, eigene Daten-Ablage
Unsere Agenten laufen auf eigener Infrastruktur. Sie sollen frei lernen, ohne Einschränkung mit dem Team kommunizieren und auf unsere Daten zugreifen können. Das geht nur, wenn wir die Hoheit über unsere Daten behalten und unabhängig entscheiden, was mit ihnen geschieht. Sensible Informationen wie Kalkulationen oder personenbezogene Daten verarbeiten die Agenten mit lokalen Modellen und für die Recherche oder komplexe Suche können Sie auf Cloud-Modelle zugreifen.
Und man darf auch nicht ganz die Geschäftsmodelle der großen Cloud-Anbieter aus dem Auge verlieren, denn sie rechnen nach verarbeiteter Textmenge ab. Große Kontexte sind für sie Umsatz. Der Wettbewerb drückt die Preise pro Einheit relativ zu den Markpreisen, trotzdem steigen die Marktpreise bei allen Modellen und mit jedem Update.
Dazu kommt diese Struktur auch dem Wunsch vieler Unternehmen nahe. Denn unabhängig und frei eine KI wählen zu können, teilen fast alle Unternehmen. 93 Prozent würden bevorzugt KI deutscher Anbieter nutzen, wenn es dort Angebote gäbe. Die beiden europäischen Anbieter in der Befragung, Aleph Alpha und Mistral, kommen zusammen nur auf 0,5 Prozent (Bitkom, 2025).
Solange KI ein Werkzeug am Arbeitsplatz bleibt, fällt diese Lücke kaum auf. Sobald Agenten an die eigenen Daten gehen, wird sie zur Grundsatzfrage. Was dabei zu entscheiden ist, haben wir im Beitrag über digitale Souveränität im Mittelstand aufgeschlüsselt.
Die Angst im Team
Je mehr die Agenten übernehmen, desto stärker betrifft das die Menschen im Unternehmen. Wir sind weit, und trotzdem gibt es Ängste in unserem Team. Die Entwicklung ist so schnell, dass kaum jemand Schritt halten kann. Die Sorge, ersetzt zu werden, lässt sich mit Argumenten nicht auflösen. Der Schritt zur Robotik bringt weitere Ängste.
Das Institut für Mittelstandsforschung kommt in seinen Fallstudien zum selben Befund: Vorbehalte und Ängste in der Belegschaft gehören zu den zentralen Hemmnissen, gleichrangig mit Datenschutz und Datenqualität. Die Studie zeigt auch, dass KI Unternehmen entlastet, die für Routinearbeit ohnehin keine Fachkräfte mehr finden (Schneider et al., IfM Bonn, 2026).
Wir begegnen diesen Ängsten mit Persönlichkeiten: Jeder Agent hat einen Namen, eine Rolle und seinen Charakter. Toni verwaltet Werkzeug und Material in der Werkstatt, Paul recherchiert Firmen für den Vertrieb, Lisa kümmert sich ums Mittagessen und andere Agenten haben andere Aufgaben. Das löst die Angst nicht komplett auf, doch es schafft Nähe, weil das Team mit „künstlichen Kollegen“ arbeitet.
Daten, KI, Roboter
Aus diesen Stationen ergibt sich unsere Reihenfolge, die wir auch unseren Kunden raten. Erst die Daten, dann die KI, dann der Roboter. Jede Stufe setzt die vorige voraus. Ein Agent ohne saubere Daten rät. Ein Roboter ist im Kern ein Agent mit Körper, er braucht dieselben Daten und hat weniger Spielraum für Fehler.
Nehmen Sie sich eine Datenquelle vor, mit der Ihr Unternehmen täglich arbeitet: die Artikelliste, die Kundendatei oder das Auftragsbuch. Prüfen Sie, wie viel davon Rohdaten sind und wie viel bereinigt, und ob die Felder fein genug sind, dass ein neuer Mitarbeiter ohne Rückfrage damit arbeiten kann. Was ein neuer Kollege nicht versteht, versteht ein Agent auch nicht.
Danach folgt die erste Aufgabe für einen Agenten, so klein, dass ein Fehler kein Problem ausslöst. Wie weit Ihr Betrieb für diesen Schritt ist, zeigt eine Prüfung der KI-Readiness, die Daten, Abläufe und Team gemeinsam betrachtet.
Wer seine Daten nicht versteht, kann einer KI nicht sagen, was sie tun soll. Und einem Roboter erst recht nicht.
Die Modelle entwickeln die Anbieter weiter, darauf haben wir alle nur wenig Einfluss. Die eigenen Daten bringt niemand sonst in Ordnung. Dort liegt der Vorsprung, den sich Ihr Unternehmen heute selbst erarbeiten kann.
