36 Prozent der deutschen Unternehmen nutzen Künstliche Intelligenz, fast doppelt so viele wie im Vorjahr (Bitkom, 2025). Mehr als die Hälfte ihrer Beschäftigten nutzt sie zusätzlich auf eigene Faust, am Unternehmen vorbei (Software AG, 2024). Beide Zahlen wachsen. Nur eine Zahl wächst nicht: die der messbaren Wertschöpfung. Gartner prognostiziert, dass über 40 Prozent der agentischen KI-Projekte bis Ende 2027 eingestellt werden. Hauptgrund: unklare Wirkung, steigende Betriebskosten, keine Strategie.
Der Widerspruch ist sichtbar. Die Tools sind da. Die Lizenzen sind gekauft. Und trotzdem kommt der Mittelstand mit KI nicht voran. Der Grund liegt nicht in der Technologie. Er liegt in der fehlenden Architektur dahinter.
Die Tools sind da. Die Architektur fehlt.
In typischen Mittelstands-Setups stehen heute nebeneinander: ein Microsoft-Copilot-Abo für das Office-Team, drei ChatGPT-Plus-Accounts in der Marketing-Abteilung, ein KI-Feature im CRM, ein Übersetzer-Tool im Service. Jedes Werkzeug erledigt einen Teilauftrag. Keines weiß, was die anderen tun. Niemand weiß, welche Daten in welche Cloud abgewandert sind. Niemand misst, ob die Investition wirkt.
Das Resultat hat einen Namen: Schatten-KI. Beschäftigte nutzen KI, weil sie produktiv sein wollen, ihre Unternehmen aber keine Spielregeln bereitstellen. Eine vom Bundesarbeitsministerium beauftragte Studie des ZEW zeigt, dass rund 60 Prozent der Beschäftigten KI am Arbeitsplatz einsetzen, ob offiziell oder nicht. Parallel dazu kommt eine Salesforce-Erhebung zu dem Schluss, dass 84 Prozent der technischen Führungskräfte ihre Datenstrategie für nicht KI-tauglich halten. Das ist die Lage: ein Werkzeugkasten, in dem alle gleichzeitig hämmern, ohne dass jemand den Bauplan hat.
KI im Mittelstand scheitert selten am Modell. Sie scheitert daran, dass niemand die Architektur dahinter entworfen hat.
Wer das verstanden hat, hört auf, weitere Lizenzen zu kaufen, und fängt an, ein System zu bauen. Dieses System hat einen Namen: KI-Orchestrierung.
Was Orchestrierung wirklich bedeutet
Orchestrierung ist kein Tool. Sie ist nicht ein Produkt, das man im SaaS-Shop bestellt. Sie ist die Art und Weise, wie Daten, Agenten, Spielregeln und Menschen aufeinander abgestimmt werden, damit aus einzelnen KI-Funktionen ein System wird, das Wirkung erzeugt.
Der Unterschied zur Automatisierung ist wichtig. Automatisierung erledigt eine einzelne Aufgabe maschinell, ein Skript schickt eine Rechnung raus, ein Trigger legt einen Datensatz an. Orchestrierung dagegen verbindet diese Schritte zu einem nachvollziehbaren Gesamtprozess, in dem mehrere Aufgaben miteinander gekoppelt sind und an definierten Stellen ein Mensch entscheidet (IBM, 2025). Wer automatisiert, beschleunigt einzelne Vorgänge. Wer orchestriert, baut ein digitales Teammitglied. Diese Sichtweise greift auf, was wir bereits im Beitrag KI ersetzt nicht. KI verstärkt. beschrieben haben.
Eine Forschungsarbeit der Harvard Business School beschreibt das, was passiert, wenn Orchestrierung fehlt, als „Jagged Technological Frontier“ (Dell’Acqua et al., 2023). KI verbessert die Ergebnisse für die einen Aufgaben deutlich, für andere verschlechtert sie sie – und zwar innerhalb desselben Arbeitsablaufs. Die Differenz entsteht nicht im Modell. Sie entsteht in der Frage, ob jemand vorher überlegt hat, welche Teile des Prozesses die KI bekommt und welche der Mensch behält.
Genau dort liegt die Lücke im Mittelstand. Modelle gibt es viele. Architekten gibt es wenige.
Sechs Hebel für KI im Mittelstand, die in der Praxis funktionieren
In unserer Beratungspraxis sehen wir, dass KI-Orchestrierung im Mittelstand auf sechs Hebeln steht. Keiner davon ist Raketenwissenschaft. Zusammen bilden sie aber den Bauplan, der zwischen einem Flickenteppich und einem System entscheidet.
Eine Wahrheit, nicht zehn Tools
Der erste Hebel ist die Datenkonsolidierung. Solange Kundendaten im CRM stehen, Auftragsdaten in der Warenwirtschaft, Marketing-Daten im E-Mail-Tool und Inventarlisten in der Excel-Datei eines Mitarbeiters liegen, kann kein KI-System verlässlich arbeiten. Es würde drei verschiedene Antworten auf dieselbe Frage geben, eine pro Datentopf. Orchestrierung beginnt damit, eine einzige verbindliche Datenquelle zu definieren – eine Wahrheit, auf die sich alle Agenten beziehen (Single Source of Truth). Das ist unspektakulär, oft mühsam und genau deshalb die Stelle, an der die meisten Mittelständler innerlich aussteigen. Genau hier entscheidet sich aber, ob die KI später überhaupt etwas Sinnvolles tun kann.
Agenten mit Rollen, nicht „die KI“
Der zweite Hebel ist die Rollendefinition. Wer von „der KI“ spricht, hat noch keine Architektur. Wer von Paul für den Vertrieb, Toni für das Lager und Pia für die Inhalte spricht, hat angefangen, ein Team zu bauen. Das ist mehr als kosmetische Namensgebung. Eine klar definierte Rolle erlaubt es, dem Agenten genau die Daten, Werkzeuge und Befugnisse zu geben, die er für seine Aufgabe braucht – und nichts darüber hinaus. Sie macht es möglich, seine Arbeit zu prüfen. Und sie schafft im Team die mentale Klarheit, dass dieser Agent eine bestimmte Aufgabe hat und nicht alles tun soll, was irgendjemand reinpasst.
Spielregeln vor Autonomie
Der dritte Hebel sind die Spielregeln. Was darf ein Agent autonom entscheiden? Wo braucht es eine Freigabe durch einen Menschen? Wo wird protokolliert, damit später nachvollziehbar ist, warum etwas passiert ist? Das sind keine theoretischen Fragen mehr, seit der EU AI Act in Kraft ist und ab August 2026 Nachweispflichten für bestimmte KI-Anwendungen vorschreibt. In der Praxis bedeutet das: Ein Agent, der eine Tippfehler-Korrektur auf einer Magazinseite vorschlägt, darf das direkt umsetzen. Ein Agent, der einen Lead anschreibt oder ein Angebot verschickt, darf das nicht ohne menschliche Freigabe. Der Unterschied ergibt sich nicht aus dem Modell, sondern aus der Spielregel, die das Unternehmen definiert hat.
Selbst gehostet, nicht ausgeliefert
Der vierte Hebel ist die Frage der Datensouveränität. Wer einen KI-Agenten auf einem Cloud-Dienst aufsetzt, dessen Geschäftsmodell auf dem Trainieren mit Kundendaten beruht, gibt den Hebel aus der Hand. Im Mittelstand, wo Kundenbeziehungen, technische Spezifikationen und Auftragshistorien zum Kapital gehören, ist das eine strategische Entscheidung, keine technische. Self-Hosted-First bedeutet, dass die Bausteine, wo immer es geht, auf eigener Infrastruktur laufen. Das ist heute deutlich erreichbarer als noch vor zwei Jahren. Es ist aber keine Standardeinstellung, sondern eine bewusste Wahl, die in der Architektur getroffen wird.
Klein anfangen, am Tippfehler
Der fünfte Hebel ist die Wahl des ersten Einsatzes. Viele Mittelständler scheitern, weil sie mit der großen Vision beginnen, mit dem Vertriebs-Agenten, der die Pipeline füllen soll, oder mit dem Service-Bot, der die Hotline ersetzt. Das ist ein Fehler. Der erste produktive Agent sollte etwas Kleines tun, etwas Messbares, etwas, dessen Wirkung niemand bestreiten kann. Ein Agent, der jede Stunde Ihre Website nach Tippfehlern absucht, hat überschaubaren Schaden, wenn er falsch liegt, und schafft sichtbaren Wert, wenn er richtig liegt. Vor allem aber zeigt er dem Team, was Orchestrierung praktisch bedeutet, bevor das Vertrauen für größere Aufgaben da ist.
Wirkung messen, nicht Aktivität
Der sechste Hebel ist die Messung. „Wir nutzen jetzt KI“ ist kein Ergebnis. „Der Agent hat im letzten Monat 47 Korrekturen vorgenommen, 12 Rankings verbessert und drei veraltete Inhalte gemeldet“ ist ein Ergebnis. Der Unterschied zwischen beiden Sätzen ist die Differenz zwischen einem Hobby und einer Investition. Wer KI orchestriert, definiert vorher, was zählbar ist – Zeit, Fehlerquote, Umsatz, Bearbeitungsgeschwindigkeit – und prüft regelmäßig, ob die Zahl in die richtige Richtung geht. Ohne Messung wird jedes KI-Projekt zur Glaubensfrage. Mit Messung wird es zur Entscheidung.
Wie das in der Werkstatt aussieht
Diese sechs Hebel sind kein Whitepaper, sondern ein Bauplan. In unserem eigenen Betrieb läuft auf dieser Architektur ein digitales Team, das jeden Tag produktiv arbeitet – und ein guter Teil der Erkenntnisse stammt aus genau dieser Erfahrung.
Da ist Paul, ein Vertriebsagent, der eingehende Anfragen recherchiert, einen Marktradar pflegt und Angebote vorbereitet. Er entscheidet nichts allein. Aber er sortiert, fasst zusammen und legt einem Menschen einen entscheidungsreifen Vorgang auf den Tisch.
Da ist Toni, der das Werkzeuglager im Blick behält. Inventar wird per Sprache oder Chat erfasst oder über die Bildschirme im der Werkstatt kommuniziert.
Da ist Pia, die Recherche, Entwürfe und die Planung für Social-Media-Inhalte übernimmt, an klaren Stellen aber den Menschen einbindet, der den Markenstil prägt. Daneben läuft jede Stunde ein Audit-Agent, findet Tippfehler, prüft SEO-Daten und meldet veraltete Inhalte.
Verbunden werden alle durch eine Wissensbasis, in der die Single Source of Truth liegt: Was sind unsere Leistungen, unsere Kunden, unsere Prozesse?
Wichtig ist: Diese Agenten sind nicht das Produkt. Sie sind der Beweis, dass die Architektur funktioniert. Jeder von ihnen hat eine klare Rolle, klare Spielregeln und eine messbare Wirkung. Sie laufen auf eigener Infrastruktur. Sie haben klein angefangen und werden wie wir „jeden Tag ein bisschen besser als gestern“.
Genau diese Bauplan-Kompetenz ist das, was im Mittelstand in den seltensten Fällen intern vorhanden ist. Sie ist der Kern unserer Arbeit in der KI-Beratung für mittelständische Unternehmen.
Warum der Mittelstand im Vorteil ist – und wo der Haken sitzt
Im Mittelstand sitzt der Geschäftsführer am Tisch, wenn entschieden wird. Es gibt keine Konzern-IT, die 18 Monate für eine Freigabe braucht. Es gibt keine fünfstufige Compliance-Abteilung, die jede Datenfreigabe gegenprüft. Das ist der unterschätzte strukturelle Vorteil. Wer im Mittelstand eine Architektur aufbauen will, kann in 3 bis 6 Monaten erste produktive Ergebnisse sehen, wo Konzerne noch in Pilotphasen stecken.
Der Haken ist ein anderer. Die Bitkom-Studie 2025 nennt drei Hauptbarrieren beim KI-Einsatz, jede betrifft mehr als die Hälfte der Unternehmen: rechtliche Verunsicherung, fehlendes technisches Know-how und fehlende personelle Ressourcen. Anders gesagt: Es fehlt nicht am Willen. Es fehlt an der Architektur-Kompetenz, die diese drei Bremsen löst. Wer einen erfahrenen Architekten hat, kommt schneller voran als jeder Konzern. Wer keinen hat, kauft Lizenzen und wundert sich über die Stille.
Es ist nicht die KI selbst, die zum Wettbewerbsvorteil wird. Es ist die Frage, wie gut sie mit Ihrem Team zusammenspielt. Diese Frage entscheidet sich nicht in der Software, sondern in der Architektur.
Fazit
Wenn Sie heute KI voranbringen wollen, geht es zunächst um drei sehr konkrete Schritte, nicht um eine große Strategie.
- Verschaffen Sie sich einen Überblick darüber, welche KI-Tools in Ihrem Unternehmen aktuell tatsächlich genutzt werden – auch und gerade die, die niemand offiziell eingeführt hat.
- Identifizieren Sie eine Routineaufgabe, deren Wirkung sich messen lässt und deren Risiko überschaubar ist.
- Definieren Sie schriftlich, welche Daten in Ihrem Unternehmen die maßgebliche Wahrheit darstellen und wo sie liegen.
Wer diese drei Schritte gegangen ist, hat den schwierigsten Teil hinter sich. Den Rest kann man bauen – mit der richtigen Architektur, mit dem richtigen Team und mit der Erfahrung, die nicht aus Werbevideos kommt, sondern aus produktiv laufenden Agenten.
KI-Orchestrierung ist die neue Kernkompetenz. Sie ist nicht das nächste Tool, das Sie kaufen können. Sie ist die Art und Weise, wie Sie alles zusammensetzen, was Sie schon haben.
