In fast jedem Betrieb gibt es diese eine Person, die alles weiß. Welche Gewährleistung für welches Produkt gilt. Wo die aktuelle Preisliste liegt. Wie die Rechnung an diesen einen Großkunden aussehen muss.

Ist diese Person im Urlaub, krank oder irgendwann im Ruhestand, wird es schwierig. Das Wissen steckt in ihrem Kopf, in alten E-Mails und in Ordnern, die niemand sonst durchschaut.

Hier setzt ein KI-Assistent mit Firmenwissen an.

Was ist ein KI-Assistent mit Firmenwissen?

Ein allgemeines Chat-Tool wie ChatGPT antwortet aus seinem Training. Es kennt Wikipedia, Fachartikel und Foren. Deine Leistungsbeschreibungen, deine Preise und deine internen Abläufe kennt es nicht. Fragst du trotzdem danach, rät es oder erfindet eine plausibel klingende Antwort.

Ein KI-Assistent mit Firmenwissen arbeitet anders. Vor jeder Antwort schlägt er in den Unterlagen deines Betriebs nach, sucht die passenden Stellen heraus und formuliert daraus seine Antwort. Ein gut gebauter Assistent nennt dabei die Quelle, also das Dokument, aus dem die Information stammt.

Fachbegriff: Dieses Verfahren heißt Retrieval-Augmented Generation, kurz RAG. Übersetzt: Die KI holt sich zuerst die passenden Informationen (Retrieval) und erzeugt dann daraus die Antwort (Generation).

Allgemeines Chat-Tool und Firmen-Assistent im Vergleich

Allgemeines Chat-ToolAssistent mit Firmenwissen
WissensquelleAllgemeines TrainingDeine eigenen Unterlagen
Fragen zu deinem BetriebRät oder erfindetAntwortet aus deinen Dokumenten
QuellenangabeMeist nicht nachvollziehbarVerweist auf das konkrete Dokument
AktualitätStand des TrainingsSo aktuell wie deine Unterlagen
ZugriffsrechteKeineLassen sich nach Rolle festlegen

Wofür sich das im Alltag lohnt

Intern: Wissen für das Team

Extern: Antworten für Kunden

Der Nutzen ist in beiden Fällen derselbe: Wiederkehrende Fragen werden beantwortet, ohne dass jemand seine eigentliche Arbeit unterbrechen muss.

Was ein KI-Assistent nicht kann

Hier wird es gerne beschönigt. Deshalb ganz klar:

Was du vorher klären musst

1. Welche Unterlagen gehören hinein?

Der wichtigste und meist unterschätzte Schritt. Sammle die Dokumente, die wirklich gelten, und sortiere alte Versionen aus. Lege fest, wer die Unterlagen künftig aktuell hält. Ohne diese Pflege veraltet auch der beste Assistent.

2. Wer darf was sehen?

Nicht jede Information ist für jeden bestimmt. Gehälter, Personalakten oder Kalkulationen gehören nicht in einen Assistenten, den alle Mitarbeitenden oder gar Kunden nutzen. Ein Kunden-Chat bekommt nur Unterlagen, die du auch öffentlich zeigen würdest.

3. Datenschutz

Sobald personenbezogene Daten im Spiel sind, gilt die DSGVO. Achte darauf, dass mit dem Anbieter ein Auftragsverarbeitungsvertrag besteht, dass klar ist, wo die Daten verarbeitet werden, und dass deine Daten vertraglich nicht zum Training der KI verwendet werden.

4. EU AI Act

Schreiben oder sprechen Kunden direkt mit dem Assistenten, müssen sie seit dem 2. August 2026 erfahren, dass sie mit einer KI kommunizieren. Was das konkret bedeutet, steht in meinem Artikel zum EU AI Act für kleine Unternehmen. Außerdem gilt schon seit Februar 2025 die Pflicht, dass Mitarbeitende die KI-Werkzeuge verstehen, mit denen sie arbeiten. Eine kurze Einweisung gehört deshalb zur Einführung dazu.

Lohnt sich das für deinen Betrieb?

Drei Fragen helfen bei der Einschätzung:

Kannst du alle drei mit Ja beantworten, ist ein Assistent mit Firmenwissen einen genaueren Blick wert. Fehlt das dritte Ja, löst du zuerst das Dokumentationsproblem. Sonst automatisierst du nur das Chaos.

Klein anfangen statt alles auf einmal

Der häufigste Fehler ist, gleich das gesamte Unternehmenswissen anbinden zu wollen. Besser ist ein klar abgegrenzter Bereich mit vielen wiederkehrenden Fragen, zum Beispiel Kundenanfragen zu deinen Leistungen oder die Einarbeitung. Dort siehst du schnell, ob die Antworten stimmen und ob dein Team den Assistenten nutzt. Erst danach kommen weitere Unterlagen dazu.

Wie du generell den passenden ersten Prozess für KI findest, beschreibe ich in KI-Automatisierung für kleine Unternehmen. Wenn du wissen willst, wie so ein Assistent auf deiner Website oder am Telefon aussehen kann, schau dir die Beispielabläufe an.

Häufige Fragen (FAQ)

Was ist ein KI-Assistent mit Firmenwissen? +
Ein KI-Assistent, der vor jeder Antwort in den Unterlagen deines Betriebs nachschlägt, zum Beispiel in Leistungsbeschreibungen, Preislisten oder Arbeitsanweisungen. Er antwortet auf Basis dieser Dokumente und nennt die Quelle. Allgemeine Chat-Tools wie ChatGPT kennen dein Unternehmen dagegen nicht.
Kann ein KI-Assistent mit Firmenwissen falsche Antworten geben? +
Ja. Er ist nur so gut wie die Unterlagen, die er bekommt. Veraltete oder widersprüchliche Dokumente führen zu falschen Antworten. Deshalb sollte jede Antwort die Quelle nennen, und bei wichtigen Fachfragen prüft ein Mensch das Ergebnis.
Wird mein Firmenwissen zum Training der KI verwendet? +
Das hängt vom Anbieter und Vertrag ab. Für den Einsatz im Betrieb solltest du einen Dienst wählen, bei dem vertraglich ausgeschlossen ist, dass deine Daten zum Training genutzt werden, und mit dem ein Auftragsverarbeitungsvertrag nach DSGVO besteht.
Muss ein KI-Assistent als KI gekennzeichnet werden? +
Sobald Kunden oder andere Personen direkt mit dem Assistenten schreiben oder sprechen, verlangt der EU AI Act seit August 2026, dass sie erfahren, dass sie mit einer KI kommunizieren – es sei denn, das ist offensichtlich. Bei rein internem Einsatz solltest du deine Mitarbeitenden trotzdem klar informieren.
Womit fange ich am besten an? +
Mit einem klar abgegrenzten Bereich, in dem immer wieder dieselben Fragen auftauchen, zum Beispiel Kundenanfragen zu deinen Leistungen oder die Einarbeitung neuer Mitarbeitender. Erst wenn das zuverlässig läuft, lohnt es sich, weitere Unterlagen anzubinden.

Welche Fragen beantwortest du jeden Tag aufs Neue?

Im kostenlosen Erstgespräch schauen wir, ob sich ein KI-Assistent mit deinem Firmenwissen für dich lohnt und welche Unterlagen dafür nötig sind. Ich sage dir ehrlich, wenn es sich nicht lohnt.

Kostenloses Erstgespräch buchen

30 Minuten · unverbindlich · direkt mit Ute Müller