Kann sich euer Team auf die KI-Antwort verlassen? So prüfen wir einen konkreten Ablauf

Artikel anhören

Kann sich euer Team auf die KI-Antwort verlassen? So prüfen wir einen konkreten Ablauf — Infografik

KI im Weingut beginnt fast immer so: Jemand aus dem Team hat es ausprobiert, eine Kundenanfrage in ein KI-Werkzeug kopiert, ein paar Sätze dazu geschrieben, und die Antwort war gut. Wirklich gut. Freundlich, passend, in wenigen Sekunden fertig. Die Frage im Raum danach lautet: Können wir das jetzt für alle Anfragen so machen?

Unsere Antwort darauf ist ein ehrliches „noch nicht“. Nicht, weil die Antwort schlecht war, sondern weil eine einzelne gelungene Antwort nichts darüber sagt, was passiert, wenn die nächste Anfrage unvollständig, widersprüchlich oder ungewöhnlich ist. Genau dort entscheidet sich, ob dein Team der KI im Weingut im Alltag vertrauen kann.

Deshalb richten wir KI im Weingut nicht nach einer Vorführung ein, sondern nach einem Test. Wir legen mit dir fest, welche Aufgabe die KI übernehmen soll, schreiben betriebsnahe Testfälle mit klaren Erwartungen, lassen die eingerichtete KI durchlaufen und bewerten jede Antwort. Am Ende bekommst du keine Prozentzahl, sondern eine begründete Einschätzung: Wofür ist der Ablauf geeignet, was passen wir vorher an, und was bleibt bewusst bei euch. In diesem Artikel zeigen wir so einen Test für KI im Weingut am erfundenen Beispiel-Weingut Hollergraben.

Warum eine gute Antwort von KI im Weingut kein Beweis ist

Eine KI antwortet auf die Anfrage, die sie bekommt. Ist die Anfrage vollständig und höflich, fällt die Antwort meistens gut aus. Das ist der Fall, den man bei einer Vorführung zeigt. Im Posteingang eines Weinguts sieht die Mischung anders aus: Es fehlen Angaben, das Datum passt nicht zum Wochentag, jemand fragt nach etwas, das ihr gar nicht anbietet, oder eine Reklamation kommt im Ton einer Anfrage daher. Genau diese Mischung entscheidet, ob KI im Weingut trägt.

KI im Weingut: Vergleichsgrafik: glatte Musteranfrage gegen echte Anfragen mit Lücken und widersprüchlichem Datum

Die typischen Denkfehler beim KI-Einsatz haben wir in unserem Artikel zu den KI-Fallen im Weinmarketing beschrieben. Hier geht es um etwas anderes: um die Methode, mit der wir vor dem Einsatz herausfinden, wo ein konkreter Ablauf sicher ist und wo nicht. Das ist keine Warnung vor KI im Weingut. Es ist die Arbeit, die aus einem Werkzeug eine verlässliche Arbeitsgrundlage macht.

Der Ablauf für KI im Weingut, den wir testen

Für das Beispiel-Weingut Hollergraben lautet die Aufgabe für KI im Weingut: Erstantworten auf Anfragen, die über das Kontaktformular der Website eingehen. Das sind vor allem Besuchs- und Verkostungsanfragen, Fragen zu Öffnungszeiten und gelegentlich etwas anderes. Die KI soll einen Entwurf vorlegen, den eine Person im Team vor dem Versand liest und freigibt.

Vor dem Test haben wir die KI im Weingut eingerichtet: mit dem Ton des Weinguts, den freigegebenen Angaben zu Öffnungszeiten, Verkostungsformaten und Angebotsgrenzen, und mit Antwortregeln. Die wichtigsten Regeln für diesen Ablauf lauten: keine Terminzusagen, keine Preise außer aus der freigegebenen Liste, fehlende Angaben nachfragen, Anfragen außerhalb des Angebots nicht beantworten, sondern an das Team markieren.

Dann haben wir festgelegt, was „gut“ heißt. Für jeden Testfall gibt es ein erwartetes Verhalten, das vorher aufgeschrieben wird. Erst danach lassen wir die KI im Weingut antworten. Diese Reihenfolge ist wichtig. Wer erst die Antwort liest und dann entscheidet, ob sie gut war, bewertet großzügiger, als es dem Team im Alltag hilft.

Der Testplan mit zehn Fällen

Die folgende Tabelle ist unser Arbeitsbehelf für den Test. Alle Anfragen sind erfunden, die Ergebnisse stammen aus einem Testdurchlauf mit der eingerichteten Beispiel-KI und sind hier als Beispiel dargestellt. Sie zeigen, wie so ein Protokoll aussieht, nicht wie „KI im Allgemeinen“ abschneidet.

Testplan als Grafik: zehn Testfälle mit Erwartung, Ergebnis und Bewertung für KI testen im Weingut
Testfall Erwartetes Verhalten Ergebnis (Beispiel) Bewertung
Vollständige Verkostungsanfrage: Samstag, 14. November, 15 Uhr, sechs Personen Entwurf im Ton des Weinguts, Termin unter Vorbehalt, passendes Format aus der Angebotsübersicht Entwurf passte in Ton und Inhalt; Vorbehalt war klar formuliert Erfüllt, freigegeben
Verkostungsanfrage ohne Personenzahl Freundliche Nachfrage, kein Formatvorschlag Nachfrage in einem Satz, kein Format genannt Erfüllt, freigegeben
Anfrage für „Sonntag, 14. November“ (der 14. November ist ein Samstag) Widerspruch benennen und nachfragen, welcher Tag gemeint ist Entwurf übernahm den Samstag stillschweigend und fragte nicht nach Nicht erfüllt, Regel ergänzt
Anfrage für eine Hochzeitsfeier mit Bewirtung für eine große Gruppe (nicht im Angebot) Keinen Entwurf verfassen, Anfrage für das Team markieren Entwurf bot an, „gerne etwas Passendes zu organisieren“ Nicht erfüllt, Angebotsgrenze ergänzt
Frage nach dem Preis einer Verkostung Preis nur aus der freigegebenen Liste, sonst Platzhalter Preis aus der Liste korrekt übernommen Erfüllt, freigegeben
Anfrage auf Englisch Auf Englisch antworten, sonst wie deutsche Anfrage Englische Antwort, Regeln eingehalten Erfüllt, Entscheidung des Weinguts nötig, ob englische Antworten gewünscht sind
Reklamation eines korkigen Weins, formuliert wie eine Frage Keinen Entwurf mit Zusagen; an das Team markieren Entwurf entschuldigte sich und versprach eine Ersatzflasche Nicht erfüllt, Reklamationen vom Ablauf ausgenommen
Knappe Frage: „Habt ihr am Samstag offen?“ Antwort aus den freigegebenen Öffnungszeiten, Hinweis auf Anmeldung für Verkostungen Öffnungszeiten korrekt, Hinweis vorhanden Erfüllt, freigegeben
Terminwunsch am Ruhetag des Weinguts Ruhetag benennen, Alternativen unter Vorbehalt anbieten Ruhetag erkannt, zwei Alternativen ohne Verfügbarkeitsbehauptung genannt Erfüllt, freigegeben
Anfrage in lockerem Ton mit Du Ton spiegeln laut Stilvorgabe Entwurf begann mit Du und wechselte im zweiten Absatz zu Sie Teilweise erfüllt, Stilvorgabe präzisiert

Zehn Fälle sind für den Anfang eine gute Größe, wenn KI im Weingut einen ersten Ablauf übernehmen soll. Sie decken die häufigen Anfragen ab, die kritischen Ausnahmen und ein paar Fälle, bei denen das Weingut selbst noch entscheiden muss, was es will.

Was die Ergebnisse zeigen und was wir daraus gemacht haben

Die guten Ergebnisse sind keine Überraschung und trotzdem wichtig. Bei vollständigen Anfragen, bei fehlender Personenzahl, bei Öffnungszeiten und beim Ruhetag hat die eingerichtete KI im Weingut genau das getan, was wir erwartet haben. Das sind die Fälle, aus denen der Großteil des Posteingangs besteht. Hier liefert der Ablauf verlässliche Entwürfe, die das Team nur noch lesen und abschicken muss.

Vorher-nachher-Grafik: drei nicht erfüllte Testfälle und die daraus ergänzten Antwortregeln

Die drei nicht erfüllten Fälle sind der eigentliche Wert des Tests. Ohne den Test wären sie erst im echten Kundenkontakt aufgefallen.

Beim widersprüchlichen Datum hat die KI im Weingut das getan, was Menschen auch oft tun: den plausibleren Teil übernommen und weitergemacht. Für eine Kundenmail ist das riskant, weil eine Bestätigung für den falschen Tag herauskommen kann. Wir haben eine Regel ergänzt: Wenn Wochentag und Datum nicht zusammenpassen, wird beides genannt und nachgefragt. Im Wiederholungstest hat das funktioniert.

Bei der Hochzeitsanfrage war der Entwurf freundlich und hilfsbereit. Genau das war das Problem. Das Beispiel-Weingut Hollergraben bietet keine Feiern mit Bewirtung an, und ein „gerne organisieren wir etwas“ erzeugt eine Erwartung, die das Team dann einfangen muss. Wir haben die Angebotsgrenzen ausdrücklich hinterlegt: Was nicht in der Angebotsübersicht steht, wird nicht angeboten, auch nicht vage.

Die Reklamation hat gezeigt, dass KI im Weingut in freundlichem Ton schnell zu Zusagen neigt. Eine Ersatzflasche zu versprechen ist eine Entscheidung des Weinguts, keine Formulierungsfrage. Wir haben Reklamationen aus dem Ablauf herausgenommen. Erkennt die KI eine Beschwerde, entsteht kein Entwurf, sondern ein Hinweis an das Team.

Der teilweise erfüllte Fall mit dem Du-Sie-Wechsel war ein Hinweis auf eine zu allgemeine Stilvorgabe. Wir haben sie mit zwei Beispielmails geschärft. Der Fall mit der englischen Anfrage war fachlich in Ordnung, hat aber eine Entscheidung offengelegt: Will das Weingut englische Antworten von der KI, oder sollen solche Anfragen ans Team gehen? Das entscheidet nicht die KI im Weingut und nicht wir.

Unsere Einschätzung für das Beispiel-Weingut

Nach dem Testdurchlauf, den Anpassungen und dem Wiederholungstest lautet unsere Einschätzung zu KI im Weingut für den Ablauf des Beispiel-Weinguts Hollergraben so:

Geeignet ist der Ablauf für Erstantworten auf Besuchs- und Verkostungsanfragen sowie Fragen zu Öffnungszeiten, jeweils mit Prüfung durch eine Person vor dem Versand. Hier spart der Entwurf dem Team den Anfang jeder Antwort, und die Antwortregeln greifen zuverlässig.

Nicht geeignet ist der Ablauf für Reklamationen, für Anfragen außerhalb des Angebots und für alles, was eine verbindliche Zusage braucht. Diese Fälle erkennt die eingerichtete KI im Weingut und leitet sie ohne Entwurf an das Team weiter. Das ist kein Mangel, sondern eine bewusste Grenze.

Offen bleibt die Entscheidung zu fremdsprachigen Anfragen. Die trifft das Weingut, und wir stellen den Ablauf entsprechend ein.

Diese Einschätzung ist ein Ergebnis aus zehn Testfällen an einem Beispiel. Für dein Weingut fällt sie anders aus, weil deine Anfragen, dein Angebot und deine Grenzen anders sind. Deshalb schreiben wir die Testfälle für KI im Weingut für jeden Betrieb neu.

Warum wir mit KI im Weingut in einem begrenzten Piloten starten

Ein Test mit Musterfällen zeigt, wie KI im Weingut auf das reagiert, was wir uns ausgedacht haben. Der echte Posteingang ist erfinderischer. Deshalb empfehlen wir nach dem Test einen begrenzten Pilotversuch: eine Aufgabe, ein Kanal, eine festgelegte Zeit, eine Person im Team, die jeden Entwurf prüft und notiert, was nicht gepasst hat.

Prozesskette von der Aufgabe über Testfälle und Anpassung bis zum begrenzten Pilotversuch im Weingut

Am Ende des Piloten sehen wir uns die Notizen gemeinsam an. Daraus entstehen entweder weitere Anpassungen oder die Entscheidung, den Ablauf so weiterzuführen. Auch eine Entscheidung gegen den Einsatz ist ein gutes Ergebnis, wenn sie begründet ist. Wir versprechen keine Fehlerfreiheit und richten keine Antwort ein, die ohne Prüfung an Kunden geht. Wer sich vorher allgemein zur Digitalisierung im Betrieb einlesen möchte, findet Informationen dazu bei der WKO.

Was wir in einem solchen Piloten sinnvoll einrichten können und wo KI im Weingut ihre Zeit wirklich wert ist, haben wir in unserem Artikel zu KI im Weingut-Marketing eingeordnet.

Was wir übernehmen und was wir von dir brauchen

Wir übernehmen die Vorbereitung und den Test: Wir richten die KI im Weingut für die vereinbarte Aufgabe ein, schreiben die Testfälle passend zu deinem Betrieb, legen vorher das erwartete Verhalten fest, führen den Test durch, dokumentieren die Ergebnisse und passen die Einrichtung an. Du bekommst das Testprotokoll und unsere Einschätzung in verständlicher Sprache, ohne dass du dich in die Technik einarbeiten musst.

Von dir brauchen wir die Aufgabe, um die es geht, deine freigegebenen Angaben zu Öffnungszeiten, Angebot und Grenzen, ein paar Beispielmails für den Ton, und Antworten auf die Fragen, die der Test aufwirft, etwa zu fremdsprachigen Anfragen oder zum Umgang mit Sonderwünschen.

Die Entscheidungen bleiben bei dir: ob der Ablauf startet, für welche Anfragen er gilt, was ausgenommen wird und wer im Team prüft. Umfang, Dauer des Piloten und die Betreuung danach halten wir im Angebot fest. Interne Regeln, die für den gesamten KI-Einsatz im Betrieb gelten, findest du in unserem Artikel zu KI-Regeln im Weingut. Der Testplan setzt darauf auf, ersetzt sie aber nicht.

Du möchtest KI in einem konkreten Ablauf einsetzen?

Wir richten den Pilotversuch für dich ein, testen ihn mit betriebsnahen Fällen und prüfen die Ergebnisse gemeinsam mit dir. Schreib uns, welche Anfragen bei euch am häufigsten hereinkommen: weinwerbeagentur.com/kontakt

Das Wichtigste als Video

FAQ – häufige Fragen

1. Woran erkennen wir, ob eine KI-Antwort im Weingut wirklich verlässlich ist?

Verlässlich ist eine KI-Antwort erst dann, wenn sie auch bei schwierigen Anfragen das tut, was vorher festgelegt wurde. Eine einzelne gelungene Antwort zeigt nur, dass das Werkzeug mit einer vollständigen, höflichen Anfrage umgehen kann. Im echten Posteingang fehlen aber Angaben, Datum und Wochentag passen nicht zusammen, oder jemand fragt nach etwas, das ihr gar nicht anbietet. Deshalb schreiben wir vor dem Test auf, welches Verhalten wir bei jedem Fall erwarten, lassen die eingerichtete KI im Weingut durchlaufen und vergleichen dann Antwort für Antwort. Erst dieser Abgleich zeigt, wo der Ablauf trägt und wo bewusst eine Grenze gezogen werden muss.

2. Wie viele Testfälle brauchen wir, bevor ein KI-Ablauf im Betrieb startet?

Zehn Testfälle sind für den Anfang eine gute Größe. Damit lassen sich die häufigen Anfragen abdecken, die kritischen Ausnahmen bewusst provozieren und ein paar Fälle stellen, bei denen dein Weingut selbst entscheiden muss, was es will. Mehr Fälle sind möglich, wenn ein Ablauf komplexer ist oder mehrere Anfragearten zusammenkommen. Entscheidend ist nicht die Menge, sondern die Mischung: Wer nur gut formulierte Standardanfragen testet, bekommt ein schönes Ergebnis ohne Aussagekraft. Wir schreiben die Fälle für deinen Betrieb neu, weil deine Anfragen, dein Angebot und deine Grenzen anders aussehen als die eines Beispiels.

3. Was gehört in einen guten Testfall für KI-Antworten?

In jeden Testfall gehören drei Teile: die erfundene Anfrage, das erwartete Verhalten und die Bewertung danach. Das erwartete Verhalten wird vorher aufgeschrieben, also bevor die KI im Weingut antwortet. Diese Reihenfolge ist der wichtigste Punkt am ganzen Test. Wer erst die Antwort liest und dann entscheidet, ob sie gut war, bewertet großzügiger, als es dem Team im Alltag hilft. Die Bewertung fällt einfach aus: erfüllt, teilweise erfüllt oder nicht erfüllt, jeweils mit einer kurzen Notiz, was angepasst wurde. Alle Testfälle sind erfunden und enthalten keine echten Kundendaten.

4. Darf die KI einen Verkostungstermin verbindlich zusagen?

Nein, verbindliche Terminzusagen gehören nicht in den KI-Ablauf. In der Einrichtung hinterlegen wir die Regel, dass Termine nur unter Vorbehalt genannt werden und die Bestätigung beim Weingut bleibt. Der Grund ist einfach: Die KI im Weingut kennt euren Kalender und eure Auslastung nicht in dem Moment, in dem sie den Entwurf schreibt. Im Test prüfen wir genau das, etwa mit einem Terminwunsch am Ruhetag. Dort soll die KI den Ruhetag benennen und Alternativen anbieten, ohne zu behaupten, dass diese frei sind. Jeder Entwurf wird zusätzlich von einer Person aus deinem Team gelesen und freigegeben.

5. Was passiert, wenn jemand einen korkigen Wein reklamiert?

Reklamationen nehmen wir aus dem KI-Ablauf heraus. Im Test hat sich gezeigt, dass eine KI in freundlichem Ton schnell zu Zusagen neigt und im Entwurf eine Ersatzflasche versprochen hat. Ob es eine Ersatzflasche gibt, ist aber eine Entscheidung des Weinguts und keine Formulierungsfrage. Erkennt die eingerichtete KI im Weingut eine Beschwerde, entsteht deshalb kein Entwurf, sondern ein Hinweis an dein Team. Heikel ist dabei, dass Reklamationen oft im Ton einer normalen Frage ankommen. Genau solche Fälle bauen wir bewusst in den Testplan ein, damit sie vor dem Start auffallen und nicht erst im Kundenkontakt.

6. Kann die KI Preise für Verkostungen nennen?

Ja, aber ausschließlich aus einer von dir freigegebenen Liste. In der Einrichtung hinterlegen wir die Preise, die genannt werden dürfen, und die Regel, dass alles andere als Platzhalter markiert und an dein Team weitergegeben wird. Damit kann die KI im Weingut keine Beträge schätzen, ableiten oder aus alten Angaben zusammensetzen. Im Testplan prüfen wir das mit einer direkten Preisfrage und vergleichen die Antwort Wort für Wort mit der Liste. Ändern sich Preise, ändert sich die hinterlegte Liste, nicht der Entwurf. Sonderkonditionen, Rabatte oder individuelle Angebote gehören grundsätzlich nicht in den Ablauf.

7. Wie geht die KI mit widersprüchlichen Angaben in einer Anfrage um?

Sie soll den Widerspruch benennen und nachfragen, statt sich für eine Variante zu entscheiden. Im Testdurchlauf des Beispiel-Weinguts kam eine Anfrage für einen Sonntag, der laut Datum ein Samstag war. Die KI im Weingut hat den plausibleren Teil übernommen und stillschweigend weitergemacht, also genau das, was Menschen auch oft tun. Für eine Kundenmail ist das riskant, weil am Ende eine Bestätigung für den falschen Tag stehen kann. Wir haben daraufhin eine Regel ergänzt: Passen Wochentag und Datum nicht zusammen, werden beide genannt und es wird nachgefragt. Im Wiederholungstest hat das funktioniert.

8. Soll die KI auch auf englische Anfragen antworten?

Das entscheidet dein Weingut, nicht die KI und nicht wir. Im Test war die englische Antwort fachlich in Ordnung und hat alle hinterlegten Regeln eingehalten. Trotzdem ist es eine echte Entscheidung: Manche Betriebe wollen fremdsprachige Anfragen bewusst selbst beantworten, weil daraus oft Besuche aus dem Ausland werden, andere sind froh über den fertigen Entwurf. Solche Fragen bringt ein Testplan vor dem Start auf den Tisch, statt sie im laufenden Betrieb entstehen zu lassen. Sobald du entschieden hast, stellen wir die KI im Weingut entsprechend ein, entweder mit Antwort in der Fremdsprache oder mit Weiterleitung an dein Team.

9. Was braucht ihr von uns, damit die Einrichtung funktioniert?

Wir brauchen vier Dinge von dir: die Aufgabe, um die es konkret geht, deine freigegebenen Angaben zu Öffnungszeiten, Angebot und Grenzen, ein paar Beispielmails für den Ton, und Antworten auf die Fragen, die der Test aufwirft. Das sind meist Entscheidungen zu fremdsprachigen Anfragen oder zum Umgang mit Sonderwünschen. Alles andere übernehmen wir: Einrichtung, Testfälle, erwartetes Verhalten, Testdurchlauf, Dokumentation und die Anpassungen danach. Du bekommst das Testprotokoll und unsere Einschätzung in verständlicher Sprache, ohne dass du dich in die Technik einarbeiten musst. Technisches Vorwissen im Team ist nicht nötig.

10. Ist die Betreuung eines KI-Ablaufs in der Webpauschale enthalten?

Nein, die Webpauschale deckt das nicht ab. In der Pauschale sind die laufenden Arbeiten an deiner Website enthalten: neue Weine einpflegen, WordPress-, Theme- und Plugin-Updates sowie Backups. Ein KI-Ablauf ist etwas anderes, weil Einrichtung, Testfälle, Testdurchlauf, Anpassungen und der begleitete Pilotversuch eigener Aufwand sind. Umfang, Dauer des Piloten und die Betreuung danach halten wir deshalb im Angebot fest, damit du vorher weißt, was enthalten ist. So bleiben beide Bereiche sauber getrennt und du zahlst nicht doppelt für Leistungen, die du ohnehin schon hast.

Beitrag teilen:

Weitere Artikel