Jak sprawdzić odpowiedzi Captain

Ustal zakres próby

Sprawdź plan i dostęp do Captain w swojej instalacji. Przygotuj testową skrzynkę oraz dokumenty bez danych klientów. Zapisz, jakie pytania asystent ma obsługiwać i jakie decyzje zawsze podejmuje człowiek.

Zbuduj zestaw pytań

Uwzględnij pytanie z jednoznaczną odpowiedzią w źródle, brakującą informację, błędne założenie klienta i prośbę o działanie wykraczające poza uprawnienia. Dodaj pytania z literówkami i w innym języku, jeśli taki ruch występuje w organizacji.

Dla każdego przypadku zapisz oczekiwaną treść lub warunek przekazania sprawy. Nie oceniaj wyłącznie płynności wypowiedzi: sprawdź fakty, zgodność z aktualnym dokumentem i to, czy asystent nie dopowiada warunków oferty.

Sprawdź wiedzę i narzędzia

Zweryfikuj źródło użyte w odpowiedzi, ustawienia scenariusza oraz listę wywołanych narzędzi, jeśli panel je udostępnia. Nie łącz w jednej próbie zmiany modelu, dokumentów i reguł; trudniej wtedy znaleźć przyczynę błędu.

Narzędzia wykonujące zapis powinny mieć własną kontrolę uprawnień. Sama instrukcja tekstowa asystenta nie zastępuje autoryzacji w docelowym API.

Decyzja o uruchomieniu

Zapisz wynik każdego testu i popraw przyczyny błędów. Włączaj funkcję najpierw dla ograniczonego zakresu, z możliwością szybkiego przekazania człowiekowi. Ustal sposób wyłączenia i obserwacji kosztów. Przekazywanie rozmów dostawcy modeli wymaga oceny przepływu danych niezależnie od miejsca hostowania Chatwoot.