.svg)
„Lokal“ heißt: Das KI-Modell läuft direkt auf deinem eigenen Gerät (Laptop, Desktop, Server, sogar Handy). Eingaben und Ausgaben bleiben auf dem Gerät – nichts muss an einen Cloud-Dienst gesendet werden. Das bedeutet die Modelle funktionieren auch weiter ohne Internet, es kann also nichts nach Amerika gehen.
Wir laden die gewünschten KI-Modelle direkt auf unsere eigenen Server und richten dort die nötige Laufzeitumgebung (z. B. mit Docker oder speziellen Frameworks wie PyTorch/Transformers) ein. Anschließend stellen wir eine API-Schnittstelle bereit, über die Anwendungen im Netzwerk oder auch externe Systeme auf das Modell zugreifen können. So können wir Anfragen an das Modell senden, Antworten verarbeiten und die Nutzung nahtlos in bestehende Prozesse integrieren. Auf diese Weise laufen die Modelle vollständig lokal, sind über standardisierte Endpunkte erreichbar und bleiben jederzeit erweiterbar.
Ein Confidence Score ist ein Zahlenwert, mit dem die KI ausdrückt, wie sicher sie sich bei einer Entscheidung oder Vorhersage ist.
Nutzer:innen bekommen eine Vorstellung davon, ob sie dem Ergebnis vertrauen können.
Auch KI macht Fehler. Mit einem Confidence Score sehen wir, wann das Risiko hoch ist.
In kritischen Bereichen wie Medizin oder autonomem Fahren ist es wichtig zu wissen, ob ein System nur „vermutet“ oder tatsächlich „ziemlich sicher“ ist.
Wir nutzen diesen Wert, um das weitere Vorgehen zu steuern: Liegt der Score über einem bestimmten Schwellenwert, akzeptieren wir das Ergebnis direkt. Fällt er darunter, können wir verschiedene Maßnahmen ergreifen – zum Beispiel die Ausgabe neu generieren, einen Menschen zur Überprüfung hinzuziehen oder den Prozess ganz abbrechen. So stellen wir sicher, dass nur Ergebnisse weiterverarbeitet werden, bei denen eine ausreichend hohe Sicherheit besteht.
