Sie müssen das nicht wissen, um produktiv zu arbeiten. Aber wenn Sie verstehen wollen, warum die KI Ihnen manchmal komische Antworten gibt, hilft dieses Kapitel.
Was ist ein Token?
Tokens sind die kleinste Einheit, in der KI-Modelle rechnen. Ein Token entspricht etwa einem Wortteil — z. B. „Datenschutz“ sind ca. 3 Tokens, „Hallo“ ist 1 Token. Als Faustregel: 1.000 Tokens ≈ 750 deutsche Wörter. Sowohl Eingabe (Ihr Prompt + hochgeladene Dokumente) als auch Ausgabe (die Antwort) zählen.
Die Kosten werden pro Token berechnet — und unterscheiden sich je nach Modell-Klasse stark. Deshalb lohnt sich der Preset-Ansatz: Das richtige Modell für die richtige Aufgabe spart bares Geld.
Context Window — wie viel „Gedächtnis“ die KI hat
Jedes Modell hat ein begrenztes Context Window — die maximale Menge an Text, die es in einer Konversation verarbeiten kann. Alles, was darüber hinaus geht, vergisst es oder kann es nicht einbeziehen.
| Modell-Klasse | Typische Context-Länge | Praktischer Umfang |
|---|---|---|
| Haiku, GPT-5 Mini, Flash Lite | ca. 128k Tokens | ~300 Seiten Text |
| Sonnet, GPT-5.3 | ca. 200k Tokens | ~500 Seiten Text |
| Opus, GPT-5.4 | ca. 200k Tokens | ~500 Seiten Text |
| Gemini 3.1 Pro | bis zu 2 Mio. Tokens | ~5.000 Seiten Text |
Für den typischen Mittelstands-Alltag (einzelne Dokumente, Chat-Verläufe, Verträge bis 30 Seiten) sind das mehr als ausreichende Mengen. Nur bei extrem langen PDFs lohnt sich Gemini.
Wichtig
Je mehr im Context steht, desto langsamer wird die Antwort und desto schwerer tut sich die KI, das Wichtige zu finden. „Viel Kontext“ ist nicht immer besser. Besser: gezielt das relevante Dokument ins Knowledge eines Ordners, nicht alles in einen Chat kippen.
Temperature — wie „kreativ“ das Modell antwortet
Temperature ist ein Modell-Parameter, der die „Kreativität“ bzw. Variabilität der Antworten steuert. Skala von 0 bis 1 (manche Modelle bis 2):
- 0,0–0,3 — deterministisch, sachlich, gleiche Frage = gleiche Antwort. Gut für: Analyse, Tabellen, Code, faktische Antworten.
- 0,4–0,7 — ausgewogen. Standard-Bereich für die meisten Presets. Gut für: E-Mails, Berichte, normaler Schreiballtag.
- 0,8–1,0+ — kreativ, vielfältig, jede Antwort anders. Gut für: Brainstorming, Storytelling, ideenlastige Arbeit.
Die Presets setzen Temperature automatisch passend. Sie müssen sich darum nicht kümmern.
Halluzinationen — wenn die KI Fakten erfindet
KI-Modelle sind Sprachmodelle, keine Wissensdatenbanken. Sie sagen den statistisch wahrscheinlichsten nächsten Text vorher — und das klingt oft sehr plausibel, auch wenn es faktisch falsch ist. Das nennt man Halluzination.
Wann Halluzinationen häufig sind
- Bei spezifischen Zahlen, Daten, Paragraphen, Aktenzeichen
- Bei seltenen, nischigen Themen mit wenig Trainingsdaten
- Bei Fragen, die nach dem Trainingsdatum des Modells liegen
- Wenn Sie nach Quellen / URLs fragen — die werden oft erfunden
- Bei Übersetzungen seltener Fachbegriffe
Wie Sie Halluzinationen erkennen
- Antworten klingen zu glatt, zu spezifisch, zu autoritativ
- Zitierte Paragraphen oder Aktenzeichen existieren nicht oder lauten anders
- Personen, Orte, Daten passen nicht zusammen
- Andere Modelle geben bei derselben Frage andere Antworten
Wie Sie Halluzinationen reduzieren
- Quellen anfordern mit Citation-Pflicht („Belege jede Aussage mit Quelle, sonst weglassen“)
- Web-Suche aktivieren für aktuelle Themen
- Knowledge Base nutzen für firmeninternes Wissen — dann weiß die KI, woher die Information kommt
- Bei wichtigen Fakten gegenchecken, am besten mit einem zweiten Modell
- Reasoning-Modelle nutzen für logische Ableitungen (o3, o4-mini)
Wichtig
KI-Antworten sind Entwürfe, keine Endergebnisse. Prüfen Sie alle Fakten, die für eine Entscheidung oder ein externes Dokument relevant sind. Die KI klingt immer überzeugt — auch wenn sie sich irrt.
System-Prompt, User-Prompt, Tool-Calls — was im Hintergrund passiert
Wenn Sie eine Nachricht abschicken, baut das Gateway folgenden Stack zusammen:
- System-Prompt — Rollen-Anweisung des Presets + Ihr persönlicher System-Prompt
- Tool-Definitionen — welche Werkzeuge das Modell aufrufen darf (Web-Suche, Knowledge, Code-Ausführung)
- Chat-Verlauf — alle bisherigen Nachrichten in diesem Chat
- User-Prompt — Ihre aktuelle Nachricht + hochgeladene Dateien
Das Modell antwortet — und kann dabei Tools aufrufen, etwa eine Web-Suche starten oder ein Dokument generieren. Das Ergebnis sehen Sie in der Antwort, mit klaren Hinweisen, welche Tools genutzt wurden.
Hast du eine Frage zu diesem Artikel?
Schreib uns – wir antworten in der Regel innerhalb eines Werktages.