Wie du Dokumente hochlädst

Du hast zwei Möglichkeiten, im KI-Workplace mit Dokumenten zu arbeiten:

Du lädst sie direkt im Chat hoch (Büroklammer-Button):

Du erstellst einen Assistenten und speicherst Dokumente in seinem Knowledge-Bereich (wie geht das?):

Du kannst auch beides kombinieren, also bei der Nutzung eines Assistenten zusätzlich Dokumente im Chat hochladen. (Beispiel: Im Assistenten ist eine Betriebsvereinbarung gespeichert, die mit Arbeitsverträgen abgeglichen werden soll.)

5 Tipps für bessere Ergebnisse

Um bestmögliche Ergebnisse zu erzielen und Probleme zu vermeiden, helfen dir die folgenden Tipps:

1. Wähle das richtige Modell

Modelle arbeiten unterschiedlich gut mit Dokumenten. Wir empfehlen das Modell Mistral 3.2.
Bei möglichen Engpässen in Spitzenzeiten empfehlen wir als zweite Alternative Gemma 3.
Diese beiden Modelle bieten die höchste Leistung bei der Verarbeitung von Dokumenten.

2. Die Limits beachten

Das Upload-Limit im Chat beträgt 5 MB pro Datei
Das Upload-Limit in Assistenten ("Knowledge") beträgt 10 MB pro Datei
Erlaubte Formate: .png, .jpeg, .webp, .doc, .docx, .xls, .xlsx, .ppt, .pptx, .pdf, .html, .csv, .txt, .md, .xml, .yaml, .zip. Du siehst diese Formate auch aufgelistet, wenn du die Maus über den Upload-Button im Chat bewegst (die Büroklammer).
Im Chat werden Tabellen, Bilder und Nicht-Text-Dateien in Markdown umgewandelt, eine vereinfachte Sprache, die LLMs besser verarbeiten können. Hier beträgt das Limit 60.000 Zeichen, das entspricht etwa 50 DIN-A4-Seiten. Je komplexer die Dateien, desto mehr Tokens benötigt die Umwandlung, und desto weniger Tokens bleiben für Frage und Antwort übrig.
Im Knowledge-Bereich von Assistenten besteht diese Grenze nicht. Daher ist es sinnvoll, wenn du viele, große und komplexe Dateien verarbeiten möchtest und im Chat auf Grenzen stößt, einen Assistenten zu erstellen.

3. Das Context Window beachten

Lädst du ein Dokument hoch und führst eine längere Unterhaltung dazu, muss das Modell fortlaufend mehr Informationen speichern. Irgendwann stößt es an eine Grenze, und der Chat endet.

Diese Grenze heißt Context Window (so etwas wie das Arbeitsgedächtnis eines Modells). Die Modelle Mistral 3.2 und Gemma 3 haben sehr große Context Windows, daher können wir diese für die Arbeit mit Dokumenten empfehlen.

Solltest du dennoch einmal an eine Grenze stoßen und der Chat enden, empfehlen wir, den Chat neu zu starten (links oben auf + New Chat klicken). Dann kannst du die Datei(en) erneut hochladen und deinen letzten Prompt erneut eingeben.

4. Komplexität verringern

Du kannst die Qualität der Antworten erhöhen und längere Unterhaltungen zu Dokumenten führen, indem du folgende Tipps berücksichtigst:

Dokumente auf das Wesentliche reduzieren und keine unnötigen Daten mit hochladen.
Im normalen Chat: Entscheidend ist nicht nur die Größe, sondern vor allem die Komplexität der Dateien, die du hochlädst. Bilder und Tabellen verbrauchen mehr Tokens als einfache Texte. Daher z.B. in Excel-Dateien nicht benötigte Tabs löschen.
Konkrete Fragen stellen: Je eindeutiger sich Antworten aus Dokumenten ergeben, desto besser die Antwort. Abstrakte Fragen oder solche, auf die es viele Antworten geben kann, fallen KI-Modellen schwerer.
Hiermit tun sich besonders Assistenten bei der Nutzung von Knowledge schwer:
- Abstrakte und offene Fragen. Je eindeutiger sich die richtige Antwort im Wissen finden lässt, desto besser.
- Fragen, deren Antworten über mehrere Stellen / Dokumente verteilt sind. Beispiel: "Liste alle unsere Regeln in unseren verschiedenen Betriebsvereinbarungen auf, die Familien betreffen."
- Prompts, die mehr als eine Frage in einem stellen. Beispiel: "Liste alle Autos in unserem Fuhrpark auf, die vor 2020 angeschafft wurden UND einen Neuwert von über 50.000 EUR haben." Besser wäre, in mehreren Schritten vorzugehen.
Tipp: Im Zweifelsfall lieber mehrere Assistenten einrichten. Dann kannst du jeden Assistenten auf seine Aufgabe spezialisieren und nur die dafür nötigen Dokumente hochladen.

5. Bilder und Grafiken

Nur multimodale Modelle können Bilder erkennen, Mistral 3.2 und Gemma 3 gehören dazu. (Hier eine Übersicht über die Modelle im KI-Workplace.)
Allerdings haben auch diese Modelle zwei Einschränkungen:
- Sie können keine Bilder und Grafiken INNERHALB von Dokumenten erkennen, etwa in PDFs oder PowerPoint-Präsentationen. Diese müssen also als separate Dateien hochgeladen werden.
- Zudem können Assistenten keine Bilder und Grafiken verstehen, die in ihrem Knowlegde-Bereich hochgeladen wurden.

Die Lösung ist also, Bilder und Grafiken direkt im Chat und als separate Bilddateien hochzuladen.

Tipps für die Arbeit mit Dokumenten

Mehr Wissen ist nicht gleich besser. Stelle sicher, dass du nur relevante Daten hoch, die nicht ablenken.
LLMs haben ihre Stärke mit Fragen, auf die es möglichst eindeutige Antworten an eindeutiger Stelle gibt.
Abstrakte und offene Fragen zu Dokumenten fallen ihnen schwer. Ebenso Fragen, deren Antworten auf viele Stellen verteilt sind, etwa "finde alle unsere Services im Handbuch, die eine Laufzeit von 12 Monaten haben." Das LLM sucht die besten Matches, also die Antworten, die am wahrscheinlichsten zur Frage passen, und kann nicht verlässlich alle Inhalte suchen, auf die etwas zutrifft.
Schwierig können auch Prompts sein, die mehrere Fragen in einem stellen. Beispiel: "Liste alle Autos in unserem Fuhrpark auf, die vor 2020 angeschafft wurden UND einen Neuwert von über 50.000 EUR haben." Besser wäre, in mehreren Schritten vorzugehen.

Erfolgreich mit Dokumenten arbeiten