Ähnlich wie GPT4All versammelt AnythingLLM Cloud-basierte KI-Anbieter wie ChatGPT und lokale Modelle unter einer Oberfläche. Seine Stärken spielt es beim Integrieren Ihrer Dokumente aus, die in Formaten wie PDF oder Word vorliegen. Danach können Sie mit dem Programm über die eingelesenen Inhalte "diskutieren". Wir empfehlen das Einrichten verschiedener Arbeitsbereiche (Workspace), mit denen Sie Dokumente thematisch trennen können und diese sich dadurch beim Kommunizieren nicht in die Quere kommen. Damit AnythingLLM als Gesprächspartner fungieren kann, braucht es ein Gehirn, also ein KI-Sprachmodell (LLM: Large Language Model) wie e.g. "Llama 3.2 3B". Danach lassen sich über den Prompt Unterhaltungen führen. In jedem Arbeitsbereich wartet eine Upload-Funktion darauf, Ihre Dokumente und Websites einzulesen und zu archivieren. Über "Data Connectors" lassen sich mit dem "Bulk Link Scraper" auch die Unterseiten einer Website einbinden. Zudem ist es sogar möglich, Gesprochenes in Youtube-Videos in Text umwandeln zu lassen.

Dazu geben Sie im Bereich YouTube Transcript die Video-Internetadresse ein und klicken auf "Collect transcript". Sobald der Videotitel unter "My Documents" erscheint, markieren Sie ihn und klicken auf "Move to Workspace". "Save Embed" nicht vergessen! Ab sofort wird in diesem Arbeitsbereich auch dieser Text bei den Antworten berücksichtigt! Unter "Show Citations" werden die Dokumente angezeigt, die das Programm bei einer Aussage verwendet hat. Mit "slash commands" können Sie Kürzel für Texte festlegen, die Sie häufiger im Prompt verwenden. Klicken Sie dazu auf "Add New Preset", geben ein Kürzel Ihrer Wahl (Beispiel /osdvd) und im Prompt-Feld den Text ein, der ausgelöst wird (Beispiel: Beschreibe das Programm) und vor weiteren Angaben im Prompt eingesetzt wird. In den Arbeitsbereich-Einstellungen können Sie den Chat-Modus auswählen. Mit "Chat" weisen Sie AnythingLLM an, seine Antworten mit dem allgemeinen Wissen des LLM und gefundenem Dokumentenkontext zu liefern. Der Abfrage-Modus liefert nur Antworten, wenn in Ihren Dokumenten etwas gefunden wurde. In den Programm-Einstellungen (Schlüssel-Symbol) lassen sich weitere LLMs downloaden und aktivieren. Unter Administrator finden Sie eine Liste aller Anfragen und Antworten (Arbeitsbereich-Chats).