Im Unterschied zu ChatAll bietet GPT4All eine rein lokale Lösung. Dadurch vermeiden Sie es, dass Ihre Eingaben auf den Servern Cloud-basierter Chatbots wie ChatGPT von OpenAI landen, dort verarbeitet und gespeichert werden. Damit das funktioniert, müssen Sie mindestens ein KI-Sprachmodell (LLM: Large Language Model) herunterladen. Dazu klicken Sie im Models-Bereich auf "Add Model" und wählen e.g. Llama 3.2 3B. Zu jedem Modell werden dessen Stärken und auch Anforderungen an Ihre Hardware aufgelistet. Ab sofort können Sie mit der KI im Chats-Bereich kommunizieren, die Sie im oberen Bereich aktiviert haben. Ihre Chats werden sinnvollerweise lokal gespeichert und können über die linke Spalte wieder aufgerufen werden. Der jeweilige Chat-Name lässt sich ggf. ändern. Lassen Sie sich allgemeine Fragen beantworten, Briefe, Gedichte oder Songtexte entwerfen oder beim Programmieren helfen. Die Anwendungsmöglichkeiten sind nahezu unbegrenzt.

Der LocalDocs erlaubt es Ihnen, Inhalte beliebiger Dokumente in die GPT4All-Datenbank zu integrieren. Dazu klicken Sie auf "Add collection", vergeben einen passenden Namen wie "Meine Dokumente" und bestimmen den Ordnerpfad zu diesen Dateien. Danach liest sie das Tool ein, was je nach Anzahl und Größe der Dateien etwas dauern kann. Damit bei Ihren Chats "Meine Dokumente" berücksichtigt werden, klicken Sie oben rechts auf den LocalDocs-Button und setzen ein Häkchen davor. Erkennt GPT4All dann in Ihren Dokumenten eine Übereinstimmung mit Ihrer Eingabe, werden diese Dateien unter "Sources" angezeigt und können mit einem Mausklick geöffnet werden. In den Programm-Eigenschaften (Settings) ändern Sie ggf. den Zielordner für die Downloads. Wem es nicht so wichtig ist, was mit seinen Daten geschieht und er über entsprechende API Schlüssel verfügt, kann auch Cloud-basierte KI-Sprachmodelle wie ChatGPT einbinden.