Das Thema Künstliche Intelligenz ist dieser Tage in aller Munde. Immer mehr Menschen kommen – ob willentlich oder unwillentlich – mit ihr in Berührung. Dabei ist es ganz egal, ob es sich um Open AIs „ChatGPT“, Googles „Gemini“, Microslops „Copilot“, xAIs „Grok“ oder ein anderes KI-Modell handelt, – so ziemlich alle dieser Plattformen eint, dass sie den User und dessen Queries nutzen, um ihre KI-Modelle weiter zu verbessern und zu optimieren. Der User fungiert quasi als Zulieferer immer neuer Daten für das niemals endende Training der KI.

Der User kann dies nicht verhindern, er kann die diversen KI-Plattformen und -Angebote lediglich mit Nichtbeachtung strafen. Wer auf Künstliche Intelligenz in seinem Alltag nicht verzichten mag, seine Daten der Big-Tech aber auch nicht unbedingt in den gierigen Schlund werfen will, kann das Problem allerdings auch umgehen. Und zwar, indem man sich eines der frei verfügbaren Open-Source-KI-Modelle lokal auf dem eigenen Computer installiert und dort ohne Rückverbindung zu irgendeinem Anbieter autonom nutzt.

Die Vorteile einer solchen lokalen Installation liegen auf der Hand:

• die Nutzung der KI geschieht vollkommen anonym
• ein Training des lokalen KI-Modells findet nicht statt (es sei denn, man möchte dies explizit!)
• das KI-Modell „funkt nicht nach Hause“

Nachteile sind, dass die Daten, mit denen die lokalen KI-Modelle arbeiten, um ihre Ausgaben zu generieren, meist bereits einige Monate oder gar Jahre alt sind. Auch dauert die Berechnung aka die Denkphase meist länger als jene von „ChatGPT“, „Grok“ und Konsorten, denn die wenigsten User dürften einen Super-Computer bei sich zuhause auf dem Schreibtisch stehen haben.

Im Rahmen dieses How-To Guides möchte ich interessierten Linux-Usern eine kompakte, nachvollziehbare Anleitung liefern, wie man sich seine eigene allwissende Künstliche Intelligenz mit Hilfe von kostenloser Software und auf Open-Source basierenden KI-Modellen auf dem PC oder Laptop installiert, einrichtet und nutzt.

How-To Guide

1. LM Studio downloaden
Zu allererst besorgen wir uns die Anwendung „LM Studio“. Diese fungiert als eine Art Sandbox mit deren Hilfe wir in der Lage sein werden, ein oder gleich mehrere Open-Source KI-Modelle lokal auf unserem Computer zu installieren, zu verwalten und auszuführen. Die App verfügt über ein Chat-Interface sowie über ein programmierbares API, was sie flexibel und vielfältig erweiterbar macht.

Besagte LM-Studio-App kann unter diesem Link kostenlos heruntergeladen werden.

Für Linux existiert eine AppImage- sowie eine Debian-Variante, zudem stehen native Apps für Apple Mac OS und Microsoft Windows zum Download bereit.

Wer wie ich die Linux-Distribution CachyOS als Betriebssystem nutzt und auch sonst alle, die keine auf Debian basierende Distro verwenden, entscheidet sich für die AppImage-Version von LM Studio.

2. LM Studio installieren
Nach erfolgreichem Abschluss des Downloads verschieben wir die heruntergeladene AppImage-Datei auf die Arbeitsfläche und öffnen den unter CachyOS standardmäßig installierten Paketmanager „Shelly“. Mit dessen Hilfe werden wir die App gleich auf dem System installieren und verwalten. Alternativ klappt die Installation auch mit „GearLever“ oder einer anderen Software zur Verwaltung von AppImage-Dateien.

In den Einstellungen von „Shelly“ kontrollieren wir, ob „AppImages“ als unterstütztes Dateiformat aktiviert wurde. Dies ist der Fall, wenn der Schieberegler neben „AppImages“ zur rechten Seite hin verschoben wurde.

Anschließend klicken wir im Shelly User-Interface linkerhand in der Seitenleiste auf den Punkt „AppImages“ und danach am rechten oberen Rand des Fensters auf den Button „Install AppImage“. Daraufhin öffnet sich ein Fenster, in welchem wir das eben heruntergeladene AppImage auswählen und die Auswahl mit einem beherzten Klick auf den „Install“-Button bestätigen.

Während die Installation im Hintergrund voranschreitet, öffnen wir das per Tastenkombination STRG + ALT + T das Linux-Terminal und installieren schnell noch eine benötigte Dependency: Fuse2.

Der entsprechende Terminal-Befehl lautet:

sudo pacman -S fuse2

Nun können wir die Anwendung „LM Studio“ über den Anwendungsstarter von CachyOS öffnen, indem wir in die Suchmaske „LM Studio“ eingeben und die Auswahl per Druck auf die Enter-Taste bestätigen.

3. Verfügbares KI-Modell auswählen
Jetzt wird es spannend, denn wir suchen uns ein zu unserem individuellen Anwendungsszenario passendes Open-Source-KI-Modell aus, das wir anschließend lokal auf unserem Computer installieren werden. Für welches Modell wir uns letzten Endes entscheiden hat nicht ganz unerheblichen Einfluss darauf, ob wir später von der Künstlichen Intelligenz und ihrer an den Tag gelegten Leistungsfähigkeit beeindruckt, weniger beeindruckt oder aber ziemlich ernüchtert sein werden.

Dieser How-To Guide macht mit dem von Google entwickelten KI-Modell „Gemma 4“ weiter. Dieses wird dem User auch beim ersten Start von LM Studio ans Herz gelegt. Es basiert auf Technologie, die unter anderem in Googles KI-Assistenten Gemini v3 zum Einsatz kam. „Gemma 4“ sollte also zum Start eine gute Wahl sein.

Wer für seinen lokalen KI-Assistenten hingegen auf ein anderes KI-Modell zurückgreifen will, beispielsweise auf eines von Nvidia oder das europäische Mistral, kann dieses im App-Menü AI Model Search auswählen. Ein Klick auf den Download-Button neben dem Namen eines verfügbaren KI-Modells lädt dieses herunter und macht es anschließend in der App zur Nutzung verfügbar. Je nach Art und Funktionsumfang des Modells kommen da durchaus schon mal einige Gigabyte an Daten zusammen!

Eine weitere gute Quelle für den Download von KI-Modellen ist die Website HuggingFace.co.

4. KI-Modell lokal einrichten
Nachdem der Download des KI-Modells abgeschlossen wurde klicken wir im Chat-Fenster von LM Studio auf „New Chat“, danach am unteren Rand der Chatbox auf den Button „Pick a Model“ und wählen im Popup-Fenster das soeben heruntergeladene KI-Modell aus.

In dem sich nun öffnenden Konfigurations-Fenster übernehmen wir die für das jeweilige KI-Modell vorgegebenen Einstellungen und eingetragenen Werte. Wer mag, kann hier natürlich ein wenig experimentieren, zwingend notwendig ist dies allerdings in der Regel nicht.

Wer eine leistungsstarke Grafikkarte der RTX-4000er-Serie oder besser in seinem Computer verbaut und sich zudem für ein kompatibles KI-Modell entschieden hat, kann die Rechenpower seiner GPU nutzen und einen Teil der anfallenden Rechenlast auf den Grafikprozessor auslagern. Dieses „Offloading“ kann – muss aber nicht – die oftmals recht langen „Denkpausen“ der KI verkürzen.

Fertig!
Wer mag, kann seine private KI nun mit den ersten Queries bombardieren und nach Herzenslust AI Slop zur allgemeinen Bespaßung seiner Social-Media-Kanäle produzieren.

Viel Spaß dabei! 😉