Das Thema Künstliche Intelligenz ist dieser Tage in aller Munde. Immer mehr Menschen kommen – ob willentlich oder unwillentlich – mit ihr in Berührung. Dabei ist es ganz egal, ob es sich um Open AIs „ChatGPT“, Googles „Gemini“, Microslops „Copilot“, xAIs „Grok“ oder ein anderes KI-Modell handelt, – so ziemlich alle dieser Plattformen eint, dass sie den User und dessen Queries nutzen, um ihre KI-Modelle weiter zu verbessern und zu optimieren. Der User fungiert quasi als Zulieferer immer neuer Daten für das niemals endende Training der KI.

Der User kann dies nicht verhindern, er kann die diversen KI-Plattformen und -Angebote lediglich mit Nichtbeachtung strafen. Wer auf Künstliche Intelligenz in seinem Alltag nicht verzichten mag, seine Daten der Big-Tech aber auch nicht unbedingt in den gierigen Schlund werfen will, kann das Problem allerdings auch umgehen. Und zwar, indem man sich eines der frei verfügbaren Open-Source-KI-Modelle lokal auf dem eigenen Computer installiert und dort ohne Rückverbindung zu irgendeinem Anbieter autonom nutzt.

Die Vorteile einer solchen lokalen Installation liegen auf der Hand:

• die Nutzung der KI geschieht vollkommen anonym
• ein Training des lokalen KI-Modells findet nicht statt (es sei denn, man möchte dies explizit!)
• das KI-Modell „funkt nicht nach Hause“

Nachteile sind, dass die Daten, mit denen die lokalen KI-Modelle arbeiten, um ihre Ausgaben zu generieren, meist bereits einige Monate oder gar Jahre alt sind. Auch dauert die Berechnung aka die Denkphase meist länger als jene von „ChatGPT“, „Grok“ und Konsorten, denn die wenigsten User dürften einen Super-Computer bei sich zuhause auf dem Schreibtisch stehen haben.

Im Rahmen dieses How-To Guides möchte ich interessierten Linux-Usern eine kompakte, nachvollziehbare Anleitung liefern, wie man sich seine eigene allwissende Künstliche Intelligenz mit Hilfe von kostenloser Software und auf Open-Source basierenden KI-Modellen auf dem PC oder Laptop installiert, einrichtet und nutzt.

How-To Guide

1. LM Studio downloaden
Zu allererst besorgen wir uns die Anwendung „LM Studio“. Diese fungiert als eine Art Sandbox mit deren Hilfe wir in der Lage sein werden, ein oder gleich mehrere Open-Source KI-Modelle lokal auf unserem Computer zu installieren, zu verwalten und auszuführen. Die App verfügt über ein Chat-Interface sowie über ein programmierbares API, was sie flexibel und vielfältig erweiterbar macht.

Besagte LM-Studio-App kann unter diesem Link kostenlos heruntergeladen werden.

Für Linux existiert eine AppImage- sowie eine Debian-Variante, zudem stehen native Apps für Apple Mac OS und Microsoft Windows zum Download bereit.

Wer wie ich die Linux-Distribution CachyOS als Betriebssystem nutzt und auch sonst alle, die keine auf Debian basierende Distro verwenden, entscheidet sich für die AppImage-Version von LM Studio.

2. LM Studio installieren
Nach erfolgreichem Abschluss des Downloads verschieben wir die heruntergeladene AppImage-Datei auf die Arbeitsfläche und öffnen den unter CachyOS standardmäßig installierten Paketmanager „Shelly“. Mit dessen Hilfe werden wir die App gleich auf dem System installieren und verwalten. Alternativ klappt die Installation auch mit „GearLever“ oder einer anderen Software zur Verwaltung von AppImage-Dateien.

In den Einstellungen von „Shelly“ kontrollieren wir, ob „AppImages“ als unterstütztes Dateiformat aktiviert wurde. Dies ist der Fall, wenn der Schieberegler neben „AppImages“ zur rechten Seite hin verschoben wurde.

Anschließend klicken wir im Shelly User-Interface linkerhand in der Seitenleiste auf den Punkt „AppImages“ und danach am rechten oberen Rand des Fensters auf den Button „Install AppImage“. Daraufhin öffnet sich ein Fenster, in welchem wir das eben heruntergeladene AppImage auswählen und die Auswahl mit einem beherzten Klick auf den „Install“-Button bestätigen.

Während die Installation im Hintergrund voranschreitet, öffnen wir das per Tastenkombination STRG + ALT + T das Linux-Terminal und installieren schnell noch eine benötigte Dependency: Fuse2.

Der entsprechende Terminal-Befehl lautet:

sudo pacman -S fuse2

Nun können wir die Anwendung „LM Studio“ über den Anwendungsstarter von CachyOS öffnen, indem wir in die Suchmaske „LM Studio“ eingeben und die Auswahl per Druck auf die Enter-Taste bestätigen.

3. Verfügbares KI-Modell auswählen
Jetzt wird es spannend, denn wir suchen uns ein zu unserem individuellen Anwendungsszenario passendes Open-Source-KI-Modell aus, das wir anschließend lokal auf unserem Computer installieren werden. Für welches Modell wir uns letzten Endes entscheiden hat nicht ganz unerheblichen Einfluss darauf, ob wir später von der Künstlichen Intelligenz und ihrer an den Tag gelegten Leistungsfähigkeit beeindruckt, weniger beeindruckt oder aber ziemlich ernüchtert sein werden.

Dieser How-To Guide macht mit dem von Google entwickelten KI-Modell „Gemma 4“ weiter. Dieses wird dem User auch beim ersten Start von LM Studio ans Herz gelegt. Es basiert auf Technologie, die unter anderem in Googles KI-Assistenten Gemini v3 zum Einsatz kam. „Gemma 4“ sollte also zum Start eine gute Wahl sein.

Wer für seinen lokalen KI-Assistenten hingegen auf ein anderes KI-Modell zurückgreifen will, beispielsweise auf eines von Nvidia oder das europäische Mistral, kann dieses im App-Menü AI Model Search auswählen. Ein Klick auf den Download-Button neben dem Namen eines verfügbaren KI-Modells lädt dieses herunter und macht es anschließend in der App zur Nutzung verfügbar. Je nach Art und Funktionsumfang des Modells kommen da durchaus schon mal einige Gigabyte an Daten zusammen!

Eine weitere gute Quelle für den Download von KI-Modellen ist die Website HuggingFace.co.

4. KI-Modell lokal einrichten
Nachdem der Download des KI-Modells abgeschlossen wurde klicken wir im Chat-Fenster von LM Studio auf „New Chat“, danach am unteren Rand der Chatbox auf den Button „Pick a Model“ und wählen im Popup-Fenster das soeben heruntergeladene KI-Modell aus.

In dem sich nun öffnenden Konfigurations-Fenster übernehmen wir die für das jeweilige KI-Modell vorgegebenen Einstellungen und eingetragenen Werte. Wer mag, kann hier natürlich ein wenig experimentieren, zwingend notwendig ist dies allerdings in der Regel nicht.

Wer eine leistungsstarke Grafikkarte der RTX-4000er-Serie oder besser in seinem Computer verbaut und sich zudem für ein kompatibles KI-Modell entschieden hat, kann die Rechenpower seiner GPU nutzen und einen Teil der anfallenden Rechenlast auf den Grafikprozessor auslagern. Dieses „Offloading“ kann – muss aber nicht – die oftmals recht langen „Denkpausen“ der KI verkürzen.

Fertig!
Wer mag, kann seine private KI nun mit den ersten Queries bombardieren und nach Herzenslust AI Slop zur allgemeinen Bespaßung seiner Social-Media-Kanäle produzieren.

Viel Spaß dabei! 😉

Wer schon ein wenig länger hier im Blog mitliest, wird sich sicherlich noch erinnern können, dass ich mal eine Zeit lang eine echte Putzfimmelphase hatte, quasi Detailing als Lifestyle. Da wurde allwöchentlich der Projektwagen aka Projekt Kotori gewaschen, gepflegt und versiegelt, kleinste Ablagerungen von Staub und Pollen wurden als Anlass genommen, um das Cockpit mal wieder zu reinigen und und und. Ja, es war schon ein wenig… übertrieben, und mittlerweile hat sich das wieder ein Stück weit normalisiert. Was ich bis vor ein paar Wochen…  

Der ein oder andere hat es vielleicht mitbekommen: Anfang vergangener Woche machte die News die Runde, dass die US-Einzelhandelskette GameStop, deren Geschäftsmodell im Wesentlichen auf dem An- und Verkauf von gebrauchten PC- und Videospielen fußt, allen Ernstes beabsichtigt, die ungleich größere Online-Auktionsplattform eBay zu übernehmen. Ich fand das Szenario irgendwie spannend, weshalb ich drüben auf „GamersGlobal.de“ eine kurze News dazu geschrieben habe. Gut eine Woche ist seitdem ins Land gezogen und es zeichnet sich ab: Aus der Übernahme von Goliath durch David – dem Quasi-Vorbild…  

Capcoms Puzzle-Mondbasis-Shooter „Pragmata“ mag zwar Steam-Deck-zertifiziert sein, stürzt aber nichtsdestotrotz bei nicht wenigen Linux-Gamern unmittelbar nach der langwierigen Shader-Compilation, noch vor Erreichen des Hauptmenüs ab. So auch auf meinem Gaming-PC unter CachyOS. Schuld ist die von Capcom eingesetzte Anti-Cheat-Lösung, everybody’s Darling Denuvo, die wohl höchst allergisch auf einige Linux-spezifische Gaming-Tools reagiert. Nachfolgend möchte ich allen Freunden von geschriebenen How-To Guides, eine kurze Schritt-für-Schritt-Anleitung an die Hand geben, wie „Pragmata“ unter Linux (CachyOS, Bazzite, Nobara, etc) gezockt werden kann ohne den Anti-Cheat zu triggern. How-To Guide…  

Eine durchaus spannende Entwicklung: Nachdem der „Xbox Game Pass“, das kostenpflichtige Spiele- und Online-Abo für Microsofts Xbox-Plattform, in den vergangenen Jahren stets teurer und die enthaltenen wirklich lohnenden Inhalte – zumindest gefühlt – immer weniger wurden, haben die Redmonder nun reagiert: Wie Microslop am heutigen Dienstag mitgeteilt hat, werden die Abopreise für den „Game Pass“ nach unten (sic!) angepasst – und zwar nicht erst in x Monaten, sondern mit sofortiger Wirkung! Für ein „Xbox GamePass Ultimate“-Monatsabo werden laut „Xbox Wire“ künftig 20,99 Euro fällig (bisheriger…  

Ein kurzes Update für alle, die es interessiert wie mein im Januar diesen Jahres begonnener Linux-Selbstversuch so läuft: Ich habe Bazzite Linux mittlerweile hinter mir gelassen und bin zurück zu Win… – Spaß! 😉 Nein, Bazzite läuft zwar tatsächlich nicht mehr auf meinem Gaming-PC, aber zurück ins Reich von Microslop hat es mich natürlich nicht verschlagen. Stattdessen habe ich mir vor knapp zwei Wochen CachyOS installiert und bin seitdem ganz begeistert! CachyOS ist eine Linux-Distribution, die auf Arch Linux basiert. Genauer gesagt handelt es sich…  

Es war eines der ersten „Features“ von Linux Bazzite, mit denen ich auf meiner Linux-Reise konfrontiert wurde: die Vergrößerung des Mauszeigers, sobald dieser eine Zeit lang schnell hin und her bewegt wird. Was hab ich gelacht, als der Cursor irgendwann so gigantisch war, dass er große Teile der Arbeitsfläche verdeckt hat – aber hey, immerhin wusste ich nun, wo genau auf dem Monitor er sich befindet. Irgendwann nervte mich das Feature dann doch sehr, so dass ich es ausgeschaltet habe. Wie genau das geht (die…  

Vergangene Woche war es soweit: Nach über einem Vierteljahrhundert hieß es Abschied nehmen von Microslop Windows; fortan sind „Bazzite Linux“ und „Fedora Core OS“ die beiden Betriebssysteme meiner Wahl! Auf dem einen wird gezockt, mit dem anderen versuche ich produktiv zu sein. Es war irgendwie befreiend, ein Grund zu feiern! Nicht nur, dass ich nun endlich wieder Herr bin über meinen Computer und alles, was auf ihm geschieht, auch die einigermaßen angespannte Speicherplatz-Situation hat sich wieder etwas entspannt, da Windows nicht mehr länger eine ganze…  

Ich habe mir gerade die Nominierungen für den Deutschen Computerspiele Preis 2026 angesehen. Also mal ganz, ganz ehrlich und direkt: Von hiesigen Studios – das von Ubisoft Mainz verantwortete „Anno 117 – Pax Romana“ einmal außen vor gelassen – ist da ja so überhaupt gar nichts bei, was auch nur ansatzweise relevant wäre auf dem Weltmarkt, geschweige denn erfolgreich. Alles so, keine Ahnung, nischige Nischenspiele, von denen ich noch nie gehört habe – und das will schon was heißen! Und wie verzweifelt muss man bitte…  

Nachdem langjährige Erfolgs-Franchises wie „Call of Duty“ und „Halo“ den Peak ihrer Popularität schon längere Zeit hinter sich haben, ist man in Redmond offenbar auf den Gedanken gekommen, dass das ein oder andere neue Spielefranchise der Xbox-Plattform nicht allzu schlecht zu Gesicht stehen würde. Und so kommt folgende Meldung nicht wirklich überraschend: „Microsoft kündigt Xbox-exklusiven Shooter ‚Triathlon‘ an“. Ebenfalls nicht sonderlich überraschend ist das Genre, in dem das brandneue Xbox-exklusive Franchise angesiedelt ist: Bei „Triathlon“ handelt es sich um einen Extraction-Shooter! Ein durchaus cleverer Move…