Teil III · Hardware und Infrastruktur

Lokale und souveräne KI

Kapitel 915 Min. LesezeitAktualisiert: September 2026

9.1Warum man KI bei sich selbst betreibt

9.2Open-Source-KI: eine Bewegung und ihre Abstufungen

Doch „Open Source“ auf die KI zu übertragen wirft ein neuartiges Problem auf. Klassische Software ist Code. Ein KI-Modell besteht aus dreierlei: Code, Gewichten (den Milliarden gelernter Parameter) und Trainingsdaten. Was muss offengelegt werden, damit etwas wirklich „Open Source“ ist? Darüber wurde heftig gestritten. Im Oktober 2024 hat die Open Source Initiative (die maßgebliche Organisation) die Frage mit ihrer Definition von Open-Source-KI (OSAID 1.0) entschieden: Ein Modell ist Open Source, wenn es frei genutzt, untersucht, verändert und weitergegeben werden kann. Das setzt voraus, dass Code und Gewichte veröffentlicht werden und dass hinreichende Informationen über die Daten bereitgestellt werden, damit jeder im Prinzip ein gleichwertiges Modell nachbauen kann (ohne dass zwingend die Rohdaten selbst veröffentlicht werden müssen, die mitunter sensibel oder rechtlich geschützt sind).

Diese Definition macht ein Spektrum der Offenheit sichtbar, das man genau unterscheiden muss:

Abbildung 9.1. Das Spektrum der Offenheit. Die meisten als „offen“ bezeichneten Modelle sind in Wirklichkeit Modelle mit offenen Gewichten: Man kann sie herunterladen und ausführen, weiß aber nicht, mit welchen Daten und welchem genauen Code sie trainiert wurden. Das ist nützlich, aber nicht ganz „Open Source“ im strengen Sinn.

Nutzen und Risiken. Wir haben diese Debatte in Kapitel 7 skizziert; der Blickwinkel Open Source beleuchtet sie genauer. Der Nutzen liegt in der Transparenz (Code und Gewichte lassen sich prüfen, was Verantwortlichkeit und Erklärbarkeit fördert), in der Demokratisierung (Länder und Unternehmen ohne eigenes Modell erhalten kostengünstig Zugang zur KI), in der Souveränität und darin, dass sich ein offenes Modell schwerer zensieren oder von heute auf morgen zurückziehen lässt. Die Risiken sind das Spiegelbild: Ein offenes Modell lässt sich nicht mehr „zurückrufen“, seine Schutzmechanismen können durch erneutes Training entfernt werden, was Sorgen vor missbräuchlicher Nutzung weckt (ein Bericht des Weißen Hauses von 2024 hatte allerdings „vorerst“ keinen hinreichenden Grund gefunden, die Veröffentlichung von Gewichten einzuschränken). Das ist das ganze Dilemma zwischen Offenheit und Kontrolle, das im Zentrum der KI-Governance steht (Kapitel 24 und 25).

9.3Quantisierung: Intelligenz komprimieren

9.4Die Open-Source-Werkzeuge der lokalen KI

9.5Die Hardware: Cluster aus Mac Studio und Mac mini

9.6Digitale Souveränität und europäische Cloud


Das Wichtigste (Kapitel 9)

  • KI lokal zu betreiben erfüllt Bedürfnisse nach Vertraulichkeit, Souveränität, Kosten, Betrieb ohne Internetverbindung und Kontrolle.
  • Open-Source-KI steht in der Tradition der Bewegung für freie Software. Die Definition der OSI (OSAID 1.0, 2024) verlangt Code, Gewichte und hinreichende Informationen über die Daten.
  • Vorsicht beim Spektrum: Die meisten „offenen“ Modelle haben nur offene Gewichte (herunterladbar, aber ohne Daten und Code), was Kritiker als „Openwashing“ bezeichnen; vollständig offene Modelle (wie Apertus) sind selten.
  • Offenheit ist zu einer geopolitischen Frage geworden (der „DeepSeek-Moment“, die strategische Waffe Chinas, die europäische Souveränität).
  • Die Quantisierung komprimiert Modelle, damit sie auf gängiger Hardware laufen; zu großen Teilen quelloffene Werkzeuge (Hugging Face, PyTorch, Ollama, LM Studio, llama.cpp, vLLM) machen lokale KI zugänglich.
  • Die Übernahme von Hugging Face durch NVIDIA, im September 2026 angekündigt und noch nicht abgeschlossen, stellt die Neutralität des Marktplatzes der offenen Modelle infrage.
  • Mac-Cluster (gemeinsamer Speicher, Energieeffizienz) bieten kleineren Organisationen ein gutes Preis-Leistungs-Verhältnis; bei roher Leistung bleibt NVIDIA unangefochten.
  • Die digitale Souveränität (souveräne Modelle, europäische Cloud, Open Source) ist der „europäische Weg“, ehrgeizig, aber kostspielig.

Diese Rechenleistung, ob lokal oder in der Cloud, hat einen Preis, der zunehmend in Megawatt gemessen wird. Kapitel 10 stellt sich der Frage, die alles ausbremsen könnte: der Energie.