Eigene KI-Infrastruktur: ComfyUI und lokale LLM-Inferenz auf AMD/ROCm

Grundsätzlich bin ich Cloud-first: Der Großteil meiner KI-Workloads läuft über Cloud-Anbieter. Parallel dazu erprobe ich auf eigener Hardware, wie weit lokale Inferenz trägt – ein Rechner mit AMD-Strix-Halo-Chip, integrierter GPU und ROCm, für Bildgenerierung und Sprachmodell-Inferenz. Diese Seite beschreibt das Setup und wo es sich bislang bewährt hat, ohne meine Cloud-Praxis zu ersetzen.

Eine Hardware, zwei Aufgaben

Der Kern meiner eigenen KI-Infrastruktur ist bewusst schlicht: ein Rechner mit AMD-Strix-Halo-Chip. Auf diesem System laufen zwei sehr unterschiedliche Arten von KI-Workloads nebeneinander. Zum einen die Bildgenerierung, mit der ich zum Beispiel die Roboter-Maskottchen auf dieser Website erzeuge. Zum anderen die Inferenz von Sprachmodellen, die meine KI-Agenten für einen Teil ihrer Aufgaben nutzen.

Beide Anwendungen greifen auf dieselbe Grundlage zu: die integrierte GPU des Chips, angesprochen über ROCm. Eine separate Grafikkarte gibt es nicht. Genau das war für mich auch eine der spannenden Fragen am Anfang – reicht eine iGPU mit ROCm für ernsthafte KI-Arbeit aus? Die kurze Antwort aus der Praxis: ja.

Technischer Hintergrund: ROCm und gemeinsamer Speicher

ROCm ist AMDs Software-Plattform, um GPUs für Rechenaufgaben wie das Ausführen von KI-Modellen zu nutzen. Auf meinem System ist ROCm die Schicht, über die sowohl ComfyUI als auch Ollama die integrierte GPU ansprechen. Das technische Fundament muss ich also nur einmal sauber aufsetzen und pflegen – beide Anwendungen profitieren davon.

Der entscheidende Vorteil des Strix-Halo-Chips ist der gemeinsame Speicher: CPU und GPU teilen sich denselben Arbeitsspeicher. Während eine klassische Grafikkarte durch ihren eigenen, begrenzten Videospeicher limitiert ist, kann die iGPU hier auf den gemeinsamen RAM zugreifen. Das macht es möglich, auch große Modelle auf der integrierten GPU auszuführen – sowohl Sprachmodelle als auch Bildgenerierungsmodelle.

Ehrlich gesagt: Die ROCm-Einrichtung ist kein Selbstläufer. Treiberversionen und Kompatibilität müssen zusammenpassen, und bis alles stabil läuft, braucht es etwas Geduld. Ist die Basis aber einmal eingerichtet, steht sie für alle darauf aufbauenden KI-Anwendungen zur Verfügung.

Bildgenerierung mit ComfyUI und Z-Image Turbo

Die Roboter-Maskottchen, die auf dieser Website in den Artikeln auftauchen, sind nicht gekauft und nicht aus einem Cloud-Dienst: Sie entstehen lokal, mit ComfyUI und dem Modell Z-Image Turbo, auf genau der beschriebenen Hardware.

ComfyUI ist dabei die Oberfläche und Ablaufsteuerung. Ein Bild entsteht nicht durch einen einzelnen Knopfdruck, sondern über einen Workflow aus einzelnen Nodes: Modell laden, Prompt setzen, Bild erzeugen, Ergebnis speichern. Dieser Workflow lässt sich immer wieder identisch ausführen. Das ist für mich der wichtigste Punkt – denn so bleiben die Maskottchen über verschiedene Artikel hinweg erkennbar konsistent, statt bei jedem Bild völlig anders auszusehen.

Wie das in der Praxis aussieht, habe ich ausführlich im Artikel Wie ich meine Roboter-Maskottchen generiere: ComfyUI in der Praxis beschrieben.

Lokale LLM-Inferenz mit Ollama

Sprachmodelle nutze ich nicht nur über Cloud-Anbieter, sondern auch auf eigener Hardware. Auf der ROCm-Basis läuft Ollama. Ollama lädt und verwaltet die Modelle und stellt eine einfache API bereit, über die meine KI-Agenten die lokalen Sprachmodelle ansprechen können. Für die Agenten macht es damit kaum einen Unterschied, ob eine Anfrage lokal oder in der Cloud beantwortet wird – die Entscheidung darüber treffe ich je nach Aufgabe.

Diese Erfahrungen stammen aus dem laufenden Betrieb: In zehn Tagen KI-Agenten-Betrieb hat sich ziemlich klar gezeigt, wo lokale Modelle ihre Stärken haben und wo sie an Grenzen stoßen. Die Details dazu stehen im Artikel Lokal oder Cloud? Was zehn Tage KI-Agenten-Betrieb uns über Kosten und Grenzen gelehrt haben.

Lokal oder Cloud – wann was?

Eigene KI-Infrastruktur heißt für mich nicht, die Cloud grundsätzlich abzulehnen. Es geht um die passende Wahl für die jeweilige Aufgabe.

Lokal ist sinnvoll bei vielen gleichförmigen Anfragen, bei denen ein kleiner Qualitätsverlust gegenüber den größten Cloud-Modellen verkraftbar ist. Außerdem überall dort, wo vertrauliche Daten im Spiel sind, die den eigenen Rechner nicht verlassen sollen.

Cloud, etwa über AWS, bleibt die bessere Wahl für komplexes Reasoning, sehr lange Kontexte und Aufgaben, bei denen Fehler teuer werden. Hier spielen die großen Modelle der Cloud-Anbieter ihre Stärken aus.

Bei der Bildgenerierung fällt die Entscheidung für mich dagegen eindeutig zugunsten der lokalen Lösung aus.

Warum ich auf eigene Hardware setze

Für den lokalen Betrieb sprechen aus meiner Sicht vor allem vier Gründe:

• Unabhängigkeit: Keine Abhängigkeit von Cloud-Modellen, deren Preisen und deren Nutzungsregeln, die sich jederzeit ändern können.
• Kontrolle: Volle Kontrolle über Modelle, Workflows und Ergebnisse – inklusive wiederholbarer Abläufe.
• Datenschutz: Die Daten verlassen den eigenen Rechner nicht.
• Erkenntnisgewinn: Ich wollte selbst herausfinden, ob eine AMD-iGPU mit ROCm für KI-Workloads taugt. Sie tut es.

Gerade die Kombination macht den Reiz aus: Bildgenerierung und Sprachmodell-Inferenz teilen sich dieselbe Hardware und dieselbe ROCm-Basis. Statt zwei getrennte Systeme aufzubauen, entsteht eine kompakte, eigene KI-Plattform, die ich vollständig selbst betreibe – und die ich gezielt durch Cloud-Modelle ergänze, wenn eine Aufgabe es erfordert. Beobachtet wird das gesamte Setup über mein Grafana-Monitoring.

Fazit

Eigene KI-Infrastruktur auf AMD-Strix-Halo-Hardware mit ROCm ist praxistauglich, aber bei mir bewusst Erprobung, nicht Standard. Grundsätzlich bleibe ich Cloud-first. ComfyUI mit Z-Image Turbo liefert schon heute konsistente Bilder für diese Website, Ollama stellt lokale Sprachmodelle für meine KI-Agenten bereit – als Ergänzung, nicht als Ersatz der Cloud. Der gemeinsame Speicher der integrierten GPU macht es möglich, auch große Modelle ohne dedizierte Grafikkarte zu betreiben. Der Einrichtungsaufwand für ROCm ist real – ob sich das für mehr als die bisherigen Anwendungsfälle lohnt, erprobe ich weiter.