Braucht lokale KI eine Grafikkarte? CPU, iGPU, NPU und GPU im Vergleich

01Die kurze Antwort

• CPU: Vielseitig und für zahlreiche kleinere lokale KI-Aufgaben ausreichend, bei großen Modellen und langen Medienprojekten jedoch oft langsam.
• iGPU: Kann bestimmte Modelle beschleunigen, nutzt aber meist gemeinsam mit dem System den Arbeitsspeicher und ist stark von Softwareunterstützung sowie Speicherbandbreite abhängig.
• NPU: Arbeitet besonders energieeffizient und eignet sich für unterstützte KI-Funktionen auf modernen AI-PCs. Sie ersetzt jedoch nicht automatisch eine leistungsfähige GPU.
• Dedizierte GPU: Bietet die höchste Leistung für große Modelle, generatives Text-to-Speech, Voice-Cloning, Video-KI und parallele Verarbeitung.

Wer lokale KI zuerst ausprobieren möchte, braucht nicht zwingend sofort neue Hardware. Wer regelmäßig längere Audio- oder Videoprojekte verarbeitet, mehrere Stimmen erzeugt oder kurze Wartezeiten erwartet, profitiert dagegen deutlich von einer dedizierten GPU.

Praxisregel: Starte mit der vorhandenen Hardware. Rüste erst dann auf, wenn ein konkreter Engpass sichtbar wird – etwa zu wenig RAM, zu wenig VRAM oder eine Wartezeit, die den Workflow im Alltag bremst.

02Welche Hardware passt zu welcher Nutzung?

Diese Werte sind keine harten Mindestanforderungen für jedes Modell. Quantisierung, Backend, Modellarchitektur, Treiber und Softwareoptimierung können die tatsächlichen Anforderungen deutlich verändern. Die Tabelle dient als praktische Orientierung, nicht als Garantie.

03Kann lokale KI ohne GPU laufen?

Ja. Viele Modelle besitzen eine CPU-Ausführung oder können auf eine CPU zurückfallen, wenn kein unterstützter Beschleuniger vorhanden ist. Das gilt besonders für kleinere Modelle und Aufgaben, bei denen eine längere Bearbeitungszeit akzeptabel ist.

Eine CPU ist universell einsetzbar. Sie übernimmt das Betriebssystem, die Anwendungslogik, Dateiverarbeitung und jene Modellteile, für die kein anderer Beschleuniger verfügbar ist. Deshalb bleibt sie auch in einem leistungsfähigen KI-PC ein wichtiger Bestandteil.

Was funktioniert auf einer CPU?

Typische Aufgaben, die je nach Modell ohne dedizierte GPU möglich sind:

• Sprache in Text umwandeln
• Untertitel und Transkripte erzeugen
• Texte übersetzen
• Audiodateien analysieren und schneiden
• kleinere lokale Sprachmodelle ausführen
• einfache Text-to-Speech-Modelle verwenden
• kurze Sprachproben generieren
• Metadaten, Sprechersegmente und Zeitmarken verarbeiten
• Dokumente oder Bilder mit kleineren Modellen klassifizieren

Die tatsächliche Geschwindigkeit hängt stark von Modellgröße, Quantisierung, CPU-Architektur, Arbeitsspeicher und Softwareoptimierung ab. Zwei Programme können auf demselben Computer deutlich unterschiedlich schnell laufen, obwohl beide dieselbe Aufgabe lösen.

Technisch möglich, praktisch nutzbar oder produktiv?

Bei lokaler KI sollten drei Stufen unterschieden werden:

1. Technisch möglich: Das Modell startet und erzeugt ein Ergebnis.
2. Praktisch nutzbar: Die Wartezeit ist für gelegentliche Aufgaben akzeptabel.
3. Produktiv einsetzbar: Auch längere oder wiederkehrende Projekte werden in vertretbarer Zeit verarbeitet.

Diese Unterscheidung verhindert falsche Erwartungen. Eine CPU kann ein Modell grundsätzlich ausführen, ohne dass sich der Workflow für den täglichen Einsatz eignet.

04CPU für lokale KI: Was leistet sie wirklich?

Die CPU organisiert den gesamten Workflow. Sie lädt Modelle, bereitet Eingaben vor, steuert Dateizugriffe, dekodiert Medien und übernimmt Aufgaben, die nicht auf GPU oder NPU ausgeführt werden.

Eine gute CPU verbessert daher nicht nur reine CPU-Inferenz. Sie verhindert auch, dass eine schnelle Grafikkarte auf Daten, Dekodierung oder andere Verarbeitungsschritte warten muss.

Mehr zur Prozessorwahl findest du im Leitfaden CPU-System für lokale KI.

Spracherkennung und Transkription

Spracherkennung gehört zu den sinnvollsten Einstiegsaufgaben für lokale KI ohne GPU. Kleine oder optimierte Modelle können auf aktuellen CPUs brauchbare Ergebnisse liefern. Für einzelne Aufnahmen, Meetings oder kurze Videos reicht das häufig aus.

Mit steigender Modellgröße erhöht sich normalerweise der Rechenbedarf. Bei vielen Stunden Audiomaterial wird eine GPU zunehmend interessant, weil sich auch kleine Verzögerungen über lange Projekte summieren.

Übersetzung und kleinere Sprachmodelle

Kleine quantisierte Sprachmodelle können auf einer CPU laufen, sofern genügend Arbeitsspeicher vorhanden ist. Sie eignen sich beispielsweise für:

• Übersetzung
• Zusammenfassungen
• Textkorrektur
• Untertitelbearbeitung
• einfache Klassifizierung
• strukturierte Ausgabe aus Transkripten

Große Modelle benötigen deutlich mehr Speicherbandbreite und Rechenleistung. Hier entscheidet nicht allein die Anzahl der CPU-Kerne. Speicherbandbreite, Befehlssatzerweiterungen, Quantisierung und Laufzeitoptimierung spielen ebenfalls eine wichtige Rolle.

Text-to-Speech auf der CPU

Text-to-Speech kann ohne dedizierte GPU funktionieren. Kleine oder klassische TTS-Modelle erzeugen Sprache häufig auch auf einer CPU in akzeptabler Geschwindigkeit.

Bei neueren generativen Sprachmodellen steigen die Anforderungen. Hochwertige Stimmen, längere Texte, mehrere Sprecher und expressive Sprachgestaltung erhöhen den Rechenaufwand. Eine CPU bleibt dann zwar eine mögliche Plattform, ist aber nicht immer die angenehmste Wahl.

CPU-Leistung sinnvoll nutzen

Für eine stabile lokale KI-Ausführung helfen einige Grundregeln:

• genügend Arbeitsspeicher bereitstellen
• Modelle und temporäre Dateien auf einer schnellen SSD speichern
• unnötige Hintergrundprogramme schließen
• passende quantisierte Modellvarianten verwenden
• eine Laufzeit einsetzen, die für die eigene Hardware optimiert ist
• Temperatur und dauerhafte Leistungsaufnahme im Blick behalten

Eine schnelle CPU kann eine fehlende GPU nicht vollständig ersetzen. Sie erweitert aber deutlich, welche lokalen KI-Aufgaben auf vorhandener Hardware sinnvoll nutzbar sind.

Praxistipp: Für einen ersten Test ist ein kleineres oder quantisiertes Modell meist sinnvoller als sofort neue Hardware zu kaufen. So lässt sich erkennen, ob wirklich die Rechenleistung oder nur die gewählte Modellvariante zum Problem wird.

05Was bringt eine integrierte GPU bei lokaler KI?

Eine integrierte GPU, kurz iGPU, befindet sich direkt im Prozessor oder im selben Chip-Paket. Sie besitzt normalerweise keinen eigenen großen Grafikspeicher, sondern nutzt einen Teil des normalen Arbeitsspeichers.

Für lokale KI kann eine iGPU trotzdem wertvoll sein. Viele neuronale Netze bestehen aus stark parallelisierbaren Rechenoperationen. Genau darin sind Grafikprozessoren grundsätzlich stark.

AMD- und Intel-iGPUs als Beschleuniger

Ob eine iGPU tatsächlich schneller arbeitet, hängt von der Software ab. Modell und Laufzeit müssen die vorhandene Hardware ansprechen können. Ein Programm, das nur eine CPU-Ausführung besitzt, nutzt die iGPU nicht automatisch.

Eine leistungsfähige iGPU kann besonders interessant sein für:

• kleinere Sprachmodelle
• Bildanalyse
• einzelne Audio-Modelle
• bestimmte ONNX-Modelle
• lokale KI auf Mini-PCs
• mobile Geräte ohne dedizierte Grafikkarte

Eine moderne iGPU ist nicht automatisch schneller als jede CPU-Ausführung. Sie bietet aber eine zusätzliche Rechenressource, die bei guter Softwareunterstützung sinnvoll genutzt werden kann.

Speicherbandbreite ist bei einer iGPU entscheidend

Eine iGPU teilt sich den Arbeitsspeicher mit CPU und Betriebssystem. Deshalb beeinflusst die Speicheranbindung ihre Leistung stärker als bei einer dedizierten GPU mit eigenem VRAM.

Wichtig sind insbesondere:

• schneller Arbeitsspeicher
• möglichst breite Speicheranbindung
• ausreichend Gesamtkapazität
• keine unnötig hohe Speicherauslastung durch andere Programme
• passende Einstellungen im System und in der Anwendung

Bei aufrüstbaren Systemen kann eine ungünstige Speicherkonfiguration die iGPU deutlich begrenzen. Bei fest verlötetem Speicher moderner Notebooks ist die Speicheranbindung bereits durch das Gerät vorgegeben.

Shared Memory ist nicht dasselbe wie VRAM

Windows kann bei einer iGPU eine große gemeinsam nutzbare Speichermenge anzeigen. Das bedeutet nicht, dass dieser Speicher dieselbe Bandbreite und Unabhängigkeit wie eigener Grafikspeicher einer dedizierten GPU besitzt.

Für lokale KI heißt das:

• mehr RAM schafft zusätzlichen Spielraum
• die iGPU konkurriert mit CPU und Betriebssystem um Speicher
• große Modelle können das gesamte System spürbar belasten
• 32 GB RAM sind für eine starke iGPU meist flexibler als 16 GB
• eine hohe Shared-Memory-Anzeige ersetzt keine leistungsfähige GPU mit eigenem VRAM

Wichtig bei Mini-PCs und Notebooks: Eine starke iGPU kann nur dann ihr Potenzial ausspielen, wenn Speicherbandbreite, Treiber und Software zusammenpassen. Der Name der Grafikeinheit allein sagt deshalb wenig über die reale KI-Leistung aus.

06Was ist eine NPU und wann hilft sie?

Eine NPU ist ein spezialisierter Beschleuniger für neuronale Netze. Sie ist vor allem in modernen AI-PCs, Notebooks und kompakten Systemen zu finden. Ihr Schwerpunkt liegt auf effizienter lokaler KI-Inferenz bei möglichst geringem Energieverbrauch.

Eine NPU soll nicht jede rechenintensive Aufgabe maximal schnell ausführen. Sie ist besonders interessant für dauerhaft aktive oder energieeffiziente KI-Funktionen.

Typische Stärken einer NPU

Eine NPU kann sich unter anderem eignen für:

• Geräuschunterdrückung
• Kameraeffekte und Hintergrundfreistellung
• Audiooptimierung
• Bildklassifizierung
• Texterkennung
• kleinere Sprach- und Analysemodelle
• unterstützte lokale Assistenten
• dauerhaft laufende KI-Funktionen auf einem Notebook

Der große Vorteil ist die Effizienz. Ein Notebook kann bestimmte KI-Aufgaben lokal ausführen, ohne dafür ständig CPU oder GPU stark auszulasten.

Wo eine NPU weiterhin Grenzen hat

Eine NPU ist nicht automatisch die beste Plattform für:

• große generative Sprachmodelle
• hochwertige generative TTS-Systeme
• anspruchsvolles Voice-Cloning
• lange Video-Dubbing-Projekte
• Bild- und Videogenerierung
• Modelle mit nicht unterstützten Operatoren

Gerade generative Audio- und Video-Workflows benötigen häufig viel Speicher, hohe Speicherbandbreite und eine Software, die den Beschleuniger gezielt unterstützt.

Warum ein AI-PC nicht automatisch ein schneller KI-PC ist

Der Begriff AI-PC beschreibt in der Regel ein System mit spezieller KI-Hardware, häufig einer NPU. Daraus folgt jedoch nicht, dass jede lokale KI-Anwendung schneller läuft.

Auf demselben Gerät können drei Situationen auftreten:

• Ein Modell läuft vollständig auf der NPU.
• Nur bestimmte Modellteile werden auf der NPU ausgeführt.
• Die Anwendung verwendet weiterhin CPU oder GPU, weil kein kompatibler NPU-Pfad vorhanden ist.

Für Käufer ist deshalb nicht nur die beworbene NPU-Leistung relevant. Entscheidend ist, ob die tatsächlich verwendete Software diese NPU unterstützt.

Merksatz: Ein AI-PC besitzt spezielle KI-Hardware. Das bedeutet aber nicht automatisch, dass jede lokale KI-Anwendung diese Hardware verwendet.

07Wann braucht lokale KI eine dedizierte Grafikkarte?

Eine dedizierte GPU besitzt eigene Recheneinheiten und eigenen Grafikspeicher. Sie kann große Mengen paralleler Berechnungen schnell ausführen und ist deshalb für viele generative KI-Modelle die bevorzugte Hardware.

Besonders sinnvoll wird eine dedizierte GPU, wenn mindestens einer dieser Punkte zutrifft:

• große Modelle sollen lokal laufen
• lange Audio- oder Videodateien werden verarbeitet
• mehrere Sprecher werden erzeugt
• Voice-Cloning soll schnell reagieren
• hohe Audioqualität ist wichtiger als minimale Modellgröße
• Bild- oder Videogenerierung gehört zum Workflow
• mehrere KI-Schritte laufen gleichzeitig
• Wartezeiten sollen kurz bleiben
• lokale KI wird regelmäßig produktiv eingesetzt

Eine GPU ist nicht die Eintrittskarte zu lokaler KI, aber häufig der größte Hebel für Geschwindigkeit und Skalierbarkeit.

Warum VRAM so wichtig ist

Der Grafikspeicher bestimmt, welche Modellteile und Zwischenergebnisse direkt auf der GPU gehalten werden können. Reicht der VRAM nicht aus, muss die Software:

• ein kleineres Modell verwenden
• stärker quantisieren
• Teile auf CPU und RAM auslagern
• Daten häufiger zwischen Arbeitsspeicher und GPU übertragen
• den Workflow vollständig auf die CPU zurückfallen lassen

Mehr VRAM bedeutet nicht automatisch mehr Geschwindigkeit. Zu wenig VRAM kann aber verhindern, dass ein Modell vollständig auf der GPU läuft.

Eine ausführliche Einordnung findest du im GPU-Leitfaden für lokale KI.

08Reichen 8 GB VRAM für lokale KI?

Für viele kleinere und mittlere lokale KI-Aufgaben können 8 GB VRAM ausreichen. Dazu zählen je nach Modell:

• Spracherkennung
• kleinere TTS-Modelle
• einzelne Voice-Cloning-Workflows
• quantisierte Sprachmodelle
• Bildmodelle mit angepassten Einstellungen
• kurze Audio- und Videoprojekte

8 GB VRAM werden schneller knapp, wenn mehrere Modelle gleichzeitig geladen werden, große Sprachmodelle verwendet werden oder Video-Dubbing mehrere rechenintensive Schritte kombiniert.

Wann 12 GB oder mehr sinnvoll werden

Mehr VRAM schafft Spielraum für:

• größere Modelle
• weniger aggressive Quantisierung
• längere Projekte
• mehrere Sprecher
• parallele Verarbeitung
• höhere Auflösungen bei Bild- und Video-KI
• zusätzliche Qualitätsprüfungen

Für regelmäßiges Voice-Cloning und Video-Dubbing sind etwa 12 GB VRAM oft eine deutlich entspanntere Ausgangslage als 8 GB. Für große Modelle oder mehrere parallele Jobs können 16 GB oder mehr sinnvoll sein.

Die konkrete Eignung hängt trotzdem vom Modell ab. Ein optimiertes Modell kann mit weniger Speicher auskommen als ein kleiner wirkendes, aber ineffizient implementiertes System.

09Welche GPU ist für Text-to-Speech geeignet?

Die Frage nach der besten GPU für TTS lässt sich nicht mit einem einzelnen Modellnamen beantworten. Text-to-Speech umfasst sehr unterschiedliche Systeme: von kleinen klassischen Sprachsynthesen bis zu großen generativen Modellen mit Voice-Cloning und emotionaler Steuerung.

Einfache TTS-Modelle

Für kleinere TTS-Modelle gilt häufig:

• CPU-Ausführung ist möglich
• eine iGPU kann je nach Laufzeit helfen
• geringer VRAM kann ausreichen
• die Textlänge beeinflusst die Gesamtzeit
• einzelne kurze Sprachdateien stellen geringe Anforderungen

Wer nur gelegentlich Text in Sprache umwandelt, benötigt deshalb nicht zwingend eine leistungsstarke Grafikkarte.

Generative TTS-Modelle und hochwertige Stimmen

Anspruchsvoller wird es bei:

• sehr natürlicher Prosodie
• langen Texten
• mehreren Stimmen
• Voice-Cloning
• Sprachstil- und Emotionssteuerung
• paralleler Generierung
• niedriger Latenz

Hier wird eine dedizierte GPU deutlich interessanter. Sie kann die Generierungszeit verkürzen und erlaubt häufig größere oder hochwertigere Modellvarianten.

Die beste GPU für TTS ist daher jene, die zum konkreten Modell, zur gewünschten Qualität und zur Häufigkeit der Nutzung passt. Für den praktischen Einstieg helfen der Offline-KI-Stimmgenerator und der vertiefende Beitrag GPU für Voice-Cloning.

10Braucht Voice-Cloning eine GPU?

Voice-Cloning benötigt nicht grundsätzlich eine GPU. Je nach Modell können sowohl die Analyse einer Referenzstimme als auch die spätere Spracherzeugung auf einer CPU laufen.

In der Praxis profitieren Voice-Cloning-Workflows jedoch stark von einer Grafikkarte. Das gilt besonders für hochwertige Modelle, längere Texte und mehrere Sprecher.

Voice-Cloning-Inferenz ohne GPU

Bei der Inferenz wird eine bereits vorbereitete oder aus einer Referenz gewonnene Stimme verwendet, um neue Sprache zu erzeugen. Eine CPU kann diese Aufgabe übernehmen, wenn:

• das Modell klein oder gut quantisiert ist
• nur kurze Texte erzeugt werden
• längere Wartezeiten akzeptabel sind
• keine parallelen Sprecher verarbeitet werden
• die Software eine stabile CPU-Ausführung besitzt

Für einzelne Tests oder gelegentliche Projekte kann das ausreichen.

Wann eine GPU beim Voice-Cloning sinnvoll wird

Eine dedizierte GPU ist empfehlenswert, wenn:

• viele Minuten oder Stunden Sprache erzeugt werden
• mehrere Sprecher vorkommen
• Timing und Tonalität wiederholt angepasst werden
• verschiedene Stimmen verglichen werden
• ein Video vollständig neu vertont wird
• die Ausgabe möglichst schnell kontrolliert werden soll

Wenn du regelmäßig 30-minütige Videos dubbst, spürst du den Unterschied besonders deutlich: Jede beschleunigte Generierung verkürzt nicht nur einen einzelnen Schritt, sondern viele wiederholte Korrektur- und Prüfrunden.

11Welche Hardware braucht lokale Video-KI?

Der Begriff Video-KI umfasst sehr unterschiedliche Aufgaben. Ein System für Untertitel benötigt wesentlich weniger Leistung als ein System für vollständige Videogenerierung oder mehrsprachiges Voice-Cloning.

Lokale Videoübersetzung besteht aus mehreren KI-Schritten

Bei VANIV ist Video-Dubbing kein einzelner Modellaufruf, sondern eine Kette voneinander abhängiger Verarbeitungsschritte. Ein typischer lokaler Workflow kann folgende Schritte enthalten:

1. Video und Audiospur einlesen
2. Sprache und Sprechersegmente erkennen
3. gesprochenen Inhalt transkribieren
4. Text übersetzen
5. Zielstimmen erzeugen oder zuordnen
6. Timing und Sprechdauer anpassen
7. neue Tonspur mischen
8. finales Video exportieren
9. Ergebnis automatisch prüfen

Nicht jeder Schritt benötigt dieselbe Hardware.

Diese Aufteilung erklärt, warum eine schwächere GPU nicht automatisch den gesamten Workflow unbrauchbar macht. Gleichzeitig kann eine leistungsfähige GPU jene Schritte stark beschleunigen, die sich bei langen Projekten besonders häufig wiederholen.

Warum eine GPU bei Video-Dubbing so viel ausmacht

Bei einem kurzen Satz fällt eine langsame Generierung kaum auf. Bei einem langen Video wird dieselbe Verzögerung jedoch hunderte Male wiederholt.

Eine GPU hilft vor allem bei:

• langen Projekten
• mehreren Zielsprachen
• mehreren Sprechern
• wiederholten Timing-Korrekturen
• automatischer Qualitätsprüfung
• parallelen Zielversionen
• kurzen Produktionszeiten

Für lokale Videoübersetzung gilt daher: Eine CPU kann viele Teile des Workflows ausführen. Eine dedizierte GPU macht den gesamten Ablauf jedoch deutlich produktiver.

Mehr zum Anwendungsfall findest du unter Video lokal übersetzen und lokales Video-Dubbing.

12Welche Software nutzt CPU, GPU und NPU?

Die Hardware entscheidet nicht allein über die Leistung. Erst die verwendete Laufzeit bestimmt, ob ein Modell auf der CPU, einer GPU, einer iGPU oder einem spezialisierten Beschleuniger ausgeführt wird.

Die folgenden Werkzeuge zeigen, wie unterschiedlich lokale KI-Software mit Hardware umgehen kann. Sie sind Beispiele für verbreitete Ansätze und nicht automatisch für jeden Workflow die beste Wahl.

Ollama: einfacher Einstieg in lokale Sprachmodelle

Ollama vereinfacht das lokale Laden und Ausführen unterstützter Sprachmodelle. Für viele Nutzer ist es ein zugänglicher Einstieg, weil Modelle über eine einheitliche Oberfläche verwaltet und lokal angesprochen werden können.

Je nach Betriebssystem und Hardware kann Ollama vorhandene GPU-Beschleunigung verwenden. Passt ein Modell nicht vollständig in den Grafikspeicher oder steht kein unterstützter GPU-Pfad zur Verfügung, beeinflussen Modellgröße, Arbeitsspeicher und Backend, wie der Lauf tatsächlich ausgeführt wird.

Ollama eignet sich besonders für:

• lokale Chat- und Textmodelle
• Übersetzungs- und Zusammenfassungsaufgaben
• Tests verschiedener quantisierter Modelle
• lokale Schnittstellen für andere Anwendungen
• einfache Experimente, ohne jeden Modellrunner einzeln einzurichten

llama.cpp: flexible Inferenz mit quantisierten Modellen

llama.cpp ist eine schlanke Laufzeit für lokale Sprachmodell-Inferenz. Besonders wichtig sind quantisierte GGUF-Modelle, die den Speicherbedarf reduzieren und dadurch auch auf CPU-Systemen oder Geräten mit begrenztem VRAM nutzbar werden können.

Je nach Build und Hardware kann llama.cpp unter anderem:

• vollständig auf der CPU laufen
• unterstützte Modellteile auf eine GPU auslagern
• CPU und GPU gemeinsam verwenden
• unterschiedliche Quantisierungsstufen nutzen
• über einen lokalen Server von anderen Anwendungen angesprochen werden

Das Beispiel zeigt, warum die Frage „CPU oder GPU?“ nicht immer binär beantwortet werden muss. Ein Modell kann teilweise auf der GPU und teilweise im normalen Arbeitsspeicher verarbeitet werden.

whisper.cpp: lokale Transkription ohne Cloud

whisper.cpp ist eine lokale Umsetzung für Whisper-basierte Spracherkennung. Sie kann auf CPU-Systemen laufen und unterstützt je nach Plattform zusätzliche Beschleuniger.

Für Leser dieses Artikels ist vor allem die Einordnung wichtig:

• lokale Transkription ist grundsätzlich ohne dedizierte GPU möglich
• kleinere oder quantisierte Modelle senken den Ressourcenbedarf
• GPU-Beschleunigung verkürzt bei langen Dateien häufig die Bearbeitungszeit
• die optimale Konfiguration hängt von Plattform und Build ab

Damit ist whisper.cpp ein anschauliches Beispiel dafür, dass lokale KI nicht zwingend Cloud-Rechenleistung oder eine High-End-GPU voraussetzt.

ONNX Runtime: ein Modell, mehrere Ausführungspfade

ONNX Runtime verfolgt einen anderen Ansatz. Ein Modell kann über sogenannte Execution Provider auf unterschiedlichen Plattformen ausgeführt werden. Je nach System und Installation können CPU, GPU oder andere Beschleuniger angesprochen werden.

Das ist besonders für Anwendungen wie VANIV interessant: Ein Workflow kann einen zuverlässigen CPU-Pfad besitzen und auf unterstützten Geräten zusätzliche Hardwarebeschleunigung verwenden. Dabei muss jedoch geprüft werden, ob alle Operatoren des jeweiligen Modells auf dem gewählten Provider unterstützt werden.

Entscheidend ist nicht nur das Tool: Modellformat, Quantisierung, Treiber, Backend und konkrete Anwendung bestimmen gemeinsam, welche Hardware tatsächlich genutzt wird.

13ONNX auf AMD, Intel und NVIDIA

ONNX ist ein offenes Modellformat. ONNX Runtime ist eine Laufzeit, die Modelle über unterschiedliche Ausführungsanbieter auf verschiedenen Hardwareplattformen ausführen kann.

Das ist für lokale KI wichtig, weil eine Anwendung dadurch nicht zwingend auf eine einzige Grafikkartenmarke beschränkt sein muss.

Was sind Execution Provider?

Ein Execution Provider verbindet ONNX Runtime mit einer konkreten Hardware- oder Beschleunigungsplattform. Je nach System können CPU, GPU oder spezialisierte Beschleuniger angesprochen werden.

Das Grundprinzip:

1. Die Laufzeit prüft, welche Teile eines Modells unterstützt werden.
2. Unterstützte Rechenoperationen werden dem passenden Beschleuniger zugeteilt.
3. Nicht unterstützte Teile können auf einen anderen Provider oder die CPU zurückfallen.

Dadurch kann ein Modell auf unterschiedlichen Geräten laufen, ohne für jedes System vollständig neu entwickelt zu werden.

Kompatibilität ist nicht dasselbe wie Geschwindigkeit

Dass ein Modell auf AMD, Intel oder NVIDIA gestartet werden kann, bedeutet nicht, dass es überall gleich schnell läuft.

Die Leistung hängt unter anderem ab von:

• unterstützten Operatoren
• Treibern und Laufzeitversionen
• Modellarchitektur
• Datentyp und Quantisierung
• Speicherbandbreite
• verfügbarem GPU- oder NPU-Speicher
• Aufteilung zwischen mehreren Execution Providern

Eine ausführliche Erklärung findest du in Was ist ONNX? Lokale KI mit AMD, Intel und NVIDIA.

14CPU, iGPU, NPU und dedizierte GPU im direkten Vergleich

Die Tabelle ist eine Orientierung. Ein gut optimiertes kleines Modell auf einer CPU kann schneller sein als ein schlecht unterstütztes Modell auf einer iGPU. Softwareunterstützung bleibt deshalb genauso wichtig wie die reine Hardware.

15Welcher PC für lokale KI passt zu deinem Workflow?

Es gibt nicht den einen perfekten KI-PC. Eine passende Konfiguration richtet sich nach Aufgaben, Projektlänge und gewünschter Wartezeit.

Profil 1: Vorhandener Laptop oder Büro-PC

Geeignet für:

• erste lokale KI-Tests
• Transkription
• Übersetzung
• kleinere Sprachmodelle
• kurze TTS-Ausgaben
• gelegentliche Offline-Workflows

Sinnvolle Basis:

• moderne Mehrkern-CPU
• mindestens 16 GB RAM als Einstieg
• schnelle SSD
• ausreichend freier Speicherplatz
• Bereitschaft, bei größeren Modellen länger zu warten

Dieses Profil zeigt, dass lokale KI ohne GPU möglich ist. Für lange Video- und Voice-Cloning-Projekte stößt es jedoch schneller an praktische Grenzen.

Profil 2: Moderner AI-PC mit iGPU und NPU

Geeignet für:

• mobile lokale KI
• energieeffiziente Hintergrundfunktionen
• kleinere bis mittlere Modelle
• unterstützte NPU-Anwendungen
• kompakte Mini-PCs und Notebooks
• lokale Verarbeitung sensibler Daten

Sinnvolle Basis:

• aktuelle CPU mit leistungsfähiger iGPU
• unterstützte NPU
• 32 GB RAM für mehr Flexibilität
• schnelle NVMe-SSD
• aktuelle Treiber und kompatible Laufzeiten

Dieses Profil ist besonders spannend, weil CPU, iGPU und NPU gemeinsam verschiedene Aufgaben übernehmen können. Es ersetzt nicht in jedem Fall eine dedizierte GPU, erweitert aber die Möglichkeiten kompakter Systeme deutlich.

Profil 3: Workstation mit dedizierter GPU

Geeignet für:

• regelmäßiges Voice-Cloning
• mehrsprachiges Video-Dubbing
• lange Audio- und Videoprojekte
• größere Sprachmodelle
• Bild- und Videogenerierung
• mehrere parallele KI-Aufgaben

Sinnvolle Basis:

• starke Mehrkern-CPU
• dedizierte GPU mit ausreichend VRAM
• 32 bis 64 GB RAM, abhängig von Modellen und Projektgröße
• schnelle NVMe-SSD für Modelle und Arbeitsdateien
• zusätzlicher Speicher für fertige Projekte und Archive

Hier sollte nicht nur die GPU betrachtet werden. Arbeitsspeicher, SSD, Kühlung und Stromversorgung müssen zum Gesamtsystem passen.

Vor dem Hardware-Kauf: Finde zuerst den echten Flaschenhals

Eine neue Grafikkarte lohnt sich nur dann, wenn tatsächlich GPU-Leistung oder VRAM dein Problem begrenzen. Bei lokaler KI sind häufig auch Backend-Support, RAM, Speicher oder ein CPU-lastiger Verarbeitungsschritt der Engpass.

1. Runtime zuerst prüfen. Kontrolliere, ob Modell und Anwendung CPU, iGPU, NPU oder GPU über einen kompatiblen Backend- bzw. Execution-Provider überhaupt ansprechen können.
2. Speicherbedarf prüfen. Kläre, ob Modell und Zwischendaten in RAM oder VRAM passen. Bei iGPUs teilen sich Betriebssystem, CPU und Grafik denselben Systemspeicher.
3. Den langsamen Schritt messen. Transkription, TTS und Voice Cloning können andere Engpässe haben als Videodekodierung, Audio-Mixing oder Export.
4. Die kleinste sinnvolle Änderung testen. Probiere zuerst ein kleineres oder quantisiertes Modell, den passenden Backend-Pfad, aktuelle Treiber oder mehr freien RAM und SSD-Spielraum, bevor du Hardware kaufst.

Kaufregel: Rüste die Komponente auf, die den Verarbeitungsschritt beschleunigt, den du am häufigsten wiederholst.

16Wie viel RAM und SSD-Speicher braucht lokale KI?

CPU, GPU und NPU erhalten meist die größte Aufmerksamkeit. In der Praxis bremsen aber auch zu wenig RAM und langsamer Speicher viele lokale KI-Systeme aus.

Arbeitsspeicher

RAM wird benötigt für:

• Betriebssystem und Anwendung
• Modelle, die auf der CPU laufen
• gemeinsam genutzten Speicher einer iGPU
• Zwischenergebnisse
• Audio- und Videodaten
• parallele Verarbeitungsschritte

16 GB können für kleinere Aufgaben ausreichen. 32 GB bieten für lokale KI deutlich mehr Spielraum. Bei großen Modellen, langen Videos oder mehreren parallelen Anwendungen können 64 GB sinnvoll sein.

Mehr dazu: Wie viel RAM braucht lokale KI?

SSD-Speicher

Lokale KI-Modelle, temporäre Dateien, Audioversionen und Videoexporte benötigen schnell viel Speicherplatz. Eine schnelle NVMe-SSD verkürzt Ladezeiten und verhindert, dass große Dateien den Workflow unnötig ausbremsen.

Wichtig sind:

• genügend freier Speicher
• gute Dauerleistung
• sinnvoll getrennte Bereiche für Modelle, Arbeitsdaten und Archive
• regelmäßige Sicherungen wichtiger Projekte

Mehr dazu: SSD für lokale KI: Geschwindigkeit, Kapazität und Lebensdauer

17Wie VANIV unterschiedliche Hardware sinnvoll kombiniert

Für lokale Workflows wie Videoübersetzung, Voice-Cloning und mehrsprachiges Dubbing ist eine flexible Hardwarestrategie sinnvoll. Nicht jeder Verarbeitungsschritt benötigt dieselbe Rechenplattform.

Ein intelligenter lokaler Workflow kann:

• einfache Aufgaben auf der CPU ausführen
• unterstützte Modelle auf iGPU oder NPU beschleunigen
• rechenintensive TTS- und Voice-Cloning-Schritte an eine dedizierte GPU übergeben
• Modelle über hardwareflexible Laufzeiten wie ONNX Runtime bereitstellen
• auch auf schwächeren Systemen einen funktionierenden, wenn auch langsameren Pfad anbieten

Genau diese Trennung ist entscheidend: Lokale KI sollte nicht nur auf einer einzigen Grafikkartenmarke funktionieren. Gleichzeitig darf Hardwarekompatibilität nicht mit identischer Leistung verwechselt werden.

18Was, wenn die eigene Hardware nicht ausreicht?

VANIV verfolgt grundsätzlich einen Local-first-Ansatz: Dateien, Modelle und Verarbeitung sollen möglichst auf dem eigenen Computer bleiben. Nicht jeder Nutzer besitzt jedoch eine ausreichend leistungsfähige Grafikkarte für langes Video-Dubbing, hochwertiges Voice-Cloning oder größere lokale KI-Modelle.

Eine spätere optionale Erweiterung könnte deshalb einzelne besonders rechenintensive Schritte auf eine kurzfristig bereitgestellte externe GPU auslagern. Der lokale Computer würde weiterhin den Workflow steuern, während zusätzliche Rechenleistung nur für ausdrücklich ausgewählte Aufgaben verwendet wird.

„Ohne eigene GPU“ ist ehrlicher als „ohne GPU“

Auch bei externer Rechenleistung läuft die Berechnung weiterhin auf einer GPU – nur nicht im Computer des Nutzers. Die korrekte Formulierung lautet daher lokale KI ohne eigene GPU oder lokal gesteuerte KI mit optionaler externer Rechenleistung.

Diese Unterscheidung ist wichtig, weil sie keine falsche technische Erwartung erzeugt. Der lokale Rechner bleibt Cockpit und Kontrollzentrum, während eine entfernte Instanz nur einen klar begrenzten Rechenschritt übernimmt.

Datenschutz beginnt mit einer ehrlichen Datenflussanalyse

Sobald ein vollständiger Audio-, Video- oder Voice-Cloning-Schritt extern verarbeitet wird, müssen die dafür benötigten Daten technisch übertragen werden. Eine verschlüsselte Verbindung schützt den Transport, macht die Daten am Verarbeitungssystem aber nicht automatisch unsichtbar.

Eine datenschutzorientierte Architektur müsste deshalb genau festlegen:

• welche Daten das Gerät überhaupt verlassen dürfen
• ob lokale Vorverarbeitung oder Segmentierung die Datenmenge reduzieren kann
• ob Namen, Metadaten oder nicht benötigte Spuren vor der Übertragung entfernt werden
• in welcher Region die Instanz bereitgestellt wird
• ob ausschließlich im Arbeitsspeicher verarbeitet wird
• ob persistente Laufwerke vollständig vermieden werden können
• wie Protokolle, Caches und temporäre Dateien behandelt werden
• wie die Instanz nach dem Auftrag nachweisbar beendet und verworfen wird
• welche Projekte aus Sicherheitsgründen ausschließlich lokal bleiben

Keine persönlichen Daten über das Netzwerk ist nur dann eine ehrliche Aussage, wenn die externe Instanz tatsächlich keine persönlichen Rohdaten erhält. Bei vollständiger externer Verarbeitung einer Stimme oder eines Videos wäre das normalerweise nicht der Fall. Realistischer sind daher Datenminimierung, Verschlüsselung, kurze Lebensdauer, transparente Kontrolle und ein konsequenter Local-only-Modus für besonders sensible Inhalte.

Ein möglicher späterer VANIV-Ansatz

Eine sichere externe Rechenoption könnte langfristig nach diesem Prinzip funktionieren:

1. Der Nutzer wählt lokal und ausdrücklich aus, welcher Rechenschritt ausgelagert werden darf.
2. VANIV bereitet die benötigten Daten lokal vor und entfernt nicht erforderliche Metadaten.
3. Die Übertragung erfolgt verschlüsselt an eine temporäre, klar definierte Instanz.
4. Die Verarbeitung findet möglichst ohne dauerhafte Projektablage statt.
5. Nur das benötigte Ergebnis wird zurückgegeben.
6. Die temporäre Instanz wird nach Abschluss beendet und verworfen.
7. Der Nutzer kann jederzeit auf vollständig lokale Verarbeitung zurückwechseln.

Eine solche Funktion ist derzeit keine angekündigte VANIV-Produkteigenschaft. Sie ist eine mögliche spätere Architektur, um lokale Kontrolle mit optionaler zusätzlicher Rechenleistung zu verbinden. Die grundsätzlichen Unterschiede zwischen beiden Ansätzen erklärt auch der Vergleich Cloud vs. lokale KI.

19Häufige Fragen zu lokaler KI ohne GPU

20Fazit: Starte mit vorhandener Hardware und rüste nach Bedarf auf

Man braucht keine dedizierte Grafikkarte, um lokale KI auszuprobieren. Eine gute CPU, ausreichend RAM und eine schnelle SSD reichen für viele Transkriptions-, Übersetzungs-, Analyse- und kleinere TTS-Aufgaben aus.

Eine iGPU kann zusätzliche Beschleunigung bieten. Eine NPU ist besonders für effiziente, unterstützte KI-Funktionen auf modernen AI-PCs interessant. Beide sind jedoch stark von der jeweiligen Softwareunterstützung abhängig.

Für hochwertiges Voice-Cloning, lange Audioausgaben, mehrsprachiges Video-Dubbing und große generative Modelle bleibt eine dedizierte GPU die praktischste Lösung. Sie entscheidet häufig nicht darüber, ob ein Workflow grundsätzlich möglich ist, sondern ob er schnell genug für den regelmäßigen Einsatz läuft.

Die sinnvollste Vorgehensweise ist deshalb:

Schnelle Entscheidung: Nutzt du lokale KI gelegentlich für Transkription, Übersetzung oder kleine Modelle, beginne mit CPU und vorhandenem RAM. Verarbeitest du regelmäßig längere Audio- oder Videoprojekte, mehrere Sprecher oder große generative Modelle, plane eine dedizierte GPU ein.

1. Beginne mit der Hardware, die bereits vorhanden ist.
2. Prüfe, welche Modelle und Workflows darauf stabil laufen.
3. Beobachte, wo Wartezeit, RAM oder VRAM zum Engpass werden.
4. Rüste gezielt dort auf, wo der größte Produktivitätsgewinn entsteht.

Für Transkription, Übersetzung und kleinere Modelle reicht häufig eine gute CPU. Sobald du regelmäßig längere Sprach- oder Videoprojekte verarbeitest, mehrere Sprecher verwendest oder Ergebnisse häufig neu erzeugen musst, wird eine dedizierte GPU zum größten Produktivitätsgewinn.

Die sinnvollsten nächsten Schritte

• Komplette Hardware-Übersicht für lokale KI
• GPU für lokale KI auswählen
• Lokales Video-Dubbing mit VANIV verstehen

21Weiterführende technische Dokumentation

Die konkrete Hardwareunterstützung kann sich mit neuen Treibern, Versionen und Backends verändern. Für die technische Prüfung sind deshalb die aktuellen offiziellen Dokumentationen maßgeblich:

• Ollama: Hardware Support
• llama.cpp: offizielles Projekt und Dokumentation
• whisper.cpp: CPU-, GPU- und weitere Beschleunigungspfade
• ONNX Runtime: Execution Providers