Hardware, Leistung und Grenzen
Der Abschluss der Ollama-Reihe: RAM, GPU, VRAM, Modellgrößen und realistische Grenzen für lokale KI einschätzen.
Hier schätzt du RAM, GPU, VRAM und Modellgröße ein, bevor du lokale KI produktiv nutzt. Wir sind am Ende der Ollama-Reihe angekommen. Ollama läuft auf fast jeder modernen Hardware. Aber die Geschwindigkeit hängt stark davon ab was verbaut ist. Ein Modell das auf einer guten GPU in Sekunden antwortet, braucht auf einer CPU mehrere Minuten.
Dieser Artikel erklärt was den Unterschied macht und für welches Setup welche Modelle realistisch sind.
Was die Geschwindigkeit bestimmt
Die entscheidende Frage ist: läuft das Modell im GPU-Speicher (VRAM) oder im normalen Arbeitsspeicher (RAM)?
Modellgröße vs. verfügbarer Speicher
| Verfügbarer Speicher | Passende Modelle | Qualität |
|---|---|---|
| 8 GB RAM / VRAM | gemma4:e4b, kleine 7B-Modelle |
Ausreichend für einfache Aufgaben |
| 16 GB RAM / VRAM | qwen3.5:9b, gemma4:e4b, qwen2.5-coder:7b |
Gut für tägliche Arbeit |
| 24 GB VRAM | Alle oben genannten plus erste 13B-Modelle | Sehr gut, flüssige Geschwindigkeit |
| 32 GB+ RAM / VRAM | gemma4:26b und größere Modelle |
Stark, nahe an Cloud-Qualität |
GPU-Empfehlungen
Für NVIDIA-GPUs gilt: mehr VRAM schlägt mehr Rechenleistung. Eine ältere RTX 3090 mit 24 GB VRAM ist für lokale Modelle oft besser geeignet als eine neuere RTX 4070 mit 12 GB.
Konkrete Einschätzungen nach Budget:
gemma4:e4b ist brauchbar, für größere Modelle wird es frustierend langsam.
Leistung messen
Ollama zeigt nach jeder Antwort Leistungsdaten an wenn du OLLAMA_DEBUG=1 setzt. Einfacher ist der direkte Blick auf die Ausgabe im Terminal: nach dem Text erscheint eine Zeile mit Tokens pro Sekunde.
Als Richtwert für angenehmes Arbeiten: über 20 Token pro Sekunde fühlt sich flüssig an. Unter 5 Token pro Sekunde wird es zäh.
Mit --verbose bekommst du nach jeder Antwort detaillierte Timing-Informationen: Ladezeit, Prompt-Verarbeitung und Generierungsgeschwindigkeit.
Ich nutze für den Alltag einen Laptop mit AMD Ryzen 9 7940HX, 32 GB RAM und einer NVIDIA RTX 4060 Mobile unter Linux Mint. Die Modelle gemma4:e4b und qwen3.5:9b laufen darauf komplett im VRAM und antworten flott. Für anspruchsvolle Modelle wie gemma4:26b oder Modelle mit über 30 Milliarden Parametern nutze ich meinen Home-Server: Mit 16 GB VRAM (NVIDIA RTX 4070 Ti SUPER), 32 GB RAM und einem 12-Kern Ryzen 9 5900X laufen auch solche Modelle komplett im schnellen Videospeicher, ohne zähes Auslagern in den Hauptspeicher. Der Server wird bei Bedarf einfach per Wake-on-LAN gestartet.
Häufige Fragen
Was begrenzt Ollama am stärksten?
Meist sind RAM, VRAM und Speicherbandbreite entscheidend. Größere Modelle brauchen deutlich mehr Speicher.
Kann Ollama ohne GPU sinnvoll sein?
Ja, aber Antworten werden langsamer. Für Tests und kleine Modelle reicht CPU oft aus, für täglichen Einsatz ist GPU angenehmer.
Warum passt ein Modell nicht in den Speicher?
Modellgröße, Quantisierung und Kontextlänge bestimmen den Speicherbedarf. Wenn RAM oder VRAM knapp sind, wird es langsam oder startet nicht.