Ollama installieren
Linux, Mac und Windows: Ollama installieren, Version prüfen und mit einem ersten Modell den lokalen KI-Start testen.
Hier installierst du Ollama auf Linux, Mac oder Windows und prüfst, ob lokale Modelle laufen. Nach dem Überblick kommt der praktische Start. Die Installation von Ollama ist bewusst einfach gehalten. Kein kompliziertes Setup, keine Abhängigkeiten die du manuell auflösen musst. Je nach Betriebssystem dauert es zwischen zwei und fünf Minuten bis das erste Modell läuft.
Wähle unten dein Betriebssystem aus.
Installation
Auf Linux reicht ein einziger Befehl. Das Installationsskript erkennt deine Distribution und richtet Ollama als Systemdienst ein, der automatisch beim Booten startet.
Das war es. Ollama läuft nun als Service und ist bereit für das erste Modell. Geprüft auf Ubuntu 22.04 und 24.04, Debian, Fedora und Arch Linux.
Wenn du eine NVIDIA-GPU hast, erkennt das Skript sie automatisch und konfiguriert CUDA-Unterstützung. AMD-GPUs werden über ROCm unterstützt, sofern die Treiber installiert sind.
Auf dem Mac lädst du das native App-Paket direkt von der Ollama-Website herunter. Es läuft nativ auf Apple Silicon (M1 bis M4) und nutzt dabei den gemeinsamen Arbeitsspeicher als GPU-Speicher.
ollama.com/download und lade das macOS-Paket herunter.ollama --version prüfst du ob alles funktioniert.Alternativ mit Homebrew:
Mit Homebrew startet Ollama nicht automatisch. Du startest es manuell mit ollama serve oder richtest einen launchd-Service ein.
Auf Windows gibt es einen Installer der alles einrichtet. Ollama läuft dann als Hintergrundprozess und ist im System-Tray sichtbar.
ollama.com/download und lade den Windows-Installer herunter.NVIDIA-GPUs werden automatisch erkannt sofern die aktuellen Treiber installiert sind. AMD-GPU-Unterstützung auf Windows ist noch experimentell.
Installation prüfen
Auf allen drei Systemen kannst du mit demselben Befehl testen ob Ollama korrekt installiert ist:
Du bekommst eine Ausgabe wie ollama version 0.6.x. Wenn der Befehl nicht gefunden wird, starte das Terminal neu oder prüfe ob der Installationspfad in deiner PATH-Variable eingetragen ist.
Erstes Modell starten
Mit einem einzigen Befehl lädst du ein Modell herunter und startest eine Chat-Session direkt im Terminal. Ich empfehle für den Einstieg llama3.2, ein kompaktes Modell mit guter Qualität:
Ollama lädt das Modell beim ersten Aufruf automatisch herunter (etwa 2 GB). Danach startet der Chat. Du kannst direkt mit dem Modell schreiben.
>>>. Schreib einfach eine Frage und drücke Enter./bye oder Strg+C verlässt du den Chat. Das Modell bleibt auf dem Rechner und startet beim nächsten Aufruf sofort.Nützliche Befehle
Ein paar Befehle die ich täglich nutze:
Modelle belegen je nach Größe zwischen 2 und 40 GB. Ollama speichert sie unter ~/.ollama/models auf Linux und Mac, unter C:\Users\Name\.ollama\models auf Windows. Wenn der Speicher knapp wird, kannst du Modelle mit ollama rm entfernen ohne die Installation anzufassen.
Aus eigener Praxis
Ich teste eine Ollama-Installation immer mit einem kleinen Modell, bevor ich größere Modelle lade. So ist schnell klar, ob Dienst, Pfad und Terminalzugriff funktionieren.
Häufige Fragen
Wie prüfe ich die Ollama Installation?
Starte ollama --version und danach ein kleines Modell mit ollama run. Wenn eine Antwort kommt, funktioniert das Grundsetup.
Muss Ollama dauerhaft laufen?
Ja, der Ollama-Dienst stellt die lokale API bereit. Auf Desktop-Systemen startet er meist im Hintergrund.
Kann ich Ollama auch ohne Internet nutzen?
Nach dem Herunterladen eines Modells kannst du es offline verwenden. Neue Modelle oder Updates brauchen wieder Internet.