Wie man Ollama auf einem VPS selbst hostet (2026 realistische Einrichtung)

Der Installationsbefehl für Ollama ist bekanntlich sehr einfach. Die Komplikation besteht darin, dass derselbe Befehl auf einer 24 GB GPU-Maschine einen nützlichen Inferenzserver einrichtet und auf einem 2 GB VPS einen frustrierend langsamen. Der Unterschied liegt in der Modellwahl und der Konfiguration, die du nach der Installation vornimmst.

Hier ist die Einrichtung, die im Jahr 2026 tatsächlich funktioniert, mit echten Zahlen aus meinem Hetzner-Server.

Entscheidungen vor der Installation

Bevor du den Installer ausführst, entscheide:

1. Welches Modell willst du laufen lassen? Das bestimmt RAM- und Festplattenbedarf. 7B-Modelle benötigen 10 GB RAM, 13B brauchen 16 GB, 70B benötigen 48 GB+ bei Q4-Quantisierung.
2. CPU oder GPU? CPU reicht für 7B mit 5 bis 7 Tokens pro Sekunde, akzeptabel für Batch-Jobs und mühsam für Chat. Für interaktive Nutzung ab 13B ist eine GPU erforderlich.
3. Wer wird Zugriff haben? Für den persönlichen Gebrauch kann alles lokal bleiben. Für Team-Nutzung braucht man Authentifizierung und wahrscheinlich ein separates Frontend wie Open WebUI.

Überspringe die Installation, wenn deine Hardware das Modell nicht bewältigen kann. Einen 70B mit nur 16 GB RAM laufen zu lassen, funktioniert nicht, egal wie clever die Quantisierung ist.

Schritt 1: VPS bereitstellen

Für diese Anleitung nehme ich einen Hetzner CCX23 (4 vCPU, 16 GB RAM, NVMe). Passe das an deine Situation an. Melde dich per SSH an und bereite das System vor:

sudo apt update && sudo apt upgrade -y
sudo apt install -y curl ca-certificates

Wenn du eine GPU-VPS (Hetzner GEX, Lambda usw.) hast, überprüfe, ob der NVIDIA-Treiber installiert ist:

nvidia-smi

Wenn das fehlschlägt, installiere den Treiber zuerst nach den Anweisungen deines Providers. Ollama wird die GPU nicht verwenden, wenn der Treiber fehlt, und der stille Fallback auf CPU ist die häufigste Ursache für Fragen wie “Warum ist das so langsam”.

Schritt 2: Ollama installieren

Der offizielle Installer:

curl -fsSL https://ollama.com/install.sh | sh

Das installiert die Binärdatei unter /usr/local/bin/ollama und richtet einen systemd-Dienst ein, der als der Benutzer ollama läuft. Standardmäßig bindet Ollama an 127.0.0.1:11434 (nur localhost), was für Sicherheit sorgt.

Überprüfe den Dienst:

sudo systemctl status ollama

Es sollte active (running) anzeigen.

Schritt 3: Modellspeicher auf einen eigenen Pfad verschieben

Modelle sind groß. Der Standardort /usr/share/ollama teilt sich den Root-Speicherplatz, der meist am knappsten ist. Wechsle Ollama in einen Pfad auf deiner Datenplatte:

sudo systemctl stop ollama
sudo mkdir -p /var/ollama/models
sudo chown -R ollama:ollama /var/ollama

Bearbeite die systemd-Override-Datei:

sudo systemctl edit ollama

Füge hinzu:

[Service]
Environment="OLLAMA_MODELS=/var/ollama/models"
Environment="OLLAMA_KEEP_ALIVE=10m"
Environment="OLLAMA_NUM_PARALLEL=2"

Lade neu und starte neu:

sudo systemctl daemon-reload
sudo systemctl start ollama

Das OLLAMA_KEEP_ALIVE von 10 Minuten sorgt für ein gutes Gleichgewicht zwischen Speicherverbrauch und Reaktionsfähigkeit. Die Standardzeit von 5 Minuten bedeutet, dass bei jeder Nutzungspause das Modell neu geladen wird. OLLAMA_NUM_PARALLEL auf 2 erlaubt zwei gleichzeitige Anfragen, was für Team- oder Multi-App-Setups nützlich ist.

Schritt 4: Dein erstes Modell ziehen

Für einen 16 GB VPS ohne GPU starte mit Llama 3.1 8B bei Q4-Quantisierung:

ollama pull llama3.1:8b-instruct-q4_K_M

Der Download ist etwa 4,6 GB groß. Beim ersten Start lädt es in den RAM, was 15 bis 30 Sekunden dauert. Teste es:

ollama run llama3.1:8b-instruct-q4_K_M "Erkläre in einem Absatz, was Self-Hosting bedeutet."

Du solltest eine kohärente Antwort erhalten. Auf einem CCX23 CPU-only erwarte 5 bis 7 Tokens pro Sekunde. Mit GPU kannst du 50 bis 100+ Tokens pro Sekunde erreichen, je nach GPU.

Schritt 5: Ollama sicher für andere Apps zugänglich machen

Für lokale Apps auf demselben VPS (Open WebUI, Flowise, LangGraph) verbindet sich diese über 127.0.0.1:11434. Mehr Einstellungen sind nicht nötig.

Für Apps auf anderen Maschinen binde Ollama an ein privates Netzwerk und setze Auth in Front. Das Muster, das ich verwende:

1. Tailscale auf dem VPS und den Verbrauchsmachines
2. Binde Ollama an die Tailscale-Schnittstelle

Bearbeite erneut die systemd-Override-Datei:

sudo systemctl edit ollama

Füge hinzu (ersetze 100.x.x.x durch deine Tailscale-IP):

[Service]
Environment="OLLAMA_HOST=100.x.x.x:11434"

Neu laden und neu starten. Jetzt können andere Tailscale-verbundene Geräte auf deinen Ollama-Endpunkt zugreifen, ohne ihn öffentlich zugänglich zu machen.

Für öffentliche Zugänglichkeit (nur wenn wirklich nötig) setze Caddy oder nginx davor mit Token-Authentifizierung. Exponiere Ollama niemals direkt auf 0.0.0.0:11434, da es keine eingebaute Authentifizierung hat und innerhalb weniger Stunden Crypto-Miner den VPS übernehmen könnten.

Schritt 6: Ressourcenverbrauch überwachen

Beobachte RAM-Auslastung beim Laden und Verarbeiten des Modells:

watch -n 2 'free -h && echo "" && systemctl status ollama | grep Memory'

Das 8B Q4-Modell sollte bei etwa 5 bis 6 GB RAM liegen. Wenn Ollama deutlich mehr nutzt, ist möglicherweise der Kontextfenster-Wert höher eingestellt, als du erwartest. Überprüfe mit:

ollama show llama3.1:8b-instruct-q4_K_M

Was kommt als Nächstes

Ist Ollama laufen, stellt sich die Frage, was davor hängt:

• Open WebUI für ChatGPT-ähnlichen Multi-User-Zugang
• AnythingLLM für Dokumenten-Q&A-Arbeitsräume
• Flowise für visuelle Workflow-Gestaltung
• Cline für IDE-integrierte Programmierhilfe
• SmolAgents oder CrewAI für Agenten-Frameworks

Für Vergleiche von VPS across these tools siehe die SelfHostVPS guides. Für die realistische GPU- vs. CPU-Mathematik bei Ollama im Speziellen erklärt die best VPS for Ollama Seite, welche Token-pro-Sekunde-Zahlen ich anhand von Messungen auf verschiedenen Hardware-Stufen gesammelt habe.