Ollama ist die einfachste Möglichkeit, lokale LLMs auszuführen. Es macht es auch leicht, etwas zu deployen, das für deinen Anwendungsfall eigentlich nicht geeignet ist, weil der Installationsbefehl derselbe ist, egal ob du 8 GB RAM hast oder eine H100. Das Framework sagt dir nicht, dass 2 Tokens pro Sekunde zu langsam für einen Chatbot sind.
Hier ist die brutal ehrliche Hosting-Statistik nach dem Testen von Ollama auf sechs verschiedenen VPS-Konfigurationen.
Ollama ist eine Wrapper, das Modell ist die Kostenfrage
Ollama selbst ist leichtgewichtig. Ca. 100 MB Go-Binary und Laufzeit-Overhead. Jede Ressourcenentscheidung dreht sich um das Modell: Welches benutzt du, in welcher Quantisierung, und ob du GPU hast.
CPU-Inferenz funktioniert für die Installationsdemo, versagt aber im täglichen Einsatz. Die Zahlen, die ich auf einem Hetzner CCX33 (8 vCPU, 32 GB RAM, kein GPU) gemessen habe:
- Llama 3.1 8B Q4_K_M: 5 bis 7 Tokens pro Sekunde
- Llama 3.1 8B Q8_0: 2 bis 3 Tokens pro Sekunde
- Llama 3.1 70B Q4 (wenn es passt): 0,5 Tokens pro Sekunde
Vergleich zu GPU auf einem Hetzner GEX44 (RTX 6000 Ada, 48 GB VRAM):
- Llama 3.1 8B Q4: 90 bis 120 Tokens pro Sekunde
- Llama 3.1 13B Q4: 60 bis 80 Tokens pro Sekunde
- Llama 3.1 70B Q4: 20 bis 30 Tokens pro Sekunde
- Llama 3.1 70B Q8: 15 bis 20 Tokens pro Sekunde
Der CPU-Weg eignet sich für Batch-Jobs, die du über Nacht laufen lassen kannst. Der GPU-Weg ist notwendig für alles Interaktive.
VPS-Vergleich für Ollama
| Anbieter | Plan | GPU | vCPU | RAM | Monatlich | Bester Einsatz |
|---|---|---|---|---|---|---|
| Hetzner Cloud | CCX23 | Keine | 4 | 16 GB | 29,74 EUR | 7B CPU-Inferenz, nur Batch |
| Hetzner Cloud | CCX33 | Keine | 8 | 32 GB | 59,61 EUR | 13B CPU-Batch, Entwicklungsarbeit |
| Hetzner Server | GEX44 | RTX 6000 Ada | 16 | 192 GB | 184 EUR | 70B Produktionsbereitstellung |
| Contabo VPS | VPS XL | Keine | 12 | 96 GB | 27,49 EUR | 70B Q4 CPU-Batch (langsam, aber günstig) |
Hetzner Cloud CCX23: Für 7B CPU-Inferenz
Das Minimum, das ich für Ollama mit einem 7B Modell in Betracht ziehen würde. 16 GB RAM passen für Modell plus Kontext, und dedizierte CPU hält die 5 bis 7 Tokens pro Sekunde konstant. Nutze das für persönliche Assistenten, Dokumentenzusammenfassungen oder beliebige Batch-Aufgaben, bei denen 2 Sekunden Antwortzeit akzeptabel sind.
Nicht für Chatbots oder interaktive Anwendungen verwenden. Die Latenz macht es schwierig.
Vorteile:
- Günstigste realistische Ollama-Installation
- 16 GB RAM bieten Puffer für 7B Modell plus vernünftigen Kontext
- Dedizierte CPU hält die Inferenzrate stabil
Hole dir Hetzner: Hetzner Cloud.
Hetzner Cloud CCX33: Für 13B CPU-Entwicklung
32 GB RAM passen für ein 13B Modell mit komfortablem Kontext. CPU-Inferenz bei 2 bis 3 Tokens pro Sekunde ist für Entwicklung und Tests in Ordnung, aber für Produktion zu langsam. Nutze das, um sicherzustellen, dass deine Eingaben mit einem 13B Modell funktionieren, bevor du auf GPU-Hosting wechselst.
Ehrliche Einschätzung: 59,61 EUR im Monat für langsame CPU-Inferenz ist schwer zu rechtfertigen, wenn man stattdessen eine GPU stündlich bei Vast.ai mietet.
Hetzner GEX44: Die ernsthafte Produktionsebene
184 EUR im Monat für eine RTX 6000 Ada mit 48 GB VRAM ist der günstigste Weg zu Produktion von Ollama in Europa. Die 48 GB VRAM passen für 70B Q4 Modelle mit Raum für Kontext sowie für 13B Q8 Modelle mit sehr großem Kontext (128K+).
Diese Ausstattung ist richtig, wenn:
- Du einen Chatbot oder eine interaktive Anwendung betreibst
- Token-Kosten monatlich 200 USD übersteigen
- Du Datenresidenz oder luftgetrennten Einsatz benötigst
Das 192 GB Systems RAM ist für Ollama selbst überdimensioniert, aber nützlich, wenn du auch einen Flowise- oder LangGraph-Orchestrator auf derselben Maschine laufen lässt.
Hole dir Hetzner: Hetzner Cloud.
Contabo VPS XL: Für riesige CPU-Batchjobs
27,49 EUR im Monat für 96 GB RAM erlauben das Laden von 70B Q4 Modellen auf CPU. Inferenz bei 0,5 bis 1 Token pro Sekunde ist interaktiv unbrauchbar, aber für nächtliche Batch-Verarbeitung großer Dokumentenkorpora akzeptabel.
Wähle das für Nischen-Batch-Anwendungen, bei denen der monatliche Durchsatz wichtiger ist als die Latenz bei einzelnen Requests.
Hole dir Contabo: Contabo VPS.
Was ich empfehlen würde
Für produktives Ollama mit jeder Art von interaktivem Einsatz: Hetzner GEX44 mit GPU. Für Entwicklung und Tests mit 7B Modellen: Hetzner CCX23. CPU-Inferenz für 13B+ Modelle überspringen, es sei denn, du hast einen Batch-Anwendungsfall, der wirklich passt. Die Token-pro-Sekunde-Rechnung funktioniert sonst nicht.
Der breitere VPS-Markt befindet sich im SelfHostVPS Vergleich. Ollama lässt sich gut mit OpenWebUI, AnythingLLM und den meisten Agenten-Frameworks kombinieren. Siehe diese Guides für kombinierte Deployment-Empfehlungen.
Frequently asked questions
Kann ich Ollama wirklich auf einer CPU-only VPS ausführen?
Technisch ja, praktisch nein für den Produktionseinsatz. Ein 7B Modell auf CPU liefert 3 bis 5 Tokens pro Sekunde auf einem Hetzner CCX23, was gerade noch für gelegentliche Anfragen ausreicht, jedoch unbrauchbar für Chatbots ist. Ein 13B Modell auf CPU sinkt auf 1 bis 2 Tokens pro Sekunde. Für alles, was über persönliche Experimente hinausgeht, brauchst du GPU. Ollama macht CPU-Inferenz einfach, aber das macht es nicht bei großem Maßstab nutzbar.
Was ist die günstigste GPU-VPS für Ollama im Jahr 2026?
Hetzners GEX44 mit einer RTX 6000 Ada für 184 EUR im Monat ist die günstigste vernünftige GPU-Option in Europa. Es bewältigt bequem 7B- und 13B-Modelle (40 bis 80 Tokens pro Sekunde) und führt 70B-Modelle bei 4-bit Quantisierung mit 20 bis 30 Tokens pro Sekunde aus. Genesis Cloud und Vast.ai bieten günstigere stündliche Raten für sporadischen Einsatz, doch die monatlichen Preise sprechen für Hetzner.
Wie viel RAM benötigt Ollama ohne GPU?
Ungefähr das Doppelte der Modell-Dateigröße bei GGUF-Modellen. Ein 7B Q4_K_M Modell ist 4,4 GB auf der Festplatte und benötigt in der Praxis 9 bis 10 GB RAM. Ein 13B Q4 Modell ist 7,8 GB groß und braucht 16 GB. Ein 70B Q4 Modell benötigt 48 GB. Diese Zahlen setzen einen konservativen Kontextfenster voraus. Größere Kontexte (32K+) fügen 2 bis 8 GB zusätzlich hinzu.
Sollte ich eine GPU-VPS mieten oder OpenRouter für den Ollama-ähnlichen Zugriff nutzen?
Für weniger als 100 USD monatlich für Inferenz-Ausgaben sind OpenRouter oder ähnliche API-Integrator günstiger. Für beständige Workloads über 200 USD im Monat amortisiert sich der Besitz eines GPU-VPS innerhalb von 2 bis 3 Monaten. Der Break-even hängt stark davon ab, welches Modell du nutzt. Llama 3.1 70B bei OpenRouter-Preisen von 1 USD pro Million Tokens bedeutet, dass sich ein Hetzner GEX44 (184 EUR im Monat) bei etwa 200 Millionen Tokens pro Monat rechnet.