Einleitung
Wenn du deine Entwicklungsprozesse auf die nächste Stufe bringen möchtest, ist ein KI-Assistent ein unverzichtbares Werkzeug. In diesem Artikel zeige ich dir, wie du mithilfe von Docker einen Ollama-Server einrichtest. Ich habe das Docker-Image ‚ollama/ollama‘ aus dem Docker Hub heruntergeladen und dabei die benutzerfreundliche Software Docker Desktop verwendet.
Warum Docker und Ollama?
Docker ermöglicht es dir, Anwendungen und ihre Abhängigkeiten in isolierten Containern auszuführen. Diese Container sind leicht, portabel und bieten eine konsistente Umgebung, unabhängig von deiner lokalen Infrastruktur.
Der Ollama-Server stellt verschieden KI-Modelle zur Verfügung, sodass auf User-Anfragen KI-Antworten generiert werden.
Einrichtung des Ollama-Servers mit Docker
Die Einrichtung eines Ollama-Servers mit Docker ist ein Kinderspiel. Zuerst lädst du das Docker-Image ‚ollama/ollama‘ vom Docker Hub herunter. Dafür reicht ein einfacher Befehl:
docker pull ollama/ollama
Anschließend startest du den Server mit
docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama
und kannst bei Bedarf die Konfiguration anpassen. Falls du den Container mit GPU-Unterstützung nutzen willst, findest du hier weitere Details.
Ansprache des Ollama-Servers und Interaktion mit Docker Desktop
Um zu überprüfen, ob dein Ollama-Server erfolgreich eingerichtet wurde, kannst du einfach deinen Webbrowser öffnen und die Adresse http://localhost:11434 aufrufen. Wenn der Server läuft, erhältst du die Antwort „Ollama is running“. Dies bestätigt, dass dein Server einsatzbereit ist und ordnungsgemäß funktioniert.
Darüber hinaus bietet Docker Desktop eine einfache Möglichkeit, mit dem Ollama-Server zu interagieren. Öffne dazu die Kommandozeile des Containers in Docker Desktop indem du auf den Namen des Containers klicks (ollama/ollama) und dann auf das Tab „Exec“. Gib dort den Befehl
ollama run llama2 "How far is space"
ein. Dies ermöglicht es dir, eine Anfrage an deinen lokalen Ollama-Server zu senden und eine Antwort zu erhalten, indem du direkt mit dem Container kommunizierst. Mit diesen Schritten kannst du nicht nur die Funktionalität deines Servers überprüfen, sondern auch direkt mit ihm interagieren und seine Leistungsfähigkeit testen.
Vorteile der Dockerisierung
Die Dockerisierung deines Ollama-Servers bietet zahlreiche Vorteile. Durch die Containerisierung vermeidest du Konflikte mit anderen Anwendungen und kannst deine Anwendung problemlos skalieren und aktualisieren. Zudem gewährleistet Docker eine konsistente Bereitstellung in verschiedenen Umgebungen.
Fazit
Ollama und Docker sind mächtige Werkzeuge, um deine Entwicklungsprozesse zu optimieren. Statt
ollama run llama2 "How far is space"
kannst du nämlich auch
ollama run deepseek-coder:instruct "What does the Javascript .map() function?"
eingeben und erhältst hilfreiche Tipps.
Wie man den lokalen KI-Server produktiv als Copilot in vscode einsetzt, zeige ich demnächst.