Nextcloud Assistent mit Ollama
Nextcloud Assistent mit Ollama
Moin,
Überlege auf dem Server wo Nextcloud läuft, ollama zu installieren und eventuell damit dem DeepSeek Modell zu betreiben. Hat das jemand gemacht? LocalAI geht, aber da sind mir die Modelle zu ungenau.
You're viewing a single thread.
Habe ich selbst in der Form noch nicht gemacht. Aber anscheinend kann man bei Nextcloud LLMs einbinden, die im OpenAI API-Fornat kommunizieren, bzw. das per Nextcloud-App nachrüsten. Ollama ist zu dem Format kompatibel. Sollte also gehen. Siehe https://docs.nextcloud.com/server/latest/admin_manual/ai/ai_as_a_service.html
Allerdings brauchst du für das lokale Ausführen mit Ollama sehr starke Hardware, insbesondere laufen die Sprachmodelle nur auf einer leistungsstarken GPU wirklich performant. Die ist in Servern typischerweise nicht unbedingt vorhanden. Das komplette DeepSeek Modell ist auch ziemlich groß und braucht dementsprechend viel VRAM / RAM.
Schau dir die Hardware-Empfehlungen von Ollama für die Modelle an, die werden direkt im Github aufgelistet. Wenn deine Hardware reichen könnte, dann probier es einfach aus. Ollama lässt sich auch sehr einfach mittels Docker deployen, das würde ich dir erstmal empfehlen, vor allem, wenn du eh schon Docker nutzen solltest. Damit habe ich (mit anderen Modellen) bisher gute Erfahrungen gemacht. Nextcloud verbindest du dann wie gesagt über die API-Schnittstelle.
LocalAI einbinden ging, aber die Ausgabe hat ewig gedauert und die Ausgabe war nicht so toll.