Nextcloud

Habe ich selbst in der Form noch nicht gemacht. Aber anscheinend kann man bei Nextcloud LLMs einbinden, die im OpenAI API-Fornat kommunizieren, bzw. das per Nextcloud-App nachrüsten. Ollama ist zu dem Format kompatibel. Sollte also gehen. Siehe https://docs.nextcloud.com/server/latest/admin_manual/ai/ai_as_a_service.html

Allerdings brauchst du für das lokale Ausführen mit Ollama sehr starke Hardware, insbesondere laufen die Sprachmodelle nur auf einer leistungsstarken GPU wirklich performant. Die ist in Servern typischerweise nicht unbedingt vorhanden. Das komplette DeepSeek Modell ist auch ziemlich groß und braucht dementsprechend viel VRAM / RAM.

Schau dir die Hardware-Empfehlungen von Ollama für die Modelle an, die werden direkt im Github aufgelistet. Wenn deine Hardware reichen könnte, dann probier es einfach aus. Ollama lässt sich auch sehr einfach mittels Docker deployen, das würde ich dir erstmal empfehlen, vor allem, wenn du eh schon Docker nutzen solltest. Damit habe ich (mit anderen Modellen) bisher gute Erfahrungen gemacht. Nextcloud verbindest du dann wie gesagt über die API-Schnittstelle.