Tutorial zum Einsatz des DeepSeek-R1 Big Language Model lokal auf Greenlink NAS

1. Einführung in Deepseek

DeepSeek ist ein von Hangzhou Deepseek Artificial Intelligence Basic Technology Research Co., Ltd (gegründet am 17. Juli 2023) entwickeltes Inferenzmodell, das Verstärkungslernen für das Post-Training verwendet und darauf abzielt, die Inferenzfähigkeit zu verbessern, besonders gut bei komplexen Aufgaben wie mathematischen, kodierenden und natürlichsprachlichen Inferenzen.Am 20. Januar 2025 veröffentlichte DeepSeek offiziell das DeepSeek-R1-Modell und gab gleichzeitig die Modellgewichte frei. Bevor Sie DeepSeek einsetzen, müssen Sie Ollama installieren. Ollama ist ein groß angelegtes Sprachmodellierungs-Framework, das als Host für das KI-Modell verstanden werden kann. Wenn Sie eine schöne Benutzeroberfläche benötigen, müssen Sie andere Anwendungen installieren, um damit arbeiten zu können. In diesem Lernprogramm führen wir das DeepSeek-R1-Modell aus, indem wir die OpenWebUI-Anwendung einsetzen.

EinführunginOpen WebUI

ist eine erweiterbare, funktionsreiche, benutzerfreundliche, selbst gehostete Weboberfläche, die vollständig offline betrieben werden kann. Sie unterstützt eine breite Palette von LLM-Runnern, einschließlich Ollama- und OpenAl-kompatibler APIs.

Hauptmerkmale von Open WebUI

Einfache Einrichtung: Unterstützt Docker- und Kubernetes-Installationen und bietet eine einfache Image-Verwaltung.

API-Integration: Kompatibel mit Ollama- und OpenAI-APIs, benutzerdefinierte API-URLs und Anpassung an mehrere LLM-Dienste wie LMStudio und OpenRouter. Weitere Details finden Sie in der offiziellen Open WebUI-Dokumentation.

2. die Bereitstellung von OpenWebUI-Containern mit Docker Compose (Ollama-Integration)

Auf dem UGOS Pro-System empfehlen wir die Verwendung des Docker Compose-Projekts zur schnellen Bereitstellung von Containern. Diese Methode eignet sich für Szenarien, in denen Sie mehrere Container gleichzeitig verwalten müssen, und vereinfacht die Bereitstellung und Verwaltung von Containern. Nachfolgend finden Sie die detaillierten Schritte für die Bereitstellung von OpenWebUI mit Docker Compose.

Klicken Sie, um mehr zu erfahren: Was ist ein Projekt (Docker Compose)?

2.1 Öffnen Sie die Docker-Projektschnittstelle

Öffnen Sie auf dem UGOS Pro-System die Docker-Anwendung und klicken Sie auf [Projekt] > [Erstellen], um den Assistenten zur Projekterstellung zu starten.

2.2 Konfigurieren Sie die Docker Compose-Datei

Laden Sie im Projekterstellungsassistenten die folgende Docker Compose-Konfigurationsdatei für OpenWebUI hoch:

version: '3.8' services: open-webui: container_name: open-webui image: ghcr.io/open-webui/open-webui:ollama # image name # Accelerator configuration is recommended to add https://docker. nju.edu.cn/ restart: always # restart policy ports: - "3000:8080" # Webservice-Zugangsport Volumes: - . /ollama:/root/.ollama # Speichern von ollama-bezogenen Daten - . /open-webui:/app/backend/data # Speichern von Backend-Daten für die Web-UI.

2.3 Parameter Beschreibung

Achtung!

• ./ gibt das Verzeichnis an, in dem sich die aktuelle Docker Compose Datei befindet;

• Der Pfad vor dem Doppelpunkt ist der Speicherpfad des NAS, und der Pfad nach dem Doppelpunkt ist der zugeordnete Pfad im Container.

2.4 Anweisungen für die Bereitstellung

• Quelle spiegeln: Verwenden Sie den ghcr.io/open-webui/open-webui:ollama-Spiegel, der OpenWebUI und Ollama integriert hat, so dass Sie den Ollama-Dienst nicht separat starten müssen und das System den Start und die Integration automatisch abschließt.

• Port-Einstellungen: Der Standardport von OpenWebUI ist 8080, kann aber über den Parameter ports angepasst werden. In diesem Artikel wird er auf Port 3000 abgebildet, und die Zugriffsadresse lautet http://NAS_IP:3000. Der Standardport von Ollama ist 11434, aber es besteht keine Notwendigkeit, ihn freizugeben, da der Mirror das interne Andocken abgeschlossen hat und OpenWebUI den Ollama-Dienst direkt aufrufen kann.

Verwandte Lektüre

FAQ] Wie wird der Mount-Pfad für Volumes in der Docker Compose-Konfigurationsdatei korrekt dargestellt?

2.5 Bereitstellen des Projekts

Nachdem Sie die Konfigurationsdatei hochgeladen haben, klicken Sie auf [Deploy Now]. Das System zieht automatisch das Image und startet den Container.

Das System zieht automatisch das Image und startet den Container:

• open-webui image pull failure:Es wird empfohlen, einen Beschleuniger zu konfigurieren, um die Download-Geschwindigkeit des Images zu erhöhen, insbesondere in der Netzwerkumgebung auf dem chinesischen Festland.SieheDocker Configuring Image AccelerationandMirrorSourcesfür detaillierte Schrittezur Einrichtung.

• Proxy-Einstellungen:In einigen Fällen müssen Sie möglicherweise einen HTTP/HTTPS-Proxy konfigurieren, um den Download zu unterstützen,siehe Docking Images bySettingProxy fürDetails.

2.6 Zugriff auf die Open WebUI

Führen Sie die folgenden Schritte aus, um auf die Open WebUI-Webschnittstelle zuzugreifen:

1. Öffnen Sie einen Browser im LAN, besuchen Sie die Bereitstellungsadresse, geben Sie die Anmeldeseite ein und klicken Sie auf Erste Schritte.

2. Für den ersten Zugriff müssen Sie ein Administratorkonto erstellen und den Benutzernamen, die E-Mail-Adresse und das Passwort festlegen.

3. Verwenden Sie das neu erstellte Konto, um sich anzumelden.

Hinweis: Beim ersten Zugriff auf die Seite kann ein interner Fehler oder eine verweigerte Verbindung auftreten. Bitte warten Sie einige Minuten, bevor Sie erneut versuchen, die Seite zu laden.

Problem mit dem leeren Bildschirm

Bei der Anmeldung kann es vorkommen, dass die Oberfläche vorübergehend leer ist, weil Daten im Hintergrund geladen werden. Sie können die Protokolldatei überprüfen, um den Fortschritt und den Status des Ladevorgangs zu bestätigen.

4. Nach erfolgreicher Anmeldung gelangen Sie auf die Hauptschnittstelle.

Fehlerbehebung für die leere Schnittstelle:

1. Öffnen Sie die Docker-Anwendung von UGOS Pro.

2. Klicken Sie auf [Container] > wählen Sie den Open WebUI-Container aus > klicken Sie auf [Log].

3. Prüfen Sie, ob das Protokoll Informationen über den Fortschritt des Modellladens enthält, z. B. "get_all_models" oder "Loading models". Wenn das Protokoll einen normalen Ladevorgang anzeigt, warten Sie bitte 1-2 Minuten, dann wird die Seite automatisch aktualisiert und kehrt zum normalen Zustand zurück; wenn eine Fehlermeldung erscheint, beheben Sie das Problem anhand der Protokollinformationen.

3、Die Deepseek-R1-Modelle herunterladen und einsetzen.

1. Gehen Sie auf die offizielle Website von Ollama: https://ollama.com下载模型, klicken Sie auf "Modelle" in der oberen rechten Ecke.

2. Wählen Sie das Modell "deepseek-r1" und klicken Sie darauf, um die Details anzuzeigen.

DeepSeek-R1 Hardware-Anforderungen und Anweisungen für jede Version:

• Das 1.5b-Modell erfordert in der Regel mindestens 8 GB RAM und ist eine leichtgewichtige Version, die für schnelle Inferenzen auf Edge-Geräten optimiert ist.

• Modelle der Größe 7b benötigen in der Regel mindestens 16 GB Arbeitsspeicher und sind ausgewogene Modelle für allgemeine Schlussfolgerungsaufgaben.

• Modelle der Größe 8b benötigen in der Regel mindestens 32 GB Arbeitsspeicher und bieten eine höhere Genauigkeit und ein besseres Kontextverständnis.

• Modelle der Größe 14b benötigen in der Regel mindestens 64 GB Arbeitsspeicher und verfügen über bessere Argumentations- und Problemlösungsfähigkeiten.

• Modelle der Größe 32b benötigen in der Regel mindestens 128 GB Arbeitsspeicher und verfügen über eine bessere logische Analyse und eine detailliertere Schritt-für-Schritt-Ausgabe.

• Modelle der Größe 70b benötigen in der Regel mindestens 256 GB RAM für High-End-Versionen fortschrittlicher KI-gesteuerter Anwendungen.

• Modelle der Größe 671b benötigen in der Regel mindestens 512 GB RAM für Mixed-Mode-of-Expertise-Modelle (MoE), die 37 Milliarden Parameter pro Token aktivieren und so eine hochmoderne Inferenzleistung bieten.

3. Hier wählen Sie die Modellgröße auf der Grundlage der NAS-Hardwarekonfiguration aus.Wenn Sie keine Angaben machen, ist der Standardwert 7B, für dieses Tutorial haben wir uns für ein Modell der Größe 1,5B entschieden.

4. Kopieren Sie den Befehlpullcommandollamarun deepseek-r1:1.5bnext dorthin.

5. Loggen Sie sich in die Weboberfläche von Open WebUI ein, klicken Sie auf die obere rechte Ecke der Suche und geben Sie den Modellnamen ein (z.B.: ollama run deepseek-r1:1.5b ), um es direkt herunterzuladen und zu verwenden.

6. (Optional) Oder gehen Sie zurück zur Docker-Anwendung von UGOS Pro, gehen Sie zu [Container] > wählen Sie den Open WebUI-Container > klicken Sie auf [Terminal] > Bash-Verbindung hinzufügen.

7. (Optional) Fügen Sie den Pull-Befehl in das Bash-Terminal ein und warten Sie, bis der Download des Modells abgeschlossen ist.

ollama run deepseek-r1:1.5b

8. (Optional) Zeigen Sie den Erfolg an, um anzuzeigen, dass der Download des Modells abgeschlossen ist, und starten Sie den Container neu.

9. (Optional) Melden Sie sich bei Open WebUI an und überprüfen Sie, ob das Modell geladen wurde.

4.Verwendung des Deepseek-R1-Modells

Verwenden Sie das Modell in einem neuen Dialog, indem Sie "hello world!" oder eine andere Frage eingeben, und Sie können sehen, dass es bereits funktioniert.

Bitte beachten Sie: Der Einsatz eines großen Modells erhöht die CPU- und Speicherlast auf dem NAS erheblich, und es wird empfohlen, es nicht für Aufgaben mit hoher Last zu verwenden.

5. Vorsichtsmaßnahmen

Bitte beachten Sie, dass die Bilder in dieser Anleitung von einem Dritten entwickelt und gepflegt werden und dass die Anleitung nur als Referenz dient. Greenlink übernimmt keine Verantwortung für Risiken, die durch unsachgemäße Bedienung durch den Benutzer, durch Schwachstellen in der Software von Drittanbietern oder durch die Aktualisierung von Mirrors entstehen, einschließlich aber nicht beschränkt auf:

- Spiegel von Drittanbietern können eine versehentliche Änderung oder Löschung Ihrer Dateien im UGOS Pro-System verursachen.

- Die Verwendung von unsicheren Spiegeln kann dazu führen, dass Daten auf Server von Drittanbietern hochgeladen werden, was ein Risiko für den Schutz der Privatsphäre und Datenverluste darstellt.

- Um die Systemstabilität und die Datensicherheit zu gewährleisten, wählen Sie bitte sorgfältig Drittanbieter-Spiegelserver aus vertrauenswürdigen Quellen aus.

Andere Vorsichtsmaßnahmen:

1. Der Datei-/Ordnerpfad des Containers dient nur als Referenz, Sie können ihn nach Ihren persönlichen Gewohnheiten erstellen.

2. Der Container-Port und der lokale Port für den Web-Zugang sollten identisch sein. Wenn es einen Konflikt gibt, wechseln Sie bitte zu einem unbenutzten Port. Der lokale Port kann nicht zwischen Containern identisch sein, ein Portkonflikt führt dazu, dass der Container nicht gestartet werden kann.

3. Der Web-Link zum Container ist nur im Bridge-Modus zugänglich.

4. Mirror stellt nur Tutorials zur Verfügung, bitte suchen Sie online nach spezifischen Anwendungen und detailliertem Gameplay.

5. Der Mirror wird von einer dritten Partei entwickelt, bitte beachten Sie die entsprechenden offiziellen Informationen für spezifische Konfigurationsänderungen und Fehlerbehebungen.

6. Es wird empfohlen, das Docker-Konfigurationsverzeichnis auf einer SSD-Festplatte zu speichern, um zu vermeiden, dass mechanische Festplatten die Systemleistung beeinträchtigen.