ナレッジセンター

cxmTest Greenlink NASチュートリアル上でのDeepSeek-R1大規模言語モデルのローカライズされた展開

1.Deepseek の紹介

DeepSeekは、杭州Deepseek人工知能基礎技術研究有限公司（2023年7月17日設立）によって開発された推論モデルであり、特に数学、コーディング、自然言語推論のような複雑なタスクを得意とし、推論能力を向上させることを目的として、事後学習に強化学習を使用しています。DeepSeekをデプロイする前に、Ollamaをインストールする必要があります。Ollamaは大規模な言語モデリングフレームワークであり、AIモデルのホストとして理解することができます。このチュートリアルでは、OpenWebUI アプリケーションをデプロイして DeepSeek-R1 モデルを実行します。

OpenWebUIの紹介

は、完全にオフラインで実行できるように設計された、拡張可能で機能豊富なユーザーフレンドリーなセルフホスト・ウェブ・インターフェイスです。OllamaやOpenAl互換APIを含む幅広いLLMランナーをサポートしています。

Open WebUIの主な特徴

簡単なセットアップ：DockerとKubernetesのインストールをサポートし、簡単なイメージ管理を提供します。

APIの統合：Ollama や OpenAI の API、カスタム API URL に対応し、LMStudio や OpenRouter など複数の LLM サービスに適応します。詳細については、Open WebUI の公式ドキュメントを参照してください。

OpenWebUI コンテナを Docker Compose で デプロイする (Ollama との統合)

UGOS Pro システムでは、Docker Compose プロジェクトを使用してコンテナを素早くデプロイすることをお勧めします。これは、複数のコンテナを同時に管理する必要があるシナリオに適しており、この方法はコンテナのデプロイと管理を簡素化します。以下は Docker Compose を使用した OpenWebUI のデプロイ手順の詳細です。

クリックして詳細をご覧ください：プロジェクト（Docker Compose）とは何ですか？

2.1 Dockerプロジェクトインターフェイスに入る

UGOS ProシステムでDockerアプリケーションを開き、[Project] > [Create]をクリックしてプロジェクト作成ウィザードを開始します。

2.2 Docker Composeファイルの設定

プロジェクト作成ウィザードで、以下の OpenWebUI 用の Docker Compose 設定ファイルをアップロードします：

version: '3.8' services: open-webui: container_name: open-webui image: ghcr.io/open-webui/open-webui:ollama # image name # アクセラレータの設定は、https://docker を追加することを推奨します。 nju.edu.cn/ restart: always # restart policy ports：- "3000:8080" # ウェブサービスアクセスポート volume: - ./ollama:/root/.ollama # ollama 関連のデータを保存する - ./open-webui:/app/backend/data # Web UIのバックエンドデータを格納する．

2.3 パラメータ説明

パラメータ

パラメータ 説明

イメージ

コンテナイメージのバージョンを、Ollama サービスを統合したghcr.io/open-webui/open-webui:ollama として指定する。ダウンロード速度が遅い場合は、アクセラレータの設定にhttps://docker.nju.edu.cn/を追加することを推奨する。

再起動

コンテナがクラッシュまたは停止したときに自動的に再起動してサービスを継続的に実行するように、再起動ポリシーをalwaysに設定する。

ポート

ポートマッピング：NAS のポート 3000 をコンテナのポート 8080 にマッピングし、http://NAS_IP:3000経由で WebUI にアクセスします。

ボリューム

データの永続性を確保するためのデータストレージマッピング：

./ollama:/root/.ollama: NAS ローカルの./ollama ディレクトリをコンテナの ./ollamaディレクトリにマッピング。./ollama:/root/.ollama: NAS ローカルの .ollamaディレクトリを Ollama データを格納するコンテナ/root/.ollamaにマッピング。

./open-webui:/app/backend/data：NAS ローカル. /open-webuiディレクトリがコンテナ/app/backend/dataにマップされ、OpenWebUIのバックエンドデータが格納されます。

注意してください：

  • ./ は、現在の Docker Compose ファイルがあるディレクトリを示します；

  • コロンの前のパスはNASのストレージパスで、コロンの後のパスはコンテナ内にマッピングされたパスです。

2.4 デプロイ手順

  • ミラーソースを使用する：ghcr.io/open-webui/open-webui:ollamaミラーを使用する。OpenWebUIとOllamaが統合されているため、Ollamaサービスを別途実行する必要はなく、システムが自動的に起動と統合を終了する。

  • ポート設定：OpenWebUIのデフォルトポートは8080ですが、portsパラメータで調整できます。本記事ではポート3000にマッピングし、アクセスアドレスはhttp://NAS_IP:3000。Ollamaのデフォルト・ポートは11434だが、ミラーは内部ドッキングを完了しており、OpenWebUIはOllamaサービスを直接呼び出すことができるため、公開する必要はない。

関連記事

よくある質問］Docker Compose 設定ファイルでボリュームのマウントパスを正しく表現するには？

2.5 プロジェクトのデプロイ

設定ファイルをアップロードした後、[Deploy Now]をクリックすると、システムが自動的にイメージを取得し、コンテナを起動します。

システムが自動的にイメージをプルし、コンテナを起動します：

2.6 Open WebUI にアクセスする

Open WebUI ウェブインタフェースにアクセスするには、以下の手順に従います：

  1. LAN でブラウザを開き、デプロイメント・アドレスにアクセスしてログイン・ページに入り、[Getting Started] をクリックします。

  1. 初めてアクセスするには、管理者アカウントを作成し、ユーザー名、電子メール・アドレス、およびパスワードを設定する必要があります。

  1. 新しく作成したアカウントを使用してログインします。

注意：初めてページにアクセスすると、内部エラーまたは接続が拒否される場合があります。

空白画面の問題

ログインの際、バックグラウンドでデータがロードされているため、インターフェースが一時的にブランクに見えることがあります。ログファイルを確認することで、読み込みの進捗状況やステータスを確認することができます。

  1. ログインに成功すると、メイン・インターフェースに入ります。

空白のインターフェースのトラブルシューティング：

  1. UGOS ProのDockerアプリケーションに入ります。

  2. コンテナ]をクリック > Open WebUIコンテナを選択 > [ログ]をクリックします。

  3. ログに "get_all_models "や "Loading models "のようなモデルロードの進捗に関する情報が含まれているか確認してください。ログが正常な読み込みを示している場合、1-2分待ってください。ページが自動的に更新され、正常に戻ります。エラーメッセージがある場合、ログ情報に従って問題のトラブルシューティングを行ってください。

3、Deepseek-R1モデルのダウンロードとデプロイ。

1.Ollama公式サイトhttps://ollama.com下载模型、左上の「モデル」をクリックします。

2.deepseek-R1」モデルを選択し、クリックして詳細を表示します。

DeepSeek-R1のハードウェア要件と各バージョンの説明書：

  • 通常、1.5b モデルには少なくとも 8GB の RAM が必要で、エッジデバイスでの高速推論用に最適化された軽量バージョンです。

  • 7bサイズのモデルは通常少なくとも16GBのRAMを必要とし、汎用推論タスクのためのバランスの取れたモデルです。

  • 8bサイズのモデルは通常、少なくとも32GBのRAMを必要とし、より高い精度とより優れた文脈理解を持っています。

  • 14bサイズのモデルは通常、少なくとも64GB RAMを必要とし、推論と問題解決能力が向上しています。

  • 32bサイズのモデルは通常、少なくとも128GBのRAMを必要とし、より強力な論理分析とよりきめ細かいステップバイステップの出力が可能です。

  • 70bサイズのモデルは通常、高度なAI駆動型アプリケーションのハイエンド・バージョン用に少なくとも256GB RAMを必要とします。

  • 671bサイズのモデルは通常、Mixed-Mode of Expertise（MoE）モデル用に少なくとも512GBのRAMを必要とし、トークンあたり370億のパラメータをアクティブにして最先端の推論パフォーマンスを実現します。

3.ここでは、NASハードウェア構成に基づいてモデルサイズを選択します。指定しない場合、デフォルトは7Bですが、このチュートリアルでは1.5Bサイズのモデルを選択しました。

4.pullcommandollamarun deepseek-r1:1.5bnextをコピーします。

  1. Open WebUIのウェブインターフェースにログインし、検索の左上をクリックしてモデル名（例： ollama run deepseek-r1:1.5b）を入力し、直接ダウンロードして使用します。

  1. (オプション）または、UGOS ProのDockerアプリケーションに戻り、[Containers] > Open WebUIコンテナを選択 > [Terminal]をクリック > Bash接続を追加します。

  1. (オプション) Bashターミナルにpullコマンドを貼り付け、モデルのダウンロードが完了するのを待ちます。

ollama run deepseek-r1:1.5b

  1. (オプション)モデルのダウンロードが完了したことを示す success を表示し、コンテナを再起動します。

  2. (オプション) Open WebUI にログインし、モデルがロードされたかどうかを確認します。

4. Deepseek-R1 モデルの使用

新しいダイアログで、"hello world!"などと入力してモデルを使用すると、すでに動作していることが確認できます。

注意: 大きなモデルを展開すると、NASのCPUとメモリ負荷が大幅に増加するため、高負荷タスクでの使用は避けることをお勧めします。

5.注意事項

このチュートリアルのイメージはサードパーティによって開発および保守されており、チュートリアルは参考用であることにご注意ください。グリーンリンクは、ユーザーの不適切な操作、サードパーティソフトウェアの脆弱性、ミラーのアップデートに起因するリスクを想定していません：

- サードパーティのミラーは、UGOS Proシステム内のファイルを誤って変更または削除する可能性があります。

- 安全でないミラーを使用すると、サードパーティのサーバーにデータがアップロードされ、プライバシーやデータ漏洩のリスクが生じる可能性があります。

- システムの安定性とデータの安全性を確保するため、信頼できるソースからサードパーティのミラーを慎重に選択してください。

その他の注意事項

1.コンテナのファイル/フォルダのパスは参考用であり、個人の習慣に従って作成することができます。

2.2.コンテナポートとウェブアクセス用のローカルポートは同じでなければなりません。競合する場合は、未使用のポートに変更してください。コンテナ間でローカルポートを同じにすることはできません。ポートが競合すると、コンテナの起動に失敗します。

3.コンテナへのウェブリンクはブリッジモードでのみアクセスできる。

4.Mirrorはチュートリアルのみを提供しています。具体的な使用方法や詳細なゲームプレイについては、オンラインで検索してください。

5.5. ミラーはサードパーティによって開発されています。具体的な設定変更やバグフィックスについては、関連する公式情報に注意してください。

6.機械的なハードドライブがシステムのパフォーマンスに影響を与えるのを避けるため、Docker設定ディレクトリをSSDハードドライブに保存することを推奨します。