Ollamaはホストローカルに、Open WebUIはDockerコンテナとして構築します。
# NVIDIA DGX Sparkが発表当初$3000で待ってたのですが発売遅れと値上がりで...。
環境は下記、GPUをパススルーした仮想マシンです。
RTX 4070なのでVRAMは12GB。
VRAM容量が多いGPUが欲しいところですが昨今値上がりが激しくて手が出ません。
- vCPU: 8
- Memory: 32GB
- GPU: GeForce RTX 4070 SUPER
- OS: ubuntu 24.04.3
CUDA ToolkitとDriverのインストール
CUDA ToolkitとDriverは公式ドキュメントの通りに下記を実行。
DriverはOpen kernel moduleを入れました。
$ wget https://developer.download.nvidia.com/compute/cuda/repos/ubuntu2404/x86_64/cuda-keyring_1.1-1_all.deb $ sudo dpkg -i cuda-keyring_1.1-1_all.deb $ sudo apt-get update $ sudo apt-get -y install cuda-toolkit-13-1 $ $ sudo apt-get install -y nvidia-open確認
$ nvidia-smi Sun Feb 8 20:11:15 2026 +-----------------------------------------------------------------------------------------+ | NVIDIA-SMI 590.48.01 Driver Version: 590.48.01 CUDA Version: 13.1 | +-----------------------------------------+------------------------+----------------------+ | GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC | | Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. | | | | MIG M. | |=========================================+========================+======================| | 0 NVIDIA GeForce RTX 4070 ... On | 00000000:02:05.0 Off | N/A | | 0% 28C P8 15W / 220W | 1MiB / 12282MiB | 0% Default | | | | N/A | +-----------------------------------------+------------------------+----------------------+ +-----------------------------------------------------------------------------------------+ | Processes: | | GPU GI CI PID Type Process name GPU Memory | | ID ID Usage | |=========================================================================================| | No running processes found | +-----------------------------------------------------------------------------------------+ $
Ollamaのインストール
公式ドキュメントに書いてある通り、下記を実行。
$ curl -fsSL https://ollama.com/install.sh | sh >>> Installing ollama to /usr/local >>> Downloading ollama-linux-amd64.tar.zst ######################################################################## 100.0% >>> Creating ollama user... >>> Adding ollama user to render group... >>> Adding ollama user to video group... >>> Adding current user to ollama group... >>> Creating ollama systemd service... >>> Enabling and starting ollama service... Created symlink /etc/systemd/system/default.target.wants/ollama.service → /etc/systemd/system/ollama.service. >>> NVIDIA GPU installed. $確認とモデル実行
モデルはgemma3:12bを動かしてみます。
$ ollama --version ollama version is 0.15.5 $ ollama run gemma3:12b : >>> こんにちは こんにちは！何かお手伝いできることはありますか？ 😊 >>> /? Available Commands: /set Set session variables /show Show model information /loadOlamaサービスのバインドアドレス変更Load a session or model /save Save your current session /clear Clear session context /bye Exit /?, /help Help for a command /? shortcuts Help for keyboard shortcuts Use """ to begin a multi-line message. Use /path/to/file to include .jpg, .png, or .webp images. >>> /bye $
サービス設定のデフォルトではlocalhost:11434にバインドされます。
今回、Open WebUIはDockerコンテナを利用します。
コンテナからOllamaに接続できるように下記の設定を/etc/systemd/system/ollama.serviceの[Service]セクションに追加します。
[Service] Environment="OLLAMA_HOST=0.0.0.0"設定反映と確認
$ ss -lntp |grep 11434
LISTEN 0 4096 127.0.0.1:11434 0.0.0.0:* users:(("ollama",pid=2505,fd=3))
$
$ sudo systemctl daemon-reload
$ sudo systemctl restart ollama
$ ss -lntp |grep 11434
LISTEN 0 4096 *:11434 *:* users:(("ollama",pid=3505,fd=3))
$
Open WebUIのインストール
Docker Composeで設定します。
公式ドキュメントのサンプルにextra_hostsの定義を追加して、コンテナとホストが通信できるようにします。
$ mkdir ~/OpenWebUI
$ cd ~/OpenWebUI
$ tee docker-compose.yml <<EOF
services:
openwebui:
image: ghcr.io/open-webui/open-webui:main
ports:
- "3000:8080"
volumes:
- open-webui:/app/backend/data
extra_hosts:
- "host.docker.internal:host-gateway"
volumes:
open-webui:
EOF
$
$ docker compose up -d
ひとまず完成、http://IPアドレス:3000/でOpen WebUIにアクセスできます。
最初のアクセス時に初期設定があり、アカウント登録して利用開始となります。
参考)
- CUDA Toolkit 13.1 Update 1 Downloads
- CUDA: Download Installer for Linux Ubuntu 24.04 x86_64
- Download Ollama
- Ollama: How can I expose Ollama on my network?
- Ollama: Setting environment variables on Linux
- Open WebUI: Quick Start
- Open WebUI: Starting With Ollama
- dockerdocs: Add entries to container hosts file (--add-host)
- dockerdocs: Connect a container to a service on the host
- dockerdocs: Configure host gateway IP