もはや週末、早いな一週間と書き続けてもはや何年か。
今日は数年ぶりの外出、名詞を忘れた。
Linux グラボドライバ確認
cat /proc/driver/nvidia/version
535.86.05
cudaバージョン確認
nvcc -V
パスが通っていないとき
/usr/local/cuda/bin/nvcc –version
nvcc: NVIDIA (R) Cuda compiler driver
Copyright (c) 2005-2023 NVIDIA Corporation
Built on Tue_Jun_13_19:16:58_PDT_2023
Cuda compilation tools, release 12.2, V12.2.91
Build cuda_12.2.r12.2/compiler.32965470_0
cudaインストール（ドライバ）
https://developer.nvidia.com/cuda-downloads
ユーザー登録、ログインが必要
Download Installer for Linux Ubuntu 20.04 x86_64
cudaのパスを通す
export PATH=”/usr/local/cuda/bin:$PATH”
export LD_LIBRARY_PATH=”/usr/local/cuda/lib64:$LD_LIBRARY_PATH”
GPU使用状況を確認するコマンド
nvidia-smi -l
525.116.04+CUDA12.0
(cudaはいってなかった)
nvidia-smi実行時のエラー・・・再起動してみる
Failed to initialize NVML: Driver/library version mismatch
参考リンク：https://x.momo86.net/article/28
cuDNN（ディープラーニング用ライブラリ）
cuDNN Download
The public cudnn-local-repo-ubuntu2004-8.9.6.50 GPG key does not appear to be installed.
インストール
sudo apt -y update
sudo apt -y install libcudnn8 libcudnn8-dev
インストール確認
dpkg -l | grep cuda
nvcc動作確認
https://developer.nvidia.com/blog/easy-introduction-cuda-c-and-c/
https://www.kkaneko.jp/tools/ubuntu/ubuntu_cudnn.html
Pythonバージョン確認
python3 -v
3.8.10が入っている。
Docker version確認
docker –version
24.0.4が入っている。
dockerがroot権限になっている。rootlessモードもしくは、ユーザーの追加が必要、ここまでやった。
nvidia-docker run -it -u $(id -u):$(id -g) -v /home/shige
/:/mnt --device /dev/nvidia0:/dev/nvidia0 --device /dev/nvidiactl:/dev/nvidiactl --device /dev/nvidia-uvm:/dev/nvidia-uvm heatonresearch/stylegan2-ada /bin/bash
$ sudo passwd root Enter
new UNIX password:○○○○○○ ← 設定をしたいrootパスワード
Retype new UNIX password:○○○○○○ ← 設定をしたいrootパスワードを再度入力
passwd: password updated successfully
Docker利用するユーザをdockerというグループに追加します．この方法を利用すると非常に簡単に一般ユーザでDockerを利用することが可能ですが，セキュリティ上の問題が懸念されます．
gpasswd -a <your_username> docker
chgrp docker /var/run/docker.sock
systemctl restart dockerトレーニングを再開
python train.py \ –data=datasets/formula1/tfrecords \ –outdir=training-runs \ –gpus=2 \ –kimg=500 \ –resume=training-runs/00000-tfrecord-auto2-kimg500/network-snapshot-000500.pkl
docker のstart
sudo service docker start
docker ps -a
docker rm container-id
docker rm –force container-id（強制終了）
docker image
docker rmi
docker extention
~/stable-diffusion-webui-docker/data/config/auto/extensions/sd-webui-controlnet/models
docker compose –profile auto up –build
docker gpus
docker run -it –rm –gpus all ubuntu nvidia-smi
+—————————————————————————————+
| NVIDIA-SMI 535.86.05 Driver Version: 535.86.05 CUDA Version: 12.2 |
|—————————————–+———————-+———————-+
| GPU Name Persistence-M | Bus-Id Disp.A | Volatile Uncorr. ECC |
| Fan Temp Perf Pwr:Usage/Cap | Memory-Usage | GPU-Util Compute M. |
| | | MIG M. |
|=========================================+======================+======================|
| 0 Quadro M6000 24GB Off | 00000000:01:00.0 On | Off |
| 25% 57C P0 64W / 250W | 592MiB / 24576MiB | 0% Default |
| | | N/A |
+—————————————–+———————-+———————-+
+—————————————————————————————+
| Processes: |
| GPU GI CI PID Type Process name GPU Memory |
| ID ID Usage |
|=======================================================================================|
+—————————————————————————————+
Stable diffinission
cd /path/to/install
git clone https://github.com/AbdBarho/stable-diffusion-webui-docker
cd stable-diffusion-webui-dockerdocker compose --profile download up --builddocker compose --profile auto up --build -dどこかのオプションを入れたら、ドッカーぶっ壊れた。
SD WebUI Tag Autocomplete
Stable Diffusion
ControlNet
sd_save_intermediate_images
2023.7.31
docker内部で実行する方法
docker exec -it CONTAINER-ID /bin/bash
これでアップデートできるか？
1.4を1.5にしたい。
2023.8.2
Ubuntuのアップデート失敗のリカバリー
https://zenn.dev/yukkeorg/scraps/63b4e235ecf177
nvidiaのパッケージのアップデートに失敗したときにお世話になった。
2023.10.30
OSアップデートしたら、nVidiaドライバが消えた。
ドライバは再インストールした。
dpkg -l cuda-drivers | grep cuda
dpkg -l nvidia-container-toolkit | grep nvidia
nvidia-smi
docker –version
Dockerイメージを落としてくる。
imageの作成は、docker buildでやるべし。
もしくは、ymlでやる。
docker compose up
https://hub.docker.com/r/nvidia/cuda/tags?page=1&name=ubu
今回使用したイメージ
docker pull nvidia/cuda:12.2.2-cudnn8-runtime-ubuntu20.04
イメージからコンテナを作成
docker run –gpus all nvidia/cuda:12.2.2-cudnn8-runtime-ubuntu20.04 nvidia-smi
コンテナを起動
docker run -it -d –gpus all –name jyp2 nvidia/cuda:12.2.2-cudnn8-runtime-ubuntu20.04 bash
コンテナに入る
docker exec -it jyp2 bash
docker-gpuベンチ
docker run –rm –gpus all nvcr.io/nvidia/k8s/cuda-sample:nbody nbody -gpu -benchmark -numbodies=640000
イメージを残して、動作後に動作しているコンテナは消す。
nVidiaの公式どっかーtag
https://hub.docker.com/r/nvidia/cuda/tags?page=1
ドッカーイメージ参考URL
https://qiita.com/kaijism/items/
どっかー起動コマンドの例
docker run -it –rm –gpus all -v 'pwd'/src:/code -p 8888:8888 –name my-jupyter my-nvidia-cuda sh -c ‘jupyter-lab –allow-root –ip=*’
-vはボリュームマウント
docker run -v /home/deep2/dockers/ohkoji: -it –rm –gpus all -v 'pwd'
ymlファイルで起動
LEICA C-LUX2