MYCOEIROINKローカルランタイム学習で気をつけること

基本的にはこちらの記事のとおりに進めていけば問題ないのですが……。私がつまずいた点について詳しく書いていきます。

白痴ーさんのnote記事

MYCOEIROINK作成を自前PCのGPUで行う方法(WINDOWS限定)｜白痴ー@トーク音源配布中

初ノート書きとなりますので、いろいろ不備があればなんかこうなぁなぁに流してください。 2024/5/29　ローカルでの学習時に躓きやすい点などをいくつか追記しました。急に学習できなくなった！という場合はまたお読み下さると問題が解決するかもしれません。 弊環境で起きた問題の解決時、某サーバー(https://discord.gg/mw6uechH)の方々が力になってくださいました。開発者含みプログラミング系に強い方もいるので困ったら頼ってみるのもいいと思います。 (なお普段は雀卓だったりカラオケ場だったりMHギルドだったりします。) 前提 本記事は、シロワニさん 様の運営・

note.com

白痴ーさんが参考にしたと思しき記事

初めてでもできる！ 自宅PCのGPUを「Google Colab」から使い、生成AIをカンタンに動かす方法【イニシャルB】

　大規模言語モデル（LLM）に画像生成、ボイスクローニング、そしてこれらを組み合わせたマルチモーダルと、いろいろな生成系AIを家庭用PCのGPUでも試せる時代が到来した。ただし、簡単に使えるといっても、実行環境を用意しなければならず、この点が入門者にとっての高いハードルとなっている。

internet.watch.impress.co.jp

要約

仮想メモリをシステム管理サイズにする

ローカルランタイムの動作には仮想メモリの仕組みが上手く働く必要があります。

もしあなたが Windows 仮想メモリ設定で「すべてのドライブのページング ファイルのサイズを自動的に管理する」のチェックを外していて、Cドライブのページングファイルを「カスタムサイズ」や「ページング ファイルなし」にしていた場合は、設定の見直しをしてください。

仮想メモリを上手く割り当てられなかったときに出るエラーは下記のとおり。これを VRAM に関わるエラーだと勘違いした私は6日間足踏みしました。要注意です。

RuntimeError: CUDA out of memory.

CUDA をインストールするときは「カスタム」で

CUDA のインストール時に、MYCOE学習と互換性のないドライバーが自動で当たってしまうことがあります。インストールの際は「カスタム」を選んで CUDA のコンポーネントのみを選択しましょう。

ドライバーからインストールし直す際には DDU（Display Driver Uninstaller）の実行も忘れずに。

エムエスアイコンピュータージャパン

MSIのWebサイトへようこそ！MSIはマザーボード（メインボード）、グラフィックスカード、ノートブックPC、ネットブック、タブレットPC、サーバー、組み込み／工業用マザーボード、ネットワーク機器、液晶一体型PC、ベアボーンPC、車載情報機器、掃除ロボットなどを設計・生産しているメーカーです。

jp.msi.com

「colab-runtime」フォルダーを WSL2 上に作る

Google Colab のローカルランタイムを Windows で動かす際には「Docker Desktop」を WSL2 と連携して行います。

WSL2 で実行するプログラムのファイルに Windows 上のドライブを介すると、読み書きが遅くなってしまいます。

白痴ーさんの記事にある「3, 4, 5, 」のやり方を変えて「colab-runtime」フォルダーを WSL2 の Ubuntu 上に作って実行してみましょう。

※必須ではありません。

前準備, Ubuntu を最新状態にする

WSL2 にある Ubuntu ターミナルで下記のコマンドを実行し、Ubuntu をアップデートします。久しぶりに Ubuntu を動かす際にも必ず実行しておきましょう。

※コマンドの意味が分からない方は、何をしているのか事前に調べてください。

sudo apt update && sudo apt upgrade -y && sudo apt full-upgrade -y && sudo apt autoremove -y && sudo apt autoclean -y

3’, Google ドライブの代わりとなるフォルダーを準備

下記のコマンドでフォルダーを作り、白痴ーさんの記事と同じようにやっていきます。

mkdir ~/colab-runtime

4’, 起動ファイルの準備

docker-compose.yml の作成と編集は下記のように行います。例として私の愛用する nano エディタを使っていますが、各々のお好きなエディタを使ってくださいね！

nano ~/colab-runtime/docker-compose.yml

5’, 起動ファイルを起動するバッチを作成

起動ファイルを起動するバッチは、Ubuntu に分かる形式で作成します。まず下記のコマンドでファイル編集を開始します。

nano ~/colab-runtime/run.sh

ファイル内に下記の内容をペーストして保存します。

#!/bin/bash
docker-compose up -d

最後に下記のコマンドで実行権限を付与します。他のファイルやフォルダーについても、権限や所有ユーザー・グループの見直しは適宜行ってください。

chmod 755 ~/colab-runtime/run.sh

下記のコマンドでバッチファイルを実行すると Google Colab ローカルランタイム用の Docker イメージが作成され、コンテナが起動します。

bash ~/colab-runtime/run.sh

残りの手順はこちらの記事と同じです。

MYCOEIROINK作成を自前PCのGPUで行う方法(WINDOWS限定)｜白痴ー@トーク音源配布中

初ノート書きとなりますので、いろいろ不備があればなんかこうなぁなぁに流してください。 2024/5/29　ローカルでの学習時に躓きやすい点などをいくつか追記しました。急に学習できなくなった！という場合はまたお読み下さると問題が解決するかもしれません。 弊環境で起きた問題の解決時、某サーバー(https://discord.gg/mw6uechH)の方々が力になってくださいました。開発者含みプログラミング系に強い方もいるので困ったら頼ってみるのもいいと思います。 (なお普段は雀卓だったりカラオケ場だったりMHギルドだったりします。) 前提 本記事は、シロワニさん 様の運営・

note.com

実行結果

無事に動作するとこんな感じになります。

あとがき：私のローカルマシン環境

最後に私のローカルマシン環境を載せて終わります。