２０２１年９月１３日（月）
model training 用のコードは組み上がったが、Loss が下がるのに対して Accuracy が上がらない。
これが解決すれば PyTorch で深層学習を行う最低限の経験を得られる。
２０２１年９月１２日（日）
バイトに行ったぐらいで特に何もしていない。
休みの日に何もしない事に少しだけ勿体無さを感じるけれどそれが休むって事だと思ってる。
２０２１年９月１１日（土）
毎週の如く西友に行って食材を買って平日用の弁当のおかずを用意した。
相変わらず鳥もも肉だが、味付けを醤油みりん酒からジャンク系ニンニク風味にしてみた。
焼き方も弱火でじっくりから、油多め強火蓋ありで済ませた。
調理時間の短縮は意外と負荷が減るんだなって思った。
人気の「NVIDIA RTX A4000」バルク版がオリオスペックに近日再入荷、1スロットでDP×4 （取材中に見つけた○○なもの） - AKIBA PC Hotline!
と
NVIDIA RTX A4000 (NVRTXA4000) 9月15日入荷予定 | PCパーツ,ビデオカード,プロフェッショナル向け | OLIOSPEC
RTX A4000 のバルク品がオリオスペックから発売される。
とても欲しい。
という事で現在使っている RTX 2060 super との２枚構成で深層学習をしようと思い至った。
どちらも NVLink ( SLI ) はできないから、並列というよりは単独で用いることになると思う。
パソコンを２台設置する場所的余裕も金銭的余裕も無い。
マザボにグラボを２枚挿すことにした。
そのためには PCIe x16 スロットを２つ以上持ち、２つのスロットが x8 接続になる NVLink ( SLI ) 対応マザボに換装する必要がある。
ということで MSI MEG X570 UNIFY が今日届いた。
早速今日研究室に行ってマザボをこれまで使っていた MSI MPG X570 GAMING PLUS から UNIFY に交換した。
そのついでに一回全部バラして掃除もした。
久し振りに PC 組み立て関連の作業をしたから楽しかったし戸惑いもあった。
組み上げて ( 最小構成ではなく全部つけた ) 電源を入れたらブルースクリーンが出た。
初めてブルースクリーンが出たから 吉田製作所 - YouTube と同じ四苦八苦をすることになるのかなって思った。
エラーコードは SYSTEM THREAD EXCEPTION NOT HANDLED で、デバイスやドライバー系の不具合らしい。
マザボ以外の構成は一切変えていないから相性問題かなって最初は思った。
相性問題だと最小構成から段階的に探っていく必要がある。
その次に浮かんだのは、GAMING PLUS と UNIFY で何が変わったのかについてだった。
この両者の機能面での大きな違いは Intel Wi-Fi 6 AX200 の有無である。
なぜそこに注目したかというと、GAMING PLUS の時に
Archer TX3000E | AX3000 Wi-Fi 6 Bluetooth 5.0 PCIe アダプター | TP-Link 日本
これをつけていたから。
内部で Intel と tp-link が競合しているのではないかと思った。
そこでまずは tp-link を外して再起動してみた。
するとあっさりログイン画面が出てきた。
なるほど、マザボに Wi-Fi のカード？がデフォルトで付いている時には、Wi-Fi 拡張カードは挿してはダメなのだな。
もし使いたいなら外した状態でマザボの方を切ってから挿す必要があるのだと思う。
すんなり解消できて良かった。
これが長引くようだったら明日も学校に行くところだった。
そんなこんなで１５時半ぐらいから作業を始めて、２０時過ぎに全てが終わった。
これにてマザボの換装は終わったから A4000 を迎えるだけである。
退くつもりはない。
２０２１年９月１０日（金）
PyTorch の情報少なくない？
TensorFlow の情報はたくさん見つかるのに対照的に感じた。
PyTorch はバッチサイズの問題を解決することを目的に勉強し始めたのだが、今の研究で作った CNN モデルがスリムにできたから必要無くなった。
どうしようか。
Python の深層学習ライブラリとしては PyTorch と TensorFlow が二大巨頭だから、両方使えるようにしておいても問題は無いとは思う。
一応 TensorFlow で作った CNN モデルを PyTorch でも作って、同じ挙動を示すかどうかの確認と使い勝手を試そうと思っている。
今後も深層学習はやっていきたいと思っているから、柔軟に作り込める PyTorch は可能な限りマスターしたいところでもある。
さて研究で作ったモデルの再現性を確認するためにモデル作成を含めて Epoch 1500 で 10 回行った。
一回だけが学習で検証データの Loss が大きくなる事があったが、テストデータでは問題が無かったから特に改善点は見当たらなかった。
ほとんど完成したと言っても過言では無い。
次は使うデータを変えた場合と、学習データはどこまで減らしても Accuracy を保てるかを試していく。
明日のバイトは流れたから、午前中にお昼の支度を終えたら午後は研究室に行こうと思う。
２０２１年９月９日（木）
モデルは意外と軽くても良いのかもしれない。
データに見合った最低限の複雑さがあれば良いらしい。
足るを知る。
必要最低限を突き詰める。
目的としていた画像を分類するモデルの形がほぼ決まったから再現性を確認するために試行を重ねている。
モデルが軽いから Epoch は 1500 で回している。
バイトがあるってだけで制約に感じる。
２０２１年９月８日（水）
生協で注文していた本が届いた。
これで捗る。
機械学習の基礎と PyTorch に鞍替えするための本などなど。
まずは PyTorch から読んで機械学習の基礎を作っていくイメージ。
学びたいことを学べるから楽しい。
人気の「NVIDIA RTX A4000」バルク版がオリオスペックに近日再入荷、1スロットでDP×4 （取材中に見つけた○○なもの） - AKIBA PC Hotline!
↑これがとても誘惑である。
最近寒い。
２０２１年９月７日（火）
やっぱりバッチサイズなんだよなぁ。
パラメータ数を増やした時に Accuracy が上がるのはバッチサイズが大きいとき。
自分のハード限界を越えるバッチサイズは Google Colaboratory で回した。
Colab は稼働時間限界があるから手元に欲しいよなあって思ってしまった。
まずはコード上で擬似的にバッチサイズを大きくできないから探ってみる。
