UARust産業用イーサネットPoEラズパイプログラミングできることカメラの使い方エンジニア勉強方法おすすめ工具・部品イギリスサイトマップ機械学習でgpuメモリ不足のためバッチサイズを変更したメモ本サイトはアフィリエイト広告を利用しています。2023.03.10Pytorchで機械学習を回しているときにGPUメモリ不足でエラーになりました。簡単な対策として、バッチサイズ(batchsize)の変更をしました。機械学習でgpuメモリ不足のためバッチサイズを変更したメモテスト環境(PCスペック)KITTI(自動車のデータセット)の3D物体検出Colab上ではGPUのメモリ16GBあるので問題無しdockerだとPCのGPU次第バッチサイズ(batch_size)を変更するまとめ機械学習でgpuメモリ不足のためバッチサイズを変更したメモデスクトップPCのGPUで機械学習を回しているとエラーが発生しました。GPUのメモリ不足のエラーです。PyTorch)使用しているグラボが補助電源無しのGTX1650のため、GPUのメモリが4GBしかありません。そのため、重い学習をすると簡単にエラーが発生します。今回はバッチサイズを小さくすることで対応しました。その内容を紹介します。テスト環境(PCスペック)PCスペックは下記の通りです。4GB)メモリ...16GBSSD...1000GB筆者が使用しているグラフィックボードに関しては玄人志向のGTX1650となります。補助電源無しで取り付けやすく、そこそこの性能を出してくれるGPUです。機械学習させるにはGPUメモリが4GBしかなく、物足りないケースも多々です。GTX1650をPCに搭載した内容は下記記事で紹介しています。玄人志向のGTX1650を購入して、市販のデスクトップPCに取り付けてみました。補助電源無しのタイプですので、グラフィックボードを挿し込むだけで動作可能です。購入から取り付け、ドライバのインストールまでの流れを紹介します。第6回AIエッジコンテストでは、リファレンス環境が用意されていました。KITTIもしくはコンテストのデータセットで3D物体検出ができるようになっています。(KITTI...自動車(点群データ+画像)のデータセット。誰でも簡単に入手できます)https://github.com/pometa0507/6th-ai-referencedocker上、またはColab上でも実行できるようになっています。Colab上ではGPUのメモリ16GBあるので問題無しColabで動かす分には、問題なく学習・評価ができるはずです。T4)が選ばれても、メモリは16GBと市販のPCに比べて多いはずです。|+-----------------------------------------------------------------------------+ただ、最近のColabは利用可能なユニット数(リソース)が管理されています。(2022年夏ぐらいまでは、ある程度自由に使えたのですが最近は難しいです)筆者含めてColabでなく、自宅にあるPCで学習させたい人が多数だと思います。個人のPCのdokcer上で学習すると、装着しているGPUによります。筆者のはメモリ4GBなので、Colab環境に比べて1/4と非常に小さいです。|+-----------------------------------------------------------------------------+そのままGithubのデフォルトの設定で動かすと、GPUのメモリ不足のエラーが出ました。学習(train)と評価(eval)の箇所です。PyTorch)バッチサイズ(batch_size)を変更するメモリ不足になっている学習と評価のコンフィグを変更します。今回の学習だと「/second.pytorch/second/configs/all.fhd_painted.config」箇所です。train(学習)とeval(評価)箇所の両方のbatch_sizeを減らします。3変更後は学習できました。バッチサイズが1の時にGPUメモリが2GB近く使っていました。単純換算でデフォルトのバッチサイズが3だと、GPUメモリが6GB以上が必要そうです。|+-----------------------------------------------------------------------------+まとめGPUメモリ不足でエラーの場合、バッチサイズの変更が一番簡単だと思います。memoryを回避したい、という場合に実施してみて下さい今回の記事含めて、第6回AIエッジコンテストの一環でした。下記にてコンテストでテスト・実施したことのまとめを紹介しています。第6回AIエッジコンテストに参加していました。RISC-Vを使って、画像とLIDAR点群からの3D物体検出が課題でした。貴重な勉強の機会になりましたし、自身への忘備録としても内容を紹介します。機械学習のPCを自作してみた!(パーツ予算15~20万円編)機械学習・ディープラーニング用のPCを自作してみました。パーツの予算総額は約15~20万円のミドルスペックです。機械学習で重要なGPUメモリを重視して、デスクトップPCを組んだ内容を紹介します。misoji-engineer.com2023.02.14オシロスコープの使い方!初めての人向けに多くの測定事例を紹介オシロスコープの使い方を一から紹介します。電源の入れ方からトリガーのかけ方までを写真・動画交えて分かりやすく説明します。初心者の方でも簡単にオシロを使った測定方法を学ぶことができます。misoji-engineer.com2024.08.14テスターの使い方!初心者向けに多くの測定事例を紹介テスターの使い方をまとめました。方にも実際の使用方法が分かりやすいように、多くの事例を紹介しています。テスターの電圧・電流・抵抗の各測定方法から応用例まで詳細に説明します。2.0を動かしてみました。Aventが提供しているimgファイルを使えばデモ程度は簡単に動作できます。AIKV260でYOLOX+DPUの物体検出をしてみたメモFPGAでYOLOXの物体検出をしてみました。使用したFPGAの評価ボードはKV260です。AIのサンプルを使って簡単にテストした内容を紹介します。第6回AIエッジコンテストに参加していました。RISC-Vを使って、画像とLIDAR点群からの3D物体検出が課題でした。貴重な勉強の機会になりましたし、自身への忘備録としても内容を紹介します。エンジニア機械学習のPCを自作してみた!(パーツ予算15~20万円編)機械学習・ディープラーニング用のPCを自作してみました。パーツの予算総額は約15~20万円のミドルスペックです。機械学習で重要なGPUメモリを重視して、デスクトップPCを組んだ内容を紹介します。FPGATSNとPTPの違いは?通信テストの設定・ログから確認してみたTSNの環境構築して、PTPの通信テストを行いました。テストしたPTPの設定が、TSNの規格に適応しているのか確認してみました。設定・ログを見直しながら、PTPとTSNの違いを確認した内容を紹介します。AIspconvの古いVer1.2.1のインストールが苦労したメモ3D物体検出でspconvのライブラリを使っていたところエラーが出ました。参照していたのが古いVer1.xのライブラリでした。何とか環境維持しつつ、エラー消すために再度ビルドした内容を紹介します。コメントをキャンセルメールアドレスが公開されることはありません。※サイト次回のコメントで使用するためブラウザーに自分の名前、メールアドレス、サイトを保存する。AIに参加してきたPYNQからAXIバスのレジスタを触って、PWMを弄ってみたテスターで乾電池を測定してみる2017.09.242021.08.07乾電池の容量を比較!メーカ・サイズを変えて測定してみた2021.01.172021.12.05テスターでコンセントAC100Vを測定してみる2017.09.182020.11.28PLC(シーケンサ)・ラダーがフリーで使える!おすすめ入門ソフト2018.10.142022.04.09テスターの使い方!初心者向けに多くの測定事例を紹介2020.12.052024.02.18自己紹介ミソジメーカで働いている現役のハードウェアエンジニアのミソジと申します。UARust産業用イーサネットPoEラズパイプログラミングできることカメラの使い方エンジニア勉強方法おすすめ工具・部品イギリスサイトマップホーム検索トップサイドバ。