Pro)でkaggleデータをダウンロードする方法[備忘録]技術的な要素は無いのですが、忘れやすいのでコピペ出来るように記事を残しておきます。Notebooks’直下)。Colabの規定ディレクトリにkaggle.jsonをコピーColabのノートブック画面でGoogleドライブに接続。drivedrive.mount('/content/drive')ターミナルでkaggle.jsonを所定の位置に配置。ColabのターミナルではCtrl+C、Ctrl+Vでコピペ出来ないので、それぞれCtrl+Insert、Shift+Insertのショートカットで代用する(メニューバーの『編集』でもコピペ出来ない......)。/root/.kaggle/kaggleコマンドでデータダウンロードKaggleのコマンド自体はkaggleのサイトに表示されるので、コンペの利用条件を承諾してからコマンドをコピペするだけです。12.4MB/s]Colabの操作性は初心者に優しくないColabのインスタンスを立ち上げるたびに各種操作が必要なのが果てしなくだるいですね......。GoogleのColabチームは操作性の向上に消極的なようで、細かいところでストレスが蓄積します。GBレベルのデータダウンロードが厄介なのも大きな弱点です。AutoMLがオープンソースでも出てきており、細かいチューニングが不要な用途ではnotebookの体裁すら不要なノーコードの時代になってきています。本来はGUIでボタンぽちーで分析完了出来てしかるべきです。Studioでは既にGUIでAutoMLが可能です。Notebookで分析した方がシアワセになれるかも知れません。Linuxの知識が多少はあることが前提ですが。私が大学時代に貯金をはたいて購入したDECのパソコンは50万円しましたから、伸びしろがある方なら無駄な投資にはならないと思います。V100』という高性能GPUで機械学習ごっこ(GPT-2,BERT等)をして遊んでいます。ところが、機械学習は10GB単位で鬼のようにデータを吐き出すので、Googleドライブが100GB有料契約(月250円)でもすぐ満杯になってしまいます。学習したモデルを即消しすれば良いのですが、様々なデータを食わせてAIの挙動を比べるような楽しいことが出来なくなってしまいます。そこで考えるのが学習データのバックアップ=Googleドライブからのダウンロードです。Googleドライブがまさかの変な挙動を示しましたので、注意喚起しつつ対処方法を記録しておきます。圧縮すらされず変なファイルが落ちてくるGoogleではフォルダをダウンロードしようとすると、一つあるいは複数のzipファイルに圧縮して送ってきます。ところが、2.5GBあるような大きなファイルは、なぜか圧縮せずzipとは別にボコボコ送りつけてくるのです😭Googleドライブは、圧縮しきれなかったファイルだけ非圧縮で送ってくる。最悪だ上図のケースでは、各チェックポイントのフォルダごとに複数個作成されるoptimizer.ptというファイルが非圧縮のままボコボコ落ちて来た例です。ファイル名が重複するので『optimizer-002.pt』『optimizer-005.pt』など謎なファイル名になっています。これは私も「どのoptimizer.ptだよ!!」とキレ気味困惑してしまいます。課金してもデレないGoogleドライブの糞仕様を何とかして回避しなければなりません。なったら自力で圧縮だGoogleドライブの圧縮機能がおかしいなら、自力で圧縮するまでです。Linuxのシェルがついてくるので、notebookにシェルコマンドを記述しなくても普通にシェル芸が使えます。そこで、まずはtar.gzでフォルダごと圧縮します。Proで、ファイル転送だけのためにサーバーを立てたりトンネリングの設定をするのは面倒くさい。Serverは、遠隔地のシェルのWebブラウザ(curl等)を仲介してWebブラウザ同士で直接テキストやファイルを送受信するものです。追加アプリのインストールが全く要らない、すごい......。Server』は、任意のWebブラウザ間で直接ファイルを送受信できるサービスあとは、回線品質の安定を祈るのみです......(現時点でまだダウンロード中です💦)ダウンロード中にColabのセッション切れを防ぐ2時間ほどダウンロードしたところで、切断されてしまいました。シェルコマンドが動いていてもColabセンセイは容赦なく未使用とみなしてセッションを切ってしまうようです。ServerでColabからローカルへのダウンロードを試みました。通信速度が低く、1GB/時くらいしか出ません。図書館のネットは1時間に一回くらい切断される仕様なので、もはやファイルを分割するしかありません。output-3epochs.tar.gzただのデータバックアップなのに、気が遠くなる作業です。お金持ちの方は観念してGoogleドライブに多額の納金をするのが現実的かと思います......。Colabはお得で面白いサービスですが、なかなか癖も強いので付き合うのは大変そうです......。errors.結局エラーが出て解凍出来ませんでした......。Serverにエラー補正がないため、ダウンロード途中でデータが壊れてしまったものと思われます。緊急事態宣言が出て図書館の人出が若干減ったので、3分割で再試行しました。output-3epochs/all_results.jsonようやく無事、解凍までたどりつきました......。当サイトではPayPay送金による寄付をお願いしております。記事が役に立ったら100円でも結構ですのでお送り頂けると嬉しいです。WordPress.。