blogあしたになったらほんきだす。ユニークなユーザタイムゾーンが日本のユーザがフォローしているユーザなのでボットはもちろん、外国の人たちもかなりの数をクロールしてると思われる。問題は何人をクロールするかではなくてクロールしたデータをどう加工するか。プロセスで一人ずつ判定しながらテーブルに結果をインサートしていくのは非効率すぎる。万ユーザあたりで何分もかかるようになって終了。複数キックして複数プロセスを立ち上げて処理させるぐらいか(apacheに迷惑)。いってクラウドがどうのまでは行きたくない。あたりでダンプして置いとくとかを考えてる。1引用をストックしましたストック一覧を見る閉じる引用するにはまずログインしてくださいログイン閉じる引用をストックできませんでした。再度お試しください閉じる限定公開記事のため引用できません。