ついにクローラー完成!
amazonのランキングからデータをとってくるクローラーを作り、保存するデータベースを作り、clockworkと言うgemで定期的にクローラーを動かすようにし、ミヤネ屋で矢口の復帰を見届け、herokuでも使えるようにごちゃごちゃ設定したことによって、やっとこさクローラーが完成しました。
いやーでも、クローラーを作れることによってだいぶできることの幅が広がった感というか、能力強化された感があります。この感覚はRails以来です。
いやーうれしいです。ウレシすぎて記念にスクショ撮ったので載っけておきます。
おっと間違えました。
でも、自分の知らない間に動いてくれるっていうのはなかなかいいもんですねー。
データベースは、herokuのプラグインであるcleardbていうやつを使いました。無料枠が5MBだったので大丈夫かよと思っていたのですが、思っていた以上に大丈夫じゃなかったです。
とりあえず3,4時間動かしてみたのですが、そのときの使用容量はこんな感じでした。
ええ、致命傷です。
とりあえず、1時間動かしてみた時の使用容量はどんな感じになるのか調べてみたかったので1時間後にもう一回調べたらこんな感じで、
だいたい、1回起動するごとに0.1MB増えてました。。
インデックスをつけまくったのでこんな多くなったのか、もともとこんなのなのかよくわかりませんが、これでは1週間も持たないのでとりあえず違う方法を考えてます。
一応awsのAmazon RDSっていうやつが良さそうなので、それにしようかなと思ってます。1年間無料分があって、容量が20GB使えると書いてあるので、金を1銭も払いたくない僕にとってはよさげです。
20GBなら、20 000MB / (0.1MB×24時間) = 8333日
大丈夫そうですね。
Amazon RDSの他にもおすすめのストレージがあったら、もしよかったら教えてください。