ついにクローラー完成!

  amazonのランキングからデータをとってくるクローラーを作り、保存するデータベースを作り、clockworkと言うgemで定期的にクローラーを動かすようにし、ミヤネ屋で矢口の復帰を見届け、herokuでも使えるようにごちゃごちゃ設定したことによって、やっとこさクローラーが完成しました。

 いやーでも、クローラーを作れることによってだいぶできることの幅が広がった感というか、能力強化された感があります。この感覚はRails以来です。

 いやーうれしいです。ウレシすぎて記念にスクショ撮ったので載っけておきます。


f:id:yuya0120117117:20141025173940j:plain
おっと間違えました。
f:id:yuya0120117117:20141025173526p:plain

でも、自分の知らない間に動いてくれるっていうのはなかなかいいもんですねー。

データベースは、herokuのプラグインであるcleardbていうやつを使いました。無料枠が5MBだったので大丈夫かよと思っていたのですが、思っていた以上に大丈夫じゃなかったです。
とりあえず3,4時間動かしてみたのですが、そのときの使用容量はこんな感じでした。
f:id:yuya0120117117:20141025174653p:plain
ええ、致命傷です。
とりあえず、1時間動かしてみた時の使用容量はどんな感じになるのか調べてみたかったので1時間後にもう一回調べたらこんな感じで、
f:id:yuya0120117117:20141025175028p:plain
だいたい、1回起動するごとに0.1MB増えてました。。
インデックスをつけまくったのでこんな多くなったのか、もともとこんなのなのかよくわかりませんが、これでは1週間も持たないのでとりあえず違う方法を考えてます。

一応awsAmazon RDSっていうやつが良さそうなので、それにしようかなと思ってます。1年間無料分があって、容量が20GB使えると書いてあるので、金を1銭も払いたくない僕にとってはよさげです。

20GBなら、20 000MB / (0.1MB×24時間) = 8333日
大丈夫そうですね。

Amazon RDSの他にもおすすめのストレージがあったら、もしよかったら教えてください。

yosemite

それと、自分のmacyosemiteにアップグレートしました。safariも速くなったと思うし、youTubeに関してはめに見えるほど速くなってだいぶよさげです。
 ただ、フラットデザインがちょっと、、って感じでDOCKに関してはダサすぎて逆に笑わせているのかってくらい、もしそうなら一本取られたりなんですが、これどうにかなりませんかね。せめてDOCKだけでも。
まぁでもストレスが溜まっている時にDOCKを見ればいつも笑わせてくれるので、これはこれでいいのかもしれません。