クローラで拾ってきた情報を保存するために、awsを使おうとしたのですがむっちゃ難しいです。 とりあえず登録とかして、amazon RDSっていうやつでデータベース立ち上げたんですがどうやって外部接続したらいいかわからないし、マニュアルは英語だしなかなか…

amazonのランキングからデータをとってくるクローラーを作り、保存するデータベースを作り、clockworkと言うgemで定期的にクローラーを動かすようにし、ミヤネ屋で矢口の復帰を見届け、herokuでも使えるようにごちゃごちゃ設定したことによって、やっとこさ…

Herokuを使って無料のジョブサーバを構築する - プログラマになりたいを参考にclockworkというgemを使い、クローラーを毎時間ごとに動かすことにしました。どうやらcronより高性能らしいですよ。 clockworkの使い方は以下が参考になりました。Ruby - Clockwo…

今日まででクローラーで取ってきた情報をローカルのmysqlに保存するところまでやりました。 mysqlは１年弱ほど前にphpを勉強していてその流れで勉強していたのですが大半のことは忘れてしまっていたのでもう一度学習しなおしました。 ドットインストールと M…

クローラーで取得してきたデータを保存するためのdbを使うためにmysqlをインストールしました。 最初mongodbを使おうとしてmongodbをインストールしたのですが、railsでmongodbをactiveRecordで使うことは無理らしく、mongoidという擬似activeRecordを使わな…

とりあえず１日目ということで、何から手をつけていこうかって感じですが今日は、amazon各ランキングページから商品情報をDLできるようなクローラーを作りました。といっても以前買ったクローラーの本を参考にして、ほとんどコードはコピーマシーン仕様です…

アイデアは出るのだがクソみたいなアイデアか、実現が難しいアイデアしか浮かばない。 railsを勉強し始めたのは作りたいサイトがたくさんあったからで、最近そのアイデアのほとんどがクソだということがわかってきた。 最初にRssリーダーを作ったが、利用し…

そろそろRubyMineの試用期間が切れるのでライセンスを購入しようとした所、学生の購入ボタンの横にFREEの文字が。きたーーー！と思いダウンロードを進めていくと、なんと他にも無料なものがたくさん！ WebStormとかPhpStormとか上位モデルのIntelliJ IDEAま…

クローラーの勉強をしたかったので、amazonでrubyによるクローラ開発技法っていう本を買いました。 っていっても買ったの1週間ぐらい前で、だいたい3分の1ぐらい読み終わっています。 この本、結構売れているらしくてamazonのruby関連の売り上げランキングで…

以前railsでチャットサイトを作った時に役立った、主要なgemを紹介します。 サイトが出来たすぐに書く予定だったのですが、mine craftにハマってしまって遅くなってしまいましたw チャットサイトが完成しました！ [ 10日目 ] - 死狂い twitter-bootswatch-ra…