@0tofuの備忘録...

プログラミングとか仕事の話とかFIT3 RS(GK5)のメンテナンス記録等の雑記

Rubyを使ったクローラー&スクレイピング入門

広く浅くRubyの知識を身につけつつある中の人です。
amazonでRubyによるクローラー開発技法を購入し、途中まで読んだのであっさりレビュー

Rubyによるクローラー開発技法 巡回・解析機能の実装と21の運用例

Rubyによるクローラー開発技法 巡回・解析機能の実装と21の運用例

 

 Chapter1ではとりあえず10分でクローラーを作成してみよう!といった簡単なプログラミングです。
Rubyの簡単な知識は必要ですが、基本的にひたすらコピペして進めていく感じです。

Chapter2ではクローラー(anemone)とスクレイピング(nokogiri)を使って、amazonのランキングを収集するクローラーを作成します。
ここでxpathや正規表現といったChapter1では軽く説明していた内容の詳細(と言いつつあくまで基礎となる内容)の説明があり、Chapter1でやっていた内容の理解がより進むと思います。

Chapter3以降は今から読んでいきます…

APIを使って何かするのは大掛かりだったり、APIって何やねん?でもどっかのページから情報は取得したい!と思っているプログラムを始めたばかりの方等にオススメできる書籍になっています。

私自身SUPER GTのサイトから過去の情報を拾ってきてあれやこれやしたいと思っていますので、熟読して自分がやりたいクローラーを作っていきたいと思います。