Ruby関連HTML/Webスクレイピング・ライブラリまとめ 2014年版

2014年5月時点で、HTML/Webスクレイピングに使える Ruby 関連のライブラリたちについて、前回 (2010年) のまとめとの差分とともに、概要をまとめた。各々のライブラリの特徴と入手先、HP、インストール方法、ライセンスなどについて簡単に説明している。

今回扱っているのは、nokogiri, Mechanize, Selenium-webdriver, Capybara-webkit, poltergeist の 5 つ。Ruby 以外にも、PhantomJS, Yahoo!Pipes, ScraperWiki, kimono についても取り上げた。

一覧をまとめたのち、比較と評価、おすすめの用途について簡潔に述べる。

FirefoxでGoogleの表示設定が保持されない

再度この方法を検証したところ、改善は確認できなかった。
ひきつづき、解決に向けた方策を調査したい。(2009/8/10)改善を確認できたので、再掲する(2009/8/12)。
問題
なぜか最近、Googleのクッキーが有効でない挙動をしていた。
具体的には、Googleの表示設定の(1)セルフサーチ フィルタリング、(2)検索結果の表示件数表示数、が、ブラウザ(Firefox)を立ち上げてネットにアクセスする際、毎回デフォルトの設定に戻ってしまうというものだ。


対策
以下の手順で、(1)既存のクッキーの削除と、(2)クッキーのサイト許可登録を行うことで、改善を得た。

(1) 既存のクッキーの削除の手順

1. メニューバーから、ツール＞オプション...を、選択
2. 表示されたオプションウィンドウの上段の「プライバシ」ボタンを、押下
3. Cookieペインの「Cookieを表示」ボタンを押下
4. 表示されるCookieウィンドウ中のサイトリストから、Google.com, Google.co.jpに対して、5.を、実施
5. 「Cookieを削除」ボタンでクッキーを、削除

(2) クッキーの許可登録

1. メニューバーから、ツール＞オプション...を、選択
2. 表示されたオプションウィンドウの上段の「プライバシ」ボタンを、押下
3. Cookieペインの「例外サイト(E)...」ボタンを、押下
4. サイトのアドレス入力で、Google.com, Google.co.jpを、「許可」で、追加

結果
(1)と(2)を併せて行うことで、Googleの表示設定の内容が、PCの再起動後も、ちゃんと設定どおりに表示されるようになった。

iTunesのバージョン・アップをしたらSafari

のインストールも促されたので、入れてみた。for Windows

ページのレンダリングは、IE, FireFoxと比較して、一番きれいだな。
少し使い込んで、いろいろ機能を見たいところ。

FireFoxのように、プラグインがいろいろそろっているとよいのだが。
あと、終了したあとも、前回のタブ・セットが残るとよいのだが。

と思っていたところ、どうやら以下のような情報がみつかった：


Safari for プラグインhttp://developer.apple.com/jp/internet/safari/faq.html#anchor11 によると、以下のようらしい：

11. Safariがサポートしているプラグインの種類を教えてください。

Safariのすべてのバージョンで、Netscapeスタイルのプラグインをサポートしています。Safari 1.3以降では、NetscapeスタイルのプラグインとCocoaプラグインをサポートしています。クロスプラットフォームではありませんが、Cocoaプラグインは簡単に作成でき、お使いのプラグインはCocoaのフレームワークのすべてを活用できます。

Cocoaプラグインの作成に関する詳細については、「Web Kit Plug-In Programming Topic」を参照し、Xcodeに含まれているWeb Kitサンプルのディレクトリにあるサンプルプラグインを試してみてください。

タブの復元メニュー＞履歴＞最後のセッションの全ウィンドウを開く、を選択。
すると、前回セッションで使っていたタブ・セットであたらしいSafariが起動するようだ。
→これは、自動でやってほしいところだなぁ