Website Explorer

ウェブサイト・エクスプローラでスクレイピング

公式サイトからダウンロードしてきてインストールしたらすぐに使えるようになってます。
スクレイピングしたいサイトのURLを入力して開始ボタンを押します。コンテンツの多いサイトだとものすごい時間がかかります。リカシーフにすべてのページにアクセスするので、みだらにやらないようにしましょう。


できることがたくさんあって、

  • サイト一覧(サイトマップ)の作成をエクセルで出力してくれる。
  • 階層マップの作成
  • サイト自体をまるっと全部スクレイピングする。(httpのレスポンスのみなので仕組みとかは落とせないですよ。)
  • サイト内リンクをひろう。

などです。開発には欠かせません。

サイトデータを作成する

開始ボタンを押すとクロールがはじまってサイトデータを取得しはじめます。完了したら、ツールメニューから「ファイルダウンロード」を選びます。ウィザード的なものが立ち上がります。
サイドバーに取得できたものが表示されるので、チェックを入れて選択します。すべてを保存する場合はそのままでよいかと思います。次へボタンを押してすすみます。ファイルダウンロードの設定ウィザード(2/5)になるので「すべて」を選択します。インデックスファイル名もindex.htmlでよいです。次へにすすんで、ファイルダウンロードの設定ウィザード(3/5)で、階層構造を維持しダウンロードを選択。そのほかもデフォルトのままでよいです。次へを押すとダウンロードされるファイル容量が計算されます。いったん確認しましょう。次へボタンを押して保存します。これで終わり。

その他の情報はツールメニューからいろいろできます。
ウェブサイト・エクスプローラ

Last update: 2016.12.12 (月)