WEBサイトをクロールする

2016.11.1 (火)

Web Site Exploreは日本語だし多機能だしとてもよいですが、軽くクロールしたい場合はseo-spiderがなかなかいいです。
https://www.screamingfrog.co.uk/seo-spider/

URLとタイトルなんかを取得することができます。とはいえFree版は500ページしかクロールしないのですが小規模なサイトの場合には大変重宝します。
エクスポートからCSVを作成することもできます。