Windows用にコンパイルしたwgetを利用して、目的のURLのリストを作成してみた。

手順:
1. とあるURLからリンクされているURLを キーワード href で grep して拾い出して、URLのリストをファイル list.txt に保存。
2. wget -l 1 -i list.txt でファイルを拾う。
3. 拾ったファイル群からキーワード href で grep して拾い出して、URLのリストをファイル list.txt に保存。
4. 以後、目的のURLまで2~3を繰り返し。

ん? 最初から -l オプションで回数分設定しておけば良いのでは?

tags: wget zurazure

Posted by NI-Lab. (@nilab)