NI-Lab.

nilog:

← 前の日 2023-08-22 次の日 →
← 一年前 一年後 →
Mastodon (2023-08-22)

あるドメインの中にあるWebページと、それが参照している外部ドメインの画像ファイルすべてをダウンロードしたい。
と思って、wget の --recursive --page-requisites --span-hosts オプションあたりを駆使してみたけどぜんぜんうまくいかない(´;ω;`)
Webページは指定したドメイン内のものだけをダウンロードして、画像ファイルは外部ドメインのものもダウンロードする、という分離した指定が wget のオプションではできないみたい。
ChatGPT に聞いてみたり man wget したりして調べてみたけど無理・・・
というわけで、--recursive は諦めて、ダウンロードしたいドメイン内URL一覧をテキストファイルに保存して wget の --input-file オプションで指定してとりあえずの解決。


[Mastodon] 2023-08-22 21:46:25
関連するかも情報

あ、定期購読したときに特典としてもらったやつかな。


[Mastodon] 2023-08-22 18:38:19

あるドメインの中にあるWebページと、それが参照している外部ドメインの画像ファイルすべてをダウンロードしたい。
と思って、wget の --recursive --page-requisites --span-hosts オプションあたりを駆使してみたけどぜんぜんうまくいかない(´;ω;`)
Webページは指定したドメイン内のものだけをダウンロードして、画像ファイルは外部ドメインのものもダウンロードする、という分離した指定が wget のオプションではできないみたい。
ChatGPT に聞いてみたり man wget したりして調べてみたけど無理・・・
というわけで、--recursive は諦めて、ダウンロードしたいドメイン内URL一覧をテキストファイルに保存して wget の --input-file オプションで指定してとりあえずの解決。


[Mastodon] 2023-08-22 21:46:25

wget コマンドはこれを使った。

wget \
--random-wait \
--quiet --show-progress \
--page-requisites \
--html-extension \
--convert-links \
--restrict-file-names=windows \
--adjust-extension \
--span-hosts \
--timestamping \
--base=ドメインのトップページURL \
--input-file=ダウンロードしたいドメイン内のURLのリストを羅列したテキストファイル


[Mastodon] 2023-08-22 21:46:59

CSS で font-family: monospace; を指定しているけどなぜかずれてしまう・・・


[Mastodon] 2023-08-22 22:17:02

ミニブログだとまとめにくいので久々にブログに書いておく。

[ヅ] wget でドメイン内のWebページをまるごとダウンロードしてバックアップしたい (微妙な解決案) (2023-08-22) nilab.info/z3/20230822_01_wget


[Mastodon] 2023-08-22 22:18:49
2023年08年22日のnilogをすべて表示する

- NI-Lab.
- Mastodon (@nilab@mastodon-japan.net)
- Twitter (@nilab)
- Timelog (@nilab)
- はてなブックマーク (id:nilab)

Web Services by Yahoo! JAPAN