非対話型ネットワーク転送ソフト(wget)

wgetはコマンドラインからの一括して、web上(ftp,http)のファイルを ダウンロードするソフトである。linuxでftp上のものを ディレクトリ階層ごとすべてダウンロードするのに便利なコマンドである。

ホームページはここである。

もどる

使い方

使い方は簡単で、wgetの後にURLを書けば良い。 

$ wget http://mokemoke.com/moke.tar.gz

ダウンロードするファイルをリストにしたファイルを使って-iオプションを使うと ファイルの中のリスト全てダウンロードしてくれる。 

hoge.txt
http://www.moke.hoge.co.jp/hoge.html
http://www.hogehoge.com/hoge.gif

というファイルを用意して、 

$ wget -i hoge.txt

とすると上記hoge.txtの中身のファイルをダウンロードしてくれる。

設定ファイル

設定ファイルを用意しておくと、プロキシ等の初期設定をすることができる。 wgetはまず始めに/usr/local/etc/wgetrcを読み込んで、つづいて $HOME/.wgetrcを読み込んでくれる。 なので、自分のホームディレクトリに.wgetrcファイルを用意して おけば、初期設定が行える。

設定ファイルには固定的な設定を書き込んでおき、その都度変わるものは 引数で設定を決めるようにしてあげればよい。 Infoファイルからサンプルの.wgetrcを持って来たので説明する。 

###
### Sample Wget initialization file .wgetrc
###

## You can use this file to change the default behaviour of wget or to
## avoid having to type many many command-line options. This file does
## not contain a comprehensive list of commands -- look at the manual
## to find out what you can put into this file.
##
## Wget initialization file can reside in /usr/local/etc/wgetrc
## (global, for all users) or $HOME/.wgetrc (for a single user).
##
## To use the settings in this file, you will have to uncomment them,
## as well as change them, in most cases, as the values on the
## commented-out lines are the default values (e.g. "off").


##
## Global settings (useful for setting up in /usr/local/etc/wgetrc).
## Think well before you change them, since they may reduce wget's
## functionality, and make it behave contrary to the documentation:
##

# 所得するそう容量サイズを設定する。'K'(キロバイト)や'M'(メガバイト)
# を指定することができる。defaultは無制限
# -Q [--quota=QUOTA]
#quota = inf

# エラーとなった場合のダウンロードを再試行する回数。defaultは20回
# -t [--tries=NUMBER]
#tries = 20

# ディレクトリ階層を再帰的に下っていく深さを指定する。
# defautlは5階層
# -l [--level=NUMBER]
#reclevel = 5

# passive FTPを有効にするかどうか?
# --passive-ftp
#passive_ftp = off

# 再接続する場合に次の接続までの待ち時間を指定した時間まで
# 1から増やしていく。
# --waitretry=SECONDS
waitretry = 10


##
## Local settings (for a user to set in his $HOME/.wgetrc).  It is
## *highly* undesirable to put these settings in the global file, since
## they are potentially dangerous to "normal" users.
##
## Even when setting up your own ~/.wgetrc, you should know what you
## are doing before doing so.
##

# タイムスタンプを使ってダウンロードをするかしないか判定する。
# ローカルの方が古ければ(無ければ)ダウンロードする。
# -N [--timestamping]
#timestamping = off

# 接続の際にヘッダに"From:"を付け加えてemailアドレスを送る。
# サーバ管理者がエラーの際に連絡できるようにする。
# defaultでは"From:"セクションは付け加えない。
# --header=STRINGS
#header = From: Your Name <username@site.domain>

# 受け入れられる言語を指定する。ヘッダに"Accept-Language:"を
# 付け加える。defaultでは付け加えない。
# --header=STRINGS
#header = Accept-Language: en

# httpのproxyサーバを指定する。
#http_proxy = http://proxy.yoyodyne.com:18023/

# proxyサーバを使うようにする。
# -Y [--proxy=on/off]
#use_proxy = on

# ログに書き出されるフォーマットを指定する。
# micro         1行:   6K Byte
# default       1行:  50K Byte
# binary        1行: 384K Byte
# mega          1行:   3M Byte
# が指定できる。
# --dot-style=STYLE
#dot_style = default

# robots.txtをダウンロードしない。
#robots = on

# 個々のファイルのダウンロード間の待ち時間を指定する。
# -w [--wait=SECONDS]
#wait = 0

# ディレクトリ構造を残すかどうかをしているする。
# offにすると、current directoryに全部ダウンロードされる。
# -nd [--no-directories]ディレクトリ構造を残さない
# -x [--force-directories]ディレクトリ構造を残す。
#dirstruct = off

# 階層構造を下ってダウンロードをしていくかどうか。
# "on"ならば下っていく。
# -r [--recursive]
#recursive = off

# バックアップファイルを*.origとして残しておく。
# -K [--backup-converted]
#backup_converted = off

# HTMLファイルからFTPのリンクを手繰ってダウンロードしていくかどうか
# "on"ならば手繰っていく。
#  --follow-ftp
#follow_ftp = off

上記の必要な部分のコメント削除して使えばいい。 この他にもいろいろある。が詳しくはInfoファイルを参照してください。

その他

○ 特定のファイルだけ(以外)をダウンロードする。(-A,-R)

-A(--accept)オプションを付けるとマッチするファイルだけダウンロードする ことができる。
-R(--reject)オプションを付けると特定のファイル以外をダウンロードする ことができる。 

$ wget -A jpg,gif http://www.moke.org/hoge

上記のようにするとjpgとgifファイルのみを取り出すことができる。 ワイルドカード(*)も使う事ができる。 

$ wget -R  hoe* http://www.moke.org/hoge

とすると、頭がhoeのものをダウンロードしないようにできる。 その他*hoe192[0-9]*とかすることもできる。

○ ローカルのダウンロードディレクトリ名を変える。

-nH(--no-host-directories)オプションで、ローカル側のディレクトリ からホスト名を外すことができる。
-P(--directory-prefix=PREFIX)オプションで、ローカル側のディレクトリ を指定したディレクトリから始めることができる。
--cut-dirs=NUMBERオプションで、ホスト側のディレクトリ構造をNUMBER分だけ カットできる。

$ wget -r http://www.moke.org/hoge/hage/
-> ./www.moke.org/hoge/hage/
$ wget -r -nH http://www.moke.org/hoge/hage/
-> ./hoge/hage/
$ wget -r -nH -P foo http://www.moke.org/hoge/hage/
-> ./foo/hoge/hage/
$ wget -r -nH -P foo --cut-dirs=1 http://www.moke.org/hoge/hage/
-> ./foo/hage
$ wget -r -nH -P foo --cut-dirs=2 http://www.moke.org/hoge/hage/
-> ./foo/

と言うようなディレクトリにダウンロードされる。

○ ミラーリングする。(-m)

-m(--mirror)オプションを付けるとサーバをミラーリングできる。 これは、-r -N -l inf -nrと同じ意味をもっています。-nr は、.listingファイルをダウンロード後消さないでとっておきます。 (通常は消す)

もどる

Kenji Ohmori
Last modified: Tue May 31 02:00:34 JST 2005