Linux Downloaders

Ubuntu Beginners / Новичкам в Ubuntu: Linux Downloaders

Всем привет. Блог libc6.blogspot.com продолжает свое бренное существование.
В этой короткой статье я собираюсь рассказать о wget и aria2c - консольных linux даунлоадерах, которыми я каждый день пользуюсь с удобством и удовольствием. Плюс пару обзорных абзацев об aria и d4x - старых добрых линуксовых даунлоад менеджерах аля FlashGet.

wget

Cамый простой в использовании и самый, наверное, популярный инструмент для закачки файлов по http или ftp. Однако, не смотря на простоту в использовании - очень мощный по своим функциональным возможностям. Достаточно просто набрать

wget --help

и вы поразитесь количеству доступных опций. Например, wget умеет не только выкачивать файлы, но и закачивать файл на сервер или отсылать http POST заголовки, например, при передаче логина/пароля. wget может докачивать незавершенные докачки - опция "-с", даже если вы укажете другой исходный сервер. Умеет качать ссылки подряд, указанные в отдельном файле - опция "-i filename".
Вот несколько примеров, опциями из которых я пользуюсь постоянно:

wget -c http://libc6archlive.googlepages.com/libc6.tar.bz2  -O "libc6 blog arhive.tar.bz2"

где -с - опция, позволяющая докачивать файл, если закачка оборвется, -O - опция "сохранить как" для нового имени файла.

wget -c http://libc6archlive.googlepages.com/libc6.tar.bz2  --referrer=http://google.com

В этом примере используется опция referer, в которой указывается, откуда посетитель пришел качать указанный файл. Подробнее об этой опции в моем старом livejournal блоге.

wget -i linkfile.txt --limit-rate=10K

опцией -i указывается текстовый файл вида

http://link1 ftp://link2 ftp://link3

и ограничивается скорость скачивания до 10 кб/сек. Ссылки из указанного файла будут закачаны в текущую директорию.

wget -rkpE -A jpg,png,gif,css http://somesite.com

Этой командой будет скачан сайт somesite.com рекурсивно, то есть все ссылки на html файлы, которые будут найдены в index.html этого сайта, будут обработаны и скачаны, с них тоже будет все скачано и тп. Опция -А ограничивает скачиваемый контент по допустимым расширениям, таким образом запрещая скачивать, к примеру, tar.gz архивы. При этих условиях wget не пойдет дальше указаного домена и, кроме того, будет скачивать только те реквизиты (-p, т.е. картинки и стили) которые расположены на том же сайте. Однако, добавив опцию -H можно нечаянно создать локальную копию интернета в пределах 5 рекурсивных ссылок. Надо быть осторожным. Но и для этого есть опция -l - задающая уровень скачиваемой вложенности.
Естественно, это далеко не все возможные примеры использования wget.

aria2c

Не менее мощный, чем wget, инструмент закачки файлов. Он позволяет скачивать файл в несколько потоков, с нескольких серверов, предварительно выделять пространство для получаемого файла а так же может служить торрент-клиентом для получения и раздачи файлов в торрен-сетях.

Несколько возможностей и опций, которыми я пользуюсь ежедневно. К примеру, возможность загружать один и тот же файл с нескольких источников сразу. На картинке показано, как это делается на примере загрузки iso образа ubuntu 8.10 beta. Я просто указал несколько разных серверов для одного образа. Как следствие, файл загружается значительно быстрее, чем при обычном "сохранить файл, сохранить как" из браузера.

aria2c http://site1/file.iso http://site2/file.iso http://site3/file.iso

Загрузка в несколько потоков контролируется опцией -sN, где N - количество потоков, но не больше 16.

aria2c -c -s3 http://site1/file.iso -o "My Renamed File.iso"

- другие опции (-o, -c) похожи на свои аналоги в wget. Комбинируя опции количества потоков и количества источников (как на следующей картинке), можно добится серьезного увеличения скорости скачивания нужного файла.

Ну и, естественно, если вы работаете с торрент-раздачами, обязательно изучите возможности aria2c в этом направлении. Вообще, у меня такое ощущения, что изначально утилита aria2c была предназначена для работы в торрент-сетях, и только потом появились навороченные возможности работы с простой закачкой. Возможно, правду можно узнать на сайте разработчика - aria2.sourceforge.net, а заодно поинтересоваться прикручиванием GUI к этой утилите.

d4x

Самый, вероятно, старый, но довольно милый download manager для linux. Умеет хранить информацию по закачиваемым файлам, сервера, пароли, настройки для каждой закачки или их групп, может качать несколько файлов одновременно, показывать логи работы, сворачиваться в трей, показывать свой статус и тп. Ну, и естественно, выключение компьютера по окончании закачек.

Именно поэтому d4x не просто даунлоадер, но даунлоад менеджер. В d4x даже присутствуют несколько скинов, довольно простых, зато разных :) В любом случае, качать эта штука умеет, напичкана разными полезными опциями и, если вам нужно хранить информацию по своим скачанным файлам или их группам, d4x может оказаться полезным для вас.

aria

Еще один старый download manager для linux. Интерфейс еще более ужасный, чем у d4x. Да, без лишней скромности. Написан, сдается, на старом ужасном gtk1. Зато функционалом не обделен. Умеет все, что умеет делать d4x, запоминать пароли, качать по ftp, группировать сайты или закачки, применять к разным группам свои настройки; но, кроме того, имеет интересную способность разбивать закачиваемый файл на N частей и качать каждую часть отдельно. Полученные куски прозрачно для пользователя сливаются в один нормальный файл. Таким образом получаем странную разновидность качания в несколько потоков.

Инструмент очень и очень хорош, исключая его отвратительный, в буквальном смысле, интерфейс. Если он вас не отвратит :) обязательно попробуйте aria в действии.

Написано libc6 в 19:55

8 Комментарии:

• У всех этих программ, насколько я помню, есть как минимум один большой недостаток – отсутствие интеграции с браузером. Кроме того кажется никакая программа не умеет автоматически сортировать файлы по каталагом: скажем всё с расширением .avi в каталог «видео», а с расширением .iso в «образы».

  By ingolmo, at 24 Октябрь, 2008 00:18

• в firefox надо поставить flashgot и будет интеграция

  By andrey i. mavlyanov, at 24 Октябрь, 2008 05:28

• пользуюсь gwget и не знаю горя. и firefox его видит.

  By zlava, at 24 Октябрь, 2008 06:00

• MultiGet for linux попробуйте :) тоже ничего так

  By dizzy2, at 24 Октябрь, 2008 08:03

• Українська мова, як основна в системі мене завжди трохи (брешу, сильно) напрягала, не дивлячись на те, що живу у Львові. Але українська мова в консолі о_О' імхо це вже занадто (=

  By Анонимный, at 24 Октябрь, 2008 10:25

• 2 Ingolmo
  >>отсутствие интеграции с браузером.
  У них есть интеграция с буфером обмена, уже кое-что.
  
  >>никакая программа не умеет автоматически сортировать файлы по каталагом
  Для меня это сомнительная выгода, но оспорить нечем.
  
  2 andrey i. mavlyanov
  >>надо поставить flashgot
  Во-во. Тоже пользуюсь и отлично себя чувствую.
  
  2 dizzy2
  >>MultiGet for linux
  Выглядит прикольно. Спасибо за коммент!
  
  2 аноним
  >>про украинский
  А мне прикольно :) Единственный недостаток, не находятся пакеты, т.к. не приходит в голову искать по переведенному описанию. А вообще вполне нормально.

  By libc6, at 24 Октябрь, 2008 12:07

• а знает кто-нибуть DM в котором есть адекваный schedule?

  By Grygoriy Mykhalyunyo, at 24 Октябрь, 2008 13:08

• В aria есть start/stop timer, в application settings.
  Не знаю, на сколько это адекватно

  By libc6, at 24 Октябрь, 2008 13:27