Автор Тема: Менеджеры загрузок  (Прочитано 76218 раз)

0 Пользователей и 1 Гость просматривают эту тему.

Оффлайн ek-nfn

  • Местный
  • *****
  • Сообщений: 1422
Re: Менеджеры загрузок
« Ответ #60 : Февраль 15, 2018, 00:12:45 »
Осталось придумать как запускать закачки по ссылкам в заданное время. Можно конечно состряпать скрипты, но это мучительно долго.
У кого-нибудь есть идеи по этому поводу?

Запуск через cron. Использовать wget (поддерживает докачку - если в одну ночь не успел докачать, в следующую докачает). Можно качать по списку url из файла - wget -i files.txt/
Но еще интересней axel.
Во-первых, легчайшая и шустрая;
во-вторых, качает несколькими потоками при помощи множественных соединений (у wget тоже можно организовать многопоточность, но с привлечением команды xargs);
в-третьих, в параметрах можно задать несколько url либо организовать передачу ссылок из файла с помощью cat.
С докачкой не знаю как, использовал лишь пару раз, но понравилось больше, чем wget.

Вечером подготовил файл с нужными ссылками и ушел спать, cron запустит задачу в нужное время и закроет процесс утром.



 
Devuan ASCII x32..x64

Оффлайн FSnow

  • Global Moderator
  • *****
  • Сообщений: 689
Re: Менеджеры загрузок
« Ответ #61 : Февраль 15, 2018, 03:43:35 »
    В uGet есть простенький планировщик.

Оффлайн Пользователь.

  • Редактор раздела
  • *****
  • Автор темы
  • Сообщений: 4639
Re: Менеджеры загрузок
« Ответ #62 : Февраль 15, 2018, 11:22:49 »
Благодарю.

Попробую планировщик в Uget. Еле нашел его там, спрятали в настройки, а не в меню действий.

Оффлайн Пользователь.

  • Редактор раздела
  • *****
  • Автор темы
  • Сообщений: 4639
Re: Менеджеры загрузок
« Ответ #63 : Февраль 16, 2018, 11:35:58 »
Скачал один фильм, ночной трафик уменьшился.

Но куда не ткнись, везде грабли. Система на нетбуке старая, Runtu Gnome 10.04 , там в Uget еще нет планировщика. Запустил системный планировщик, решил что он понимает только короткие команды, поэтому пришлось писать скрипт для скачивания, wget 'ссылка'. Планировщик системы капризный, не с первого раза получилось настроить.

Ссылку на видео брал в онлайн кинотеатре, но у ссылки короткий срок жизни, но вроде успел скачать до завершения её действия. Получается перед сном придется создавать задания.

Осталось проверить результат, сегодня вечером за чашечкой кофе посмотрю фильм в хорошем качестве  :)


Оффлайн ek-nfn

  • Местный
  • *****
  • Сообщений: 1422
Re: Менеджеры загрузок
« Ответ #64 : Февраль 16, 2018, 11:59:43 »
Но куда не ткнись, везде грабли. Система на нетбуке старая, Runtu Gnome 10.04 , там в Uget еще нет планировщика. Запустил системный планировщик, решил что он понимает только короткие команды, поэтому пришлось писать скрипт для скачивания, wget 'ссылка'. Планировщик системы капризный, не с первого раза получилось настроить.
Это crontab капризный? работает как часы, у меня на нем висит с пару десятков цикличных задач, некоторые на годы. В нем есть особенности при работе с gui, например при выводе сообщений через notify-send или zenity, но это особенности, а не глюки.
Axel попробуй, он реально и легче, и шустрее wget за счет многопоточности (по умолчанию 5). Небольшая проблема лишь с передачей ему списка ссылок - насколько помню в списке ссылок не должно быть перевода строки. Что, легко делается, вставляя в конвейер команд операнд замены перевода строки текста файла заданий на пробелы. Ну, или, при заполнении файла заданий писать все в одну строку, разделяя пробелами, что менее удобно.
Devuan ASCII x32..x64

Оффлайн Пользователь.

  • Редактор раздела
  • *****
  • Автор темы
  • Сообщений: 4639
Re: Менеджеры загрузок
« Ответ #65 : Февраль 16, 2018, 23:12:39 »
Капризной была графическая программа для настройки cron.
Теперь сконцентрировался на изучении службы cron, настроил через терминал, проверим сегодня.
А также настроил локальную сеть, чтобы смотреть фильмы на стационарнике с жесткого диска нетбука.
Пока использую wget, мне хватает его скорости (скачать 1 фильм за ночь).

----------

Вчерашний фильм посмотрел, очень доволен  :D

Оффлайн ek-nfn

  • Местный
  • *****
  • Сообщений: 1422
Re: Менеджеры загрузок
« Ответ #66 : Февраль 16, 2018, 23:55:10 »
не надо посторонних настройщиков cron. Есть штатный вариант crontab -e, который запускает редактор по умолчанию (обычно nano, можно сменить). В файле задач cron лучше не городить сложные конвейерные последовательности, а запускать скрипт с названием задачи. А вот в скрипте уже изгаляйся как хочешь. Выбор монитора для отображения gui тоже делать в скрипте, а не в файле задач cron, в файле задач у меня это не работало еще с 14.04, а позднее уже не экспериментировал.
« Последнее редактирование: Февраль 17, 2018, 11:09:23 от ek-nfn »
Devuan ASCII x32..x64

Оффлайн Пользователь.

  • Редактор раздела
  • *****
  • Автор темы
  • Сообщений: 4639
Re: Менеджеры загрузок
« Ответ #67 : Февраль 17, 2018, 14:18:44 »
Почитал я инструкцию по cron, на help,ubuntu.ru, но у Red Hat инструкция написана намного лучше.
http://www.rhd.ru/docs/manuals/enterprise/RHEL-AS-2.1-Manual/custom-guide/cron-task.html

Так что теперь я указал месяц, день, часы, минуты, и путь к скрипту, с переменными мудрить не стал - сделал по шаблону, позже можно поэкспериментировать.

В роли редактора выбрал mcedit, он мне удобнее, много графических функций...

Менеджер загрузок по прежнему wget, простой как палка. У него есть недостатки, название файла обрезал, при проблемах с сетью не будет возобновлять закачку сам.

« Последнее редактирование: Февраль 17, 2018, 14:23:22 от Пользователь. »

Оффлайн ek-nfn

  • Местный
  • *****
  • Сообщений: 1422
Re: Менеджеры загрузок
« Ответ #68 : Февраль 17, 2018, 15:00:11 »
сейчас актуальней не cron и его варианты типа anacron  и т.д., а служба systemd.timer. Но это лишь для ОС, использующих SystemD
Devuan ASCII x32..x64

Оффлайн Пользователь.

  • Редактор раздела
  • *****
  • Автор темы
  • Сообщений: 4639
Re: Менеджеры загрузок
« Ответ #69 : Февраль 17, 2018, 15:02:03 »
На нетбуке в операционной системе Runtu Gnome 10.04 нет SystemD  ;D

Оффлайн ek-nfn

  • Местный
  • *****
  • Сообщений: 1422
Re: Менеджеры загрузок
« Ответ #70 : Февраль 17, 2018, 15:06:51 »
ну я помню, что тебе для реликтовой ОС, поэтому и уточнил.
Кстати, можно и без crontab -e обходиться. например, скачать файл в 12 часов:
echo 'wget http://example.com/file.zip' | at 12:00
Devuan ASCII x32..x64

Оффлайн ek-nfn

  • Местный
  • *****
  • Сообщений: 1422
Re: Менеджеры загрузок
« Ответ #71 : Февраль 17, 2018, 15:45:40 »
wget, простой как палка. У него есть недостатки, .................при проблемах с сетью не будет возобновлять закачку сам.

Бегло пробежался по хэлпу:

-c,  --continue                возобновить загрузку частично загруженного файла
при обрыве связи Wget повторяет попытки дозагрузки самостоятельно и без параметра -c, и только когда он "сдастся" и завершит свою работу, то для возобновления загрузки файла будет нужен этот параметр.

-t,  --tries=ЧИСЛО         установить ЧИСЛО повторных попыток (0 без ограничения)

-T,  --timeout=СЕКУНДЫ         установка значений всех тайм-аутов равными числу СЕКУНД
       --dns-timeout=СЕК         установка тайм-аута поиска в DNS в СЕК
       --connect-timeout=СЕК     установка тайм-аута подключения в СЕК
       --read-timeout=СЕК        установка тайм-аута чтения в СЕК

-w,   --wait=seconds
 
Пауза в секундах между несколькими загрузками (в т.ч. повторами). Это снижает загруженность сервера. Чтобы указать значение в минутах, используйте "m", в часах - "h", в днях - "d" после числа.

    Указание большого значения этого параметра полезно, если сеть нестабильна (например при обрывах модемной связи).
   
    --waitretry=СЕКУНДЫ       пауза в 1..СЕКУНДЫ между повторными попытками загрузки
Устанавливает паузу только между повторами оборвавшихся загрузок. Wget будет ждать 1 секунду после первого обрыва, 2 секунды после второго обрыва загрузки того же файла, и т.д. - до максимума, который указывается в секундах. Например, при значении данного параметра, равного 10, Wget будет ждать в общем (1 + 2 + ... + 10) = 55 секунд для каждого файла.

Это значение указывается по умолчанию в файле wgetrc.
« Последнее редактирование: Февраль 17, 2018, 15:55:27 от ek-nfn »
Devuan ASCII x32..x64

Оффлайн Пользователь.

  • Редактор раздела
  • *****
  • Автор темы
  • Сообщений: 4639
Re: Менеджеры загрузок
« Ответ #72 : Февраль 17, 2018, 15:53:41 »
Меня устраивает результат, спасибо.

Оффлайн Пользователь.

  • Редактор раздела
  • *****
  • Автор темы
  • Сообщений: 4639
Re: Менеджеры загрузок
« Ответ #73 : Февраль 26, 2018, 12:23:22 »
Сейчас мне понадобилось скачать изображения которые выложены на форуме через itmages.ru и itmages.com
Никакой менеджер загрузок не может вытаскивать изображения со старниц.

Команды пробовал подбирать, но не вышло, а вручную это очень долго делать.

Оффлайн ek-nfn

  • Местный
  • *****
  • Сообщений: 1422
Re: Менеджеры загрузок
« Ответ #74 : Февраль 26, 2018, 13:34:53 »
wget же легко позволяет выдергивать с любой страницы сайта и на любую заданную глубину любые файлы с заданным расширением, например jpg, jpeg. Просто тут видимо нужна организация скачивания с доступом к личному кабинету. С этим не экспериментировал.

Еще есть вариант с использованием расширения для FF - save Images. Сначала открываешь вкладки с нужными картинками (хоть 100, хоть 500, насколько хватит памяти компа). затем в расширении нажимаешь кнопку "скачать слева или справа или все картинки". И оно все скачает в указанный каталог и по настройкам фильтра (скажем картинки больше 100 кб или с разрешением не меньше 300 на 500).
там вроде есть функция и скачки по превью. То есть, не надо открывать в отдельной вкладке каждую картинку. Расширение по ссылкам всех превью, находящихся на странице, выкачает все картинки.
« Последнее редактирование: Февраль 26, 2018, 13:45:08 от ek-nfn »
Devuan ASCII x32..x64