Wget linux что это

Команда Wget в Linux с примерами

GNU Wget — это утилита командной строки для загрузки файлов из Интернета. С Wget вы можете загружать файлы, используя протоколы HTTP, HTTPS и FTP. Wget предоставляет ряд параметров, позволяющих загружать несколько файлов, возобновлять загрузки, ограничивать пропускную способность, рекурсивные загрузки, загружать в фоновом режиме, зеркалировать веб-сайт и многое другое.

В этой статье показано, как использовать команду wget на практических примерах и подробных объяснениях наиболее распространенных параметров.

Установка Wget

Пакет wget предустановлен на сегодняшний день в большинстве дистрибутивов Linux.

Если wget не установлен, вы можете легко установить его с помощью диспетчера пакетов вашего дистрибутива.

Установка Wget в Ubuntu и Debian

Установка Wget на CentOS и Fedora

Синтаксис команды Wget

Выражения утилиты wget имеют следующую форму:

Как скачать файл с помощью wget

В простейшей форме, при использовании без какой-либо опции, wget загрузит ресурс, указанный в [url], в текущий каталог.

В следующем примере мы загружаем tar-архив ядра Linux:

Как вы можете видеть на изображении выше, wget начинает с разрешения IP-адреса домена, затем подключается к удаленному серверу и начинает передачу.

Сохранение загруженного файла под другим именем

Приведенная выше команда сохранит последний zip-файл hugo с GitHub как latest-hugo.zip вместо его исходного имени.

Загрузка файла в определенный каталог

Ограничение скорости загрузки

Следующая команда загрузит двоичный файл Go и ограничит скорость загрузки до 1 МБ:

Эта опция полезна, если вы не хотите, чтобы wget занимал всю доступную полосу пропускания.

Возобновление загрузки

В следующем примере мы возобновляем загрузку iso-файла Ubuntu 18.04:

Если удаленный сервер не поддерживает возобновление загрузки, wget начнет загрузку с самого начала и перезапишет существующий файл.

Загрузка в фоновом режиме

По умолчанию вывод перенаправляется в файл wget-log в текущем каталоге. Чтобы посмотреть статус загрузки, используйте команду tail :

Смена пользовательского агента Wget

Приведенная выше команда wget-forbidden.com Firefox 60, запрашивающий страницу с wget-forbidden.com

Загрузка нескольких файлов

В следующем примере показано, как загрузить iso-файлы Arch Linux, Debian и Fedora, используя URL-адреса, указанные в linux-distros.txt :

Скачивание через FTP

Чтобы загрузить файл с FTP-сервера, защищенного паролем, укажите имя пользователя и пароль, как показано ниже:

Создание зеркала веб-сайта

Если вы хотите использовать загруженный веб-сайт для локального просмотра, вам нужно будет передать несколько дополнительных аргументов команде выше.

Пропуск проверки сертификата

Загрузка на стандартный вывод

Выводы

С помощью wget вы можете загружать несколько файлов, возобновлять частичные загрузки, зеркалировать веб-сайты и комбинировать параметры Wget в соответствии с вашими потребностями.

Источник

Команда Wget в Linux с примерами

Wget Command in Linux with Examples

В этом руководстве мы покажем вам, как использовать команду Wget, на практических примерах и подробных объяснениях наиболее распространенных параметров Wget.

Установка Wget

Пакет wget уже предустановлен в большинстве дистрибутивов Linux.

Если wget не установлен, вы можете легко установить его с помощью менеджера пакетов вашего дистрибутива.

Установка Wget на Ubuntu и Debian

Установка Wget на CentOS и Fedora

Синтаксис команды Wget

Прежде чем перейти к использованию wget команды, давайте начнем с обзора основного синтаксиса.

В wget полезности выражение принимает следующий вид:

Как скачать файл с помощью Wget

В простейшей форме, когда используется без какой-либо опции, wget загрузит ресурс, указанный в [url], в текущий каталог.

В следующем примере мы загружаем tar-архив ядра Linux:

Как видно из рисунка выше, Wget начинает с разрешения IP-адреса домена, затем подключается к удаленному серверу и начинает передачу.

Использование команды Wget для сохранения загруженного файла под другим именем

Команда выше сохранит последнюю файл hugo zip из GitHub latest-hugo.zip вместо его исходного имени.

Использование команды Wget для загрузки файла в определенный каталог

С помощью приведенной выше команды мы сообщаем Wget сохранить ISO-файл CentOS 7 в /mnt/iso каталог.

Как ограничить скорость загрузки с помощью Wget

Следующая команда загрузит двоичный файл Go и ограничит скорость загрузки до 1 Мб:

Эта опция полезна, когда вы не хотите, чтобы wget использовал всю доступную пропускную способность.

Как возобновить загрузку с помощью Wget

В следующем примере мы возобновляем загрузку iso-файла Ubuntu 18.04:

Если удаленный сервер не поддерживает возобновление загрузки, Wget начнет загрузку с начала и перезапишет существующий файл.

Как скачать в фоновом режиме с Wget

По умолчанию выходные данные перенаправляются в wget-log файл в текущем каталоге. Чтобы посмотреть статус загрузки, используйте tail команду:

Как изменить Wget User-Agent от Wget

Приведенная выше команда будет эмулировать Firefox 60, запрашивающий страницу у wget-forbidden.com

Как скачать несколько файлов с помощью Wget

В следующем примере мы загружаем iso файлы Arch Linux, Debian и Fedora с URL-адресами, указанными в linux-distros.txt файле:

Использование команды Wget для загрузки через FTP

Чтобы загрузить файл с FTP-сервера, защищенного паролем, укажите имя пользователя и пароль, как показано ниже:

Использование команды Wget для создания зеркала сайта

Если вы хотите использовать загруженный веб-сайт для локального просмотра, вам нужно будет передать несколько дополнительных аргументов команде выше.

Как пропустить проверку сертификата с помощью Wget

Как скачать в стандартный вывод с помощью Wget

Вывод

С помощью Wget вы можете загружать несколько файлов, возобновлять частичную загрузку, зеркалировать веб-сайты и комбинировать параметры Wget в соответствии с вашими потребностями.

Источник

Использование команды Wget на простых примерах

Утилита wget (или команда wget) предназначена для скачивания файлов, веб страниц и других ресурсов из интернета. Рассмотрим основные возможности команды wget на примерах.

Синтаксис команды wget

Команда wget имеет следующий синтаксис:

В простейшем случае, чтобы скачать файл, достаточно указать URL-адрес:

Указание нового имени файла

Скачивание в фоновом режиме

Скачивание нескольких файлов (по списку)

Скачивание файлов по ссылкам в HTML-документе

Команда wget поддерживает скачивание файлов по ссылкам в HTML-документе. То есть она автоматически находит все ссылки в HTML-файле и скачивает их:

Ограничение скорости скачивания

500k означает 500KB/s.

Продолжение загрузки

Проверка существования файла

Например, чтобы проверить доступность файлов в списке можно использовать команду:

Также можно проверить доступен ли конкретный файл:

Как скачать сайт

Инструкцию по скачиванию сайтов с помощью wget смотрите в отдельной статье: Скачиваем сайты целиком — утилита wget

Скачивание с FTP (указание логина и пароля)

Скачивание с HTTP с указанием логина и пароля

Указание количества попыток

По умолчанию установлено количество попыток — 20. Но если при попытке загрузки файла получена ошибка 404 (файл не найден) или connection refused, то скачивание прерывается.

Ожидание между загрузкой файлов

Указание нескольких опций

В примерах выше мы использовали опции по отдельности. Можно использовать несколько опций в одной команде одновременно, например:

Заключение

Мы рассмотрели только базовые возможности команды wget по скачиванию файлов. Полный список всех опций и их описание можно получить, выполнив в командной строке:

Источник

Изучаем команду wget на 12 примерах

Все мы иногда качаем файлы из интернета. Если для этого использовать программы с графическим интерфейсом, то всё оказывается предельно просто. Однако, при работе в командной строке Linux дело несколько усложняется. Особенно — для тех, кто не знаком с подходящими инструментами. Один из таких инструментов — чрезвычайно мощная утилита wget, которая подходит для выполнения всех видов загрузок. Предлагаем вашему вниманию двенадцать примеров, разобрав которые, можно освоить основные возможности wget.

1. Загрузка одного файла

Если всё, что нужно — это загрузка одного файла, нам подойдёт следующая конструкция:

После ввода такой команды начнётся скачивание Nagios Core. В ходе этого процесса можно будет видеть данные о загрузке, например — сведения о том, какой объём данных уже загружен, текущую скорость, и то, сколько времени осталось до конца загрузки.

2. Загрузка файла и сохранение его с новым именем

3. Ограничение скорости загрузки файлов

Здесь задано ограничение скорости загрузки, равное 500 Кб/с.

4. Завершение прерванной загрузки

Если этот параметр не использовать, то загрузка недокачанного файла начнётся сначала.

5. Фоновая загрузка файла

6. Загрузка нескольких файлов

Выполнение этой команды приведёт к поочерёдной загрузке всех файлов из списка.

7. Увеличение общего числа попыток загрузки файла

8. Загрузка файлов с FTP-сервера

Команда загрузки файла с анонимного FTP-сервера с помощью wget выглядит так:

Если для доступа к файлу требуются имя пользователя и пароль, то команда примет такой вид:

9. Создание локальной копии веб-сайта

Обратите внимание на дополнительные параметры командной строки:

10. Загрузка с сайта только файлов определённого типа

11. Пропуск файлов определённого типа

Итоги

Wget — довольно простая в использовании, но весьма полезная утилита Linux. И, на самом деле то, о чём мы рассказали — лишь малая часть того, что она умеет. Надеемся, этот обзор поможет тем, кто не был знаком с wget, оценить эту программу, и, возможно, включить её в свой повседневный арсенал инструментов командной строки.

Уважаемые читатели! Пользуетесь ли вы инструментами командной строки Linux для загрузки файлов? Если да — просим о них рассказать.

Источник

Как использовать команду Wget

В этом руководстве расскажем вам о команде ОС Linux wget. Покажем вам 12 полезных примеров её использования. К концу руководства вы будете достаточно знать об этой команде и сможете легко качать файлы из всемирной сети интернет.

Прокачайте ваш проект, воспользовавшись скидками на VPS-хостинг в Hostinger! Большой выбор планов, как для учебных, так и для крупных коммерческих проектов.

Что такое команда Wget?

Wget – это инструмент от GNU Project. Его можно использовать для скачивания контента и файлов с различных веб-серверов. Название состоит из комбинации World Wide Web и get. Инструмент поддерживает скачивание по FTP, SFTP, HTTP и HTTPS.

Wget создан на языке программирования C и используется на любой Unix-системе. Его также можно внедрить на Mac OS X, Microsoft Windows, AmigaOS и других популярных платформах.

Как установить Wget?

Для демонстрации работы команды wget мы будем использовать ОС Ubuntu 16.04. Но синтаксис будет одинаков и для других дистрибутивов Linux.

Прежде, зайдите на свой сервер по SSH. Выполните команду для установки wget в вашей системе:

Как только закончится установка, командой можно пользоваться. Конечно же знание базовых команд SSH облегчит вам задачу.

Примеры использования команды

Для ознакомления мы предлагаем 12 примеров использования команды wget, которые пригодятся вам для ежедневных задач. Помните также, что вы можете использовать эти команды в виде скрипта и задач cron!

Как командой Wget скачать один файл

Наиболее распространенным примером использования команды является скачивание одного файла для сохранения его в вашей текущем рабочем каталоге. Например, вам нужно скачать последнюю версию WordPress, для этого:

После запуска команды вы увидите:

В этом примере файл под названием latest.zip будет скачан в текущий рабочий каталог. Вам также предоставляется дополнительная информация, такая как прогресс скачивания, скорость, размер, время и дата.

Как командой Wget скачать несколько файлов

Мы можем взять предыдущий пример и скачать несколько файлов за один раз. Для этого нам потребуется создать текстовый документ и поместить туда URL для скачивания. В этом примере мы запросим последние версии WordPress, Joomla и Drupal. Введите следующее:

Это создаст файл example.txt и откроет интерфейс текстового редактора. Вставьте этот текст туда:

Как только сделаете это, вы можете использовать -i для получения всех файлов, ссылки на которые есть в текстовом файле example:

Дождитесь завершения процесса и у вас будут установочные файлы трёх наиболее популярных систем управления контентом.

Как командой Wget скачать файлы под другими названиями

В этом примере мы сохраним файл, используя другое имя при помощи опции -O:

В этом случае скачанный ресурс будет сохранён под названием wordpress-install.zip вместо оригинального имени.

Как командой Wget скачать файл и сохранить его в специальный каталог

Вы можете скачать файл и поместить его в другом каталоге, используя опцию -P:

Файл, который вы хотите получить появится в каталоге documents/archives/.

Как в команде Wget ограничить скорость скачивания

Вы можете ещё и устанавливать, скорость скачивания. Это полезно, когда вы запрашиваете большие файлы и предотвращает от полного занимания канала. Данный пример применения wget устанавливает лимит в 500k:

Как в команде установить количество повторных попыток

Проблемы подключения к интернету могут привести к прерыванию загрузки. Чтобы этого избежать мы можем повысить количество повторных попыток с опцией -tries:

Как командой Wget скачивать в фоновом режиме

Для файлов особо большого размера может оказаться полезной опция -b. Она установит скачивание в фоновом режиме.

В рабочем каталоге появится wget-log, который может быть использован для проверки прогресса и статуса вашего скачивания. Эта команда тоже будет полезной:

Как командой Wget скачивать по FTP

Команда также применима для работы по FTP. Вам всего лишь нужно указать имя пользователя и пароль, как в примере ниже:

Как продолжить прерванное скачивание

Ваше скачивание прервётся, если потеряется связь с интернетом или произойдёт отключение энергоснабжения. Это достаточно распространённые случаи, когда вы скачиваете что-то большое по размеру. Вместо того, чтобы заново начинать, можно продолжить процесс скачивания используя ключ -c:

Если вы запустите процесс без ключа -c, к новому файлу в конце будет добавлено .1, так как файл с таким названием уже существует.

Как командой Wget скачать сайт

Команду можно использовать для скачивания всего сайта. Это позволит просматривать сайт локально без подключения к интернету. Вот пример:

Давайте разберём пример подробнее:

Как только процесс закончится, вы сможете открыть скачанный сайт локально и найти все файлы в каталоге documents/websites/.

Как использовать команду Wget для поиска битых ссылок

Давайте попробуем кое-что более сложное. Мы может применять команду для нахождения битых URL-ссылок, которые выдают ошибку 404 на конкретном сайте. Начнём с выполнения следующего:

Теперь мы можем изучить файл wget-log для поиска списка битых ссылок. Вот команда для этого:

Как командой Wget скачать пронумерованный файлы

Если у вас есть список файлов или изображений пронумерованные в определённом порядке, вы можете легко скачать их все, используя следующий синтаксис:

Заключение

Поздравляем! Теперь, после проработки этого руководства, вы знакомы с различными вариантами использования команды. Вы можете пользоваться ею для получения одного или нескольких файлов. К тому же, вы ознакомились с некоторыми более сложными вариантами использования этой команды, такими как: скачивание сайта целиком или нахождения битых URL-ссылок. Для более подробной информации обратитесь к официальной документации(англ.).

Может быть у вас есть какие-то советы или уловки, которыми вы бы хотели поделиться? Пишите их в комментариях ниже!

Елена имеет профессиональное техническое образование в области информационных технологий и опыт программирования на разных языках под разные платформы и системы. Более 10 лет посвятила сфере веб, работая с разными CMS, такими как: Drupal, Joomla, Magento и конечно же наиболее популярной в наши дни системой управления контентом – WordPress. Её статьи всегда технически выверены и точны, будь то обзор для WordPress или инструкции по настройке вашего VPS сервера.

Источник