Для успокоения нервов простых пользователей, хитрые программисты придумали целый класс утилит, которые помогут вам оставаться в хорошем настроении независимо от размеров сайта и количества у.е., оставшихся на вашей интернет-карточке

Как загрузить сайт целиком: обзор менеджеров закачки сайтов

Любители вебсерфинга знают, как иногда бывает трудно оторваться от страничек какого-нибудь очень интересного портала, где собрано множество полезных данных. И хотя современные технологии кабельного Интернета повсеместно получают все большее распространение, многие до сих пор вынуждены подключаться к Сети с помощью модемов. Тратить деньги на простое чтение может позволить себе не каждый. А прочитать все равно ой как хочется. Или даже использовать для дальнейшей работы.

Что делать? Конечно, можно сохранить несколько страниц на жесткий диск. Но если этих страниц десятки, а то и сотни, и вдобавок сделаны в виде базы данных? Очень скоро вы устанете кликать мышкой на иконке сохранения страницы, а потом просто собьетесь со счету и элементарно запутаетесь.

Для успокоения нервов простых пользователей, хитрые программисты придумали целый класс утилит, которые помогут вам оставаться в хорошем настроении независимо от размеров сайта и количества у.е., оставшихся на вашей интернет-карточке. Эти программы получили название Web-downloaders, то есть те же самые менеджеры закачки, но не для просто файлов, а для всех файлов, находящихся на сервере, включая HTML-документы.

Как всегда, утилит подобного рода можно найти достаточное количество, но зачем тратить время на поиск и установку этих программ? Я расскажу вам о двух, пользующихся наибольшей популярностью среди моих программ на моем домашнем компьютере - Teleport Pro 1.29 и WebCopier 4.0.

WebCopier

Начнем наш обзор с утилиты российского производства - WebCopier. Естественно, программа поддерживает русский язык, для его активации вам нужно зайти в меню Edit/WebCoper options/Language и выбрать русский язык. После этого, разобраться с работой программы для вас будет проще простого.

Для создания проекта, главным участником которого станет интересующий вас сайт, зайдите в меню Файл/Создать и перед вами появится Мастер, где необходимо задать основные опции для успешного закачивания ресурса на жесткий диск. Итак, в первом окне, как и любая вежливая и уважающая себя программа, Мастер приветствует вас "на борту своего лайнера". Нажав на кнопку Далее, вам предлагается задать название для файла, в котором будут сохранены настройки проекта, после чего перейдите к следующему окну. Теперь вам нужно ввести адрес сайта, который хотите скачать. Из трех опций, которые доступны в этом окне, я советую вам выбрать Ввести адрес, набрав его URL, потому что это быстро и надежно, к тому же избавит от необходимости проходить дополнительные уровни, которые совсем не интересны, уж можете мне поверить. (Кстати, зачем автору понадобилось усложнять процедуру ввода адреса, я так и не понял.)

В следующем шаге вы можете ввести логин и пароль, если выбранный ресурс требует авторизации для доступа к своим страницам. Если сайт находится в свободном доступе, то просто оставьте поля ввода пустыми и нажмите кнопку Далее.

Теперь вам необходимо выбрать папку, где будут сохранены файлы, загруженные с сайта. В следующем окне вы можете воспользоваться настройками проекта по умолчанию, либо внести свои изменения. Советую вам выбрать пункт Установите свои настройки, иначе вы можете получить не совсем то, что хотели. Попав на следующий экран вы имеет счастливую возможность загрузить с сайта только то, что вам действительно нужно, а не все подряд. В поле Загружать/Сервер есть две опции: С начального сервера и Со всех серверов. Если вы хотите, чтобы файлы скачивались по ссылкам на другие сервера, то выбирайте вторую опцию, если вам не нужны "чужие" страницы, то первая опция - ваш единственный выбор.

Другая, не менее важная настройка находится в поле Загружать/Папка, где необходимо определить, как именно будут скачиваться страницы: из всех папок или из начальной и ниже. На практике это означает, что вы сохраняете файлы из какого-то определенного раздела сайта или хотите загрузить ресурс полностью, со всеми разделами. И, наконец, вы можете установить количество одновременно загружаемых файлов от 1 до 100. Естественно, максимальное значение позволит "слить" сайт без остатка за несколько минут, но тут есть одна "заковыка". Во-первых, не все сайты позволяют несколько одновременных подключений одного пользователя, во-вторых, ваш компьютер/жесткий диск могут не потянуть такую нагрузку, а, в-третьих, ваш канал связи может не соответствовать максимальному значению этого параметра.

Естественно, для более-менее разбирающегося пользователя этих настроек может не хватить, поэтому для таких смышленых вебсерферов предназначена кнопка Другие, нажав на которую вы попадете в самые недра WebCopier. Как всегда, в большинстве случаев вам не потребуется подробно вникать во все тонкости настройки программы, потому что установки по умолчанию подходят для большинства случаев. Единственное, что вам может пригодится - закладка Фильтры файлов, где можно точно указать какие именно файлы скачивать, а какие нет.

Еще одна опция, которая может пригодиться в дальнейшей работе с уже сохраненным на жестком диске сайтом - закладка Загрузка и поле Обновить Ссылки (для просмотра Offline), настройки которой говорят сами за себя: Не обновлять ссылки, Обновить только ЗАГРУЖЕННЫЕ ссылки и Обновить все ссылки. Чтобы не скачивать сайт заново целиком, практичнее всего воспользоваться второй опцией, которая позволяет быстро загрузить только новые документы, после чего на уже скаченных страницах автоматически меняются ссылки. Это бывает очень удобно, если на интересующем вас сайте документы бывают достаточно объемные как по размеру, так и по смыслу, в которых, как говорится, без "поллитры" не разберешься.

Последнее, что может пригодится в работе с загруженными страницами - в настройках проекта на вкладке Прочие определить, какая структура будет у оффлайнового сайта: все файлы находятся в одной папке или так, как они размещены в оригинале на вебсервере.

И вот, все настройки сделаны - осталось запустить загрузку проекта на жесткий диск. Нажмите на кнопку проигрывания (как на плеерах) или зайдите в меню Проект/Начать Загрузку и все! Ваш сайт начнет загружаться.

WebСopier во время загрузки показывает, какие файлы загружаются в данный момент
Рисунок 1. WebСopier во время загрузки показывает, какие файлы загружаются в данный момент

Если в главном окне программы выбрать вкладку Загрузка, то вы можете наслаждаться процессом скачивания файлов в виде графике скорости, а так же посмотреть на список тех файлов, которые в данный момент обрабатывает программа. На вкладке Браузер можно посмотреть загруженные HTML-страницы как и в обычном браузере.

Teleport Pro

Теперь мы перейдем к моей любимице - утилите Teleport Pro. За что я ее ценю, так это за простоту интерфейса, его логичность, а также большое количество настроек, которые редко где можно найти. Хотя интерфейс у программы и англоязычный, для вас это уже не будет проблемой - большинство опций в этом классе программ одинаково.

Для создания проекта нужно воспользоваться таким же Мастером как и у WebCopier. Для этого зайдите в меню File/New Project Wizard, который помогает настроить проект с помощью наиболее востребованных функций. В отличие от WebCopier, структура Teleport Pro более продумана и вам предлагается воспользоваться именно теми опциями, которые нужны для быстрого запуска проекта. В первом шаге вы выбираете структуру будущего оффлайного сайта, затем вводите адрес ресурса, затем указываете файлы с какими расширениями нужно скачивать и все - Мастер завершил работу и можно запускать проект на исполнение. Как видите и быстрее и удобнее, чем у конкурентов. После сохранения файла проекта, в главном окне можно увидеть только две панели. А большего и не нужно! В левой панели показана древовидная структура сайта в виде папок, а в правой непосредственно сами файлы.

Как ни странно, но в отличие от WebCopier, Teleport Pro имеет только 10 одновременно запускаемых потоков по закачиванию файлов. И это полностью оправданно. Запустить проект на исполнение можно опять же с помощью кнопок "воспроизведение", приостановить проект кнопкой "пауза" и отменить закачивание файлов кнопкой "остановка". Во время загрузки файлов вам не будут показываться ни графики скорости, ни какие именно файлы в данной момент скачиваются, что, однако, нисколько не обделяет вас, а наоборот, не занимает лишние ресурсы компьютера.

Teleport Pro загружает сайт
Рисунок 2. Teleport Pro загружает сайт

Хочу отметить тот факт, что Teleport Pro по умолчанию настроен на более эффективную работу, нежели WebCopier, и это придает этой программе большую удобность и "скорострельность", по сравнению с другими программами. Ведь чем быстрее получишь результат, тем быстрее сможешь им воспользоваться, а в наше время высоких скоростей и огромных объемов информации это наиболее важно.

Типс-трикс

  1. Для сохранения файлов проекты выбирайте тот жесткий диск, где у вас есть много свободного места, потому что при загрузке сайта вы наверняка не знаете, сколько он может занять дискового пространства.
  2. Файлы для загрузки, а именно типы файлов, выбирайте внимательно, иначе, если на сайте много архивов и других объемных файлов, время до окончания проекта будет длиться очень долго и в результате вы можете получить множество ненужной информации.
  3. При выборе способа как именно загружать страницы файлов всегда ориентируйтесь на то, что именно вам нужно с вебсайта. Если вам, например, нужны технические данные только по определенной модели автомобиля, то зачем загружать множество страниц о других марках?
  4. Некоторые сайт не "отдают" страницы в многопоточном режиме, что в результате может привести к тому, что документы будут скачиваться не полностью. Чтобы избежать этого, обязательно посмотрите наиболее крупные загруженные файлы на предмет их полной загруженности. Если оказалось, что "битые" файлы все таки присутствуют, уменьшите количество одновременно скачиваемых файлов до одного, и программа обязательно загрузит их целиком.
  5. В большинстве случаев, копирование структуры сайта более удобно, чем сохранять все файлы в одной папке. Представьте, что вы загрузили сайт с большим количеством графических файлов и документов. Во-первых, вам придется ждать каждый раз, когда будете открывать эту папку, во-вторых, увеличиться фрагментация жесткого диска, а в-третьих, найти нужный файл станет намного труднее. Да и выглядит это не очень аккуратно, потому что все файлы с одинаковыми названиями, получат к своему имени порядковую цифру, что еще больше запутывает.

Посетить страницы WebСopier и Teleport Pro на SOFT@Mail.Ru.

Источник: Богдан Великий