Возможности uTorrent, о которых вы не знали
Интернет
Комментариев нет
Предыдущая статья Следующая статья
uTorrent – один из самых популярных и удобных торрент-клиентов, однако не все используют функционал данной программы по полной. Итак, возможности utorrent, о которых вы не знали.
Как отключить рекламу читайте здесь.
Автоматическое отключение компьютера в uTorrent
uTorrent может отключить ваш компьютер, когда все загрузки будут завершены. Данную функцию удобно использовать при скачивании больших файлов, большого количества файлов, или же при медленном интернет-соединении. Т. е. вы можете поставить файлы на закачку и заниматься своими делами, пойти спать – после завершения всех загрузок компьютер будет автоматически отключен.
Чтобы активировать автоматическое выключение компьютера, выберите в меню «Настройки», затем «Завершение работы Windows», и далее «Выключение по завершении загрузок»:
Кроме выключения, по завершении загрузок компьютер можно перезагрузить, перевести в спящий или ждущий режим, просто завершить работу uTorrent.
Ограничение скорости отдачи и загрузки в uTorrent
Чтобы ограничить скорость раздачи или загрузки, нажмите сочетание клавиш Ctrl+P, или выберите меню «Настройки», «Настройки программы», затем в открывшемся окне «Скорость».
Теперь можно установить максимальные скорости для загрузки и отдачи (0 – без ограничений).
Ограничить скорость отдачи можно в том случае, если у вас не безлимитное интернет-соединение. Если установить ограничение скорости отдачи в 1 кБ, то файлы будут только скачиваться, а раздаваться почти не будут, что поможет существенно экономить трафик. Полностью ограничить отдачу не получится.
Можно установить флажок на пункт «Скорость отдачи, если нет загрузок» и вписать туда 0, а в пункт «Максимальная скорость отдачи» вписать 1. В этом случае во время скачивания торренты не будут отдаваться, скорость скачивания будет максимальной. После завершения всех загрузок ограничения на раздачу действовать не будут.
Ограничить скорость загрузки торрентов может быть полезно в том случае, если во время скачивания вы хотите использовать интернет как-то еще, например, смотреть видео на YouTube, играть в онлайн-игры и так далее. Без ограничений есть вероятность, что uTorrent «заберет» себе весь интернет и на что-то еще его уже не хватит.
Ограничение одновременных загрузок и раздач в uTorrent
Ограничить загрузки и раздачи может быть полезно в том случае, если вы хотите поставить на загрузку большое количество торрентов одновременно. Нажмите сочетание клавиш Ctrl+P, или выберите меню «Настройки», «Настройки программы», затем в открывшемся окне «Очередность». Оптимальное количество 3 – 5 торрентов одновременно. Скорость скачивания в этом случае будет выше, чем если качать сразу все торренты.
Удаленный доступ в uTorrent со смартфона или компьютера
Очень удобная вещь. С помощью удаленного доступа можно управлять программой почти так же, как и непосредственно с компьютера.
Активируется довольно просто. Нажмите сочетание клавиш Ctrl+P, или выберите меню «Настройки», «Настройки программы». Затем в открывшемся окне «Удаленный доступ»:
Отметьте галочкой пункт «Доступ к удаленному uTorrent», задайте имя компьютера и пароль. Пароль желательно использовать надежный. Нажмите «ОК». После этого достаточно зайти с любого устройства по адресу remote.utorrent.com и ввести имя компьютера и пароль.
Так выглядит интерфейс программы удаленного доступа на смартфоне:
Воспроизведение медиафайлов в один клик
uTorrent поддерживает воспроизведение медиафайлов в один клик. После загрузки файла рядом с ним будет находиться кнопка «Play Now». При нажатии на нее медиафайлы открываются в плеере, установленном по умолчанию. Если отсутствует пункт «Воспроизведение», можно его добавить. Для этого нажмите правой кнопкой мыши на любом из параметров, как показано на рисунке.
Затем поставьте галочку напротив пункта
Иногда медиаплеер по умолчанию определяется не тот, какой нужен. Видеофайлы открываются в аудиоплеере, стандартном плеере Windows, или же вообще не открываются. В этом случае программе uTorrent нужно указать, какой плеер использовать. Нажмите сочетание клавиш Ctrl+P, или выберите меню «Настройки», «Настройки программы», затем в открывшемся окне «Воспроизведение». Выберите медиаплеер, с помощью которого uTorrent будет открывать медиафайлы. В случае отсутствия нужного медиаплеера в списке, укажите .exe файл желаемого плеера в настройках uTorrent:
Теперь выберите .exe файл плеера. Примеры, где он может находиться:
Путь для PotPlayer:
C:\Program Files\DAUM\PotPlayer\PotPlayerMini64.exe или C:\Program Files (x86)\DAUM\PotPlayer\PotPlayerMini64.exe
C:\Program Files\DAUM\PotPlayer\PotPlayerMini64. или C:\Program Files (x86)\DAUM\PotPlayer\PotPlayerMini64.exe |
Путь для Media Player Classic, MPC (входит в состав K-lite Codec Pack)
C:\Program Files\K-Lite Codec Pack\MPC-HC64\mpc-hc64.exe или C:\Program Files (x86)\K-Lite Codec Pack\MPC-HC64\mpc-hc64.exe
C:\Program Files\K-Lite Codec Pack\MPC-HC64\mpc-hc64.exe или C:\Program Files (x86)\K-Lite Codec Pack\MPC-HC64\mpc-hc64.exe |
Для остальных плееров аналогично.
Теги:Торренты
Предыдущая статья Следующая статья
Как создать торрент и переслать большой файл.
Общая информация.
В отличие от обычной системы передачи информации через интернет, в которой нужно скачивать весь её объём одним файлом из сервера. Для начала, если информация состоят из группы файлов нужно создать из данных архив. Далее выложить все на файлообменник.
Возможно, при достаточно большом объёме передаваемых данных, придется создать многотомный архив. Для скачивания без ошибок и обрывов связи нужен как минимум стабильный, высокоскоростной интернет. А также дополнительное место под архивы на компьютерах обеих сторон для самой архивации и разархивации.
Вместо файлообменников можно воспользоваться облачным хранилищем. После загрузки файлов дать доступ к нему или расшарить папку содержащую информацию. Все это требует дополнительного времени и осуществимо при относительно небольшом объёме.
Также возможно настроить сеть, создать VPN подключение для удаленного доступа. Настроить систему доступов, позаботится о защите. Такой способ требует дополнительных знаний и времени и не подойдет обычным пользователям.
Альтернативой в такой ситуации может быть передача файлов через торрент сеть. В таком случаи нужно только наличие торрент клиента на обоих компьютерах. Раздающей стороне нужно из совокупности всей информации создать небольшой информационной файлик и отправить принимающей стороне.
Для скачивания присланный файл нужно открыть в торрент клиенте, после обмена технической информации загрузка начнется без участия пользователя. Единственное ограничение, это нельзя перемещать и переименовывать файлы и папки во время обмена, иначе потеряется взаимосвязь между техническими данными раздачи и перемещаемыми объектами.
Поскольку воображение в умах многих людей в отношении торрента всегда заканчивается пиратством, стоит помнить, что этот метод загрузки является одним из наиболее подходящих для отправки больших файлов другим людям. Представьте, что нужно получить проделанную работу агентством с объёмом в 50 ГБ. Отправка через торрент является отличным вариантом, так как передача может быть приостановлена и возобновлена в любое время, а также контролируется целостность данных.
Как создать торрент?
Для создания торрента своими руками необходимо запустить программу торрент клиент и в меню выбрать пункт «Создать новый торрент».
Далее появится диалоговое окно настроек.
При создании торрента состоящего из одного файла нужно нажать «Фаил», при создании торрента с папками, соответственно нужно нажать кнопку «Папка». И указать программе нужный объект.
Также тут представлены и другие настройки. Размер частей рекомендуется ставить в несколько мегабайт, чем будет меньше части, тем больше нужно трафика для обмена технической информации между пирами. Убрать галку с пункта начать раздачу, если нужно включить раздачу позже. Если не нужно загружать торрент на трекер, удаляем запись в соответствующем окошке, все ссылки позже добавятся автоматически. Эти данные обычно перезаписываются на сервере при добавлении торрента. В поле строки исключить, можно удалить из раздачи ненужные файлы и папки. Несколько значений указываются через вертикальную черту «|» в качестве разделителя.
После нажатия кнопки создать, программа пересчитает хеш суму выбранных файлов и создаст файлик с расширением .torrent. Откроется окно предлагающее выбрать имя и место сохранения будущего торрент-файла.
Его сразу можно передавать другому пользователю или загружать на торрент трекер. Для обмена файлами с другими людьми, нужно стоять на раздаче, точнее, не выключать программу uTorrent.
Если раздача будет раздаваться на новом торрент трекере, то после заливки его на сервер в него будет внесена техническая информация сервиса. После чего необходимо обратно скачать его себе и повторно указать в программе uTorrent место расположения папки (файла), где лежат раздаваемые файлы.
Переименовывать или переносить файлы или папки, в которых находится раздача, нельзя, иначе потеряется взаимосвязь между информацией о раздаче и файлами на компьютере.
Загрузка торрента набирает обороты в случаи, когда обнаруживает много источников. То есть, чем больше людей скачивают один и тот же файл, тем быстрее он будет загружен. Она может быть приостановлена и возобновлена в любое время, что очень помогает в нестабильных сетях. Компактный размер файлов .torrent позволяет искать их с помощью телефона через медленные соединения, а используя сеть Wi-Fi или высокоскоростной кабель включать загрузку тяжелого файла.
Как передать торрент без трекера?
настройки DHT торрентИногда нужно в частном порядке передать другому пользователю торрент не используя торрент трекер. Такая возможность существует в новых версиях торрент клиентов. Начиная с конца 2015 года, функция трекера доступна децентрализовано на клиентах, в виде распределённой хеш-таблицы базирующаяся на DHT Kademlia. Чтобы она работала, нужно отметить в настройках пункт «Включить сеть DHT». И во время создания торрент файла, должен быть отмечен пункт «Вкл. DHT для новых торрентов».
Допустим, загрузка на торрент трекер не была выполнена, или не создавалась запись в разделе «Трекеры», хотя положительного эффекту от нее не будет, если файла нет на указанном сайте.
настройки соединение торрентДля передачи файлов другому пользователю достаточно передать ему файлик .torrent, но загрузка не начнется потому что скачивающая сторона не найдет раздающею сторону. Поэтому дополнительно нужно передать свой IP и в некоторых случаях порт.
Как раз именно эту функцию и выполняет сервер на этапе инициализации новых пользователей, он словно знакомит их в сети. IP адрес можно посмотреть в свойствах сети или воспользоваться сервисами, такими как 2ip.ua или 2ip.ru. Порты в программах обычно одинаковые по умолчанию, но указать нужный будет не лишним, особенно если используются разные программы. Посмотреть какой порт можно в настройках на вкладке соединение.
Принимающая сторона должна на выбранном торренте добавить во вкладке «Пиры» новое подключение. Для этого нужно во вкладке «Пиры» нажать правой кнопкой мыши на пустом месте, и во всплывающем меню нажать пункт «Добавить пир…». В диалоговом окне указать IP адрес и порт пользователя с нужными файлами.
Также, одним из способов передать торрент является «magnet url». Для передачи файлов через ссылку, нужно после создания торрента нажать по раздаче правой кнопкой мыши, и в выпадающем меню из списка выбрать пункт «Копировать Magnet URL». Далее отправить ее скачивающему пользователю.
После чего для начала скачивания, принимающая сторона из меню «Файл», в пункте «Добавить торрент из URL» должна указать данную ссылку. Далее, передача данных должна начаться как при обычном способе.
Торрент без программы клиента.
Стоит упомянуть о дополнительных возможностях использовать вместо торрент клиента браузер через технологию WebTorrent. Для обмена данными в пиринговых сетях используется WebRTC. Такое средство хоть и существует, но на практике работает только при соблюдении ряда условий и весьма нестабильно. Также есть облачные хранилища с поддержкой торрентов. Но в бесплатном режиме использования, слишком ограничены количеством вмещаемой информации и подойдут только для маленьких раздач.
как создать раздачу на торренте
Теперь обсудим как создать раздачу на торренте и для чего это нужно. После того, как вы скопируете информацию из p2p-сетей, рекомендуется поделиться скопированным материалом с другими пользователями этих сетей. Для того, чтобы выполнить эту операцию, вы можете использовать любой торрент-клиент.
Как создать раздачу на торренте: инструкция
В первую очередь, чтобы запустить процесс скачивания файла в указанных сетях, необходимо установить предпочитаемый торрент-клиент. В настоящее время уже создано несколько десятков таких программ, при этом использование каждой из них отличается своими плюсами и минусами.
В любом случае следует помнить, что скорость возврата и копирования материалов от клиента не зависит, так как скорость соединения в силах ограничена только провайдером. Далее на сайте, с которого вы скопировали нужный файл, нужно выбрать функцию загрузки. Перед тем, как поставить торрент на раздачу, следует запустить выбранный файл с помощью торрент-клиента.
На практике
Далее рассмотрим порядок действий на конкретных примерах. Особое внимание будет уделено вопросу, как создать раздачу на торренте с помощью приложений Vuze и Utorrent. Функциональность обоих клиентов аналогична. После того, как сохраненный файл будет запущен через Utorrent (расширение торрента), вы увидите специальное окно, в котором нужно указать расположение файлов, если они были скачаны.
На данный момент существует несколько отдельных редакций программы, они имеют разный функционал. Например, версия 1.8 (и выше) содержит более функциональный файловый менеджер: файлы и каталоги можно выбирать отдельно.
Если говорить о более ранних версиях, то в них такой возможности нет, и пользователю необходимо выбирать папки и файлы с помощью единого общего списка.
После создания сделки нажмите OK. В течение одной-двух минут система будет проверять, соответствуют ли файлы, находящиеся на жестком диске, указанным в торренте. После того, как напротив строки интересующей вас раздачи появится надпись «Больно», выключите приложение Utorrent. Вы можете раздавать файлы другим пользователям даже в фоновом режиме.
Возможности Vuze
Далее разберемся, как настроить торрент для раздачи с помощью приложения Vuze. В главном окне программы нужно открыть верхнее меню под названием «Файл», в котором получить доступ к пункту «Открыть». Далее в появившемся окне выберите торрент-файл, а затем нажмите кнопку «Открыть».
На следующем этапе нажмите кнопку «Обзор», затем выберите каталог или файл для распространения. Затем нажмите OK, чтобы закрыть окно. В том случае, если вы видите диалоговое окно, в котором идет речь о подтверждении замены файлов, следует также нажать ОК или клавишу Enter.
Торрент-раздача фильмов
Несомненно, обмен фильмами – явление постоянное. Как правило, пользователи скачивают большие файлы с помощью торрент-клиентов. Однако, как уже было сказано, торрент-система предполагает, что пользователь будет не только забирать, но и выдавать информацию. Если вы стали обладателем интересного фильма, не поскупитесь, поделитесь шедевром с другими пользователями сети.
Для этого необходимо зарегистрироваться на трекере и очень внимательно прочитать правила. Посмотрите, какие фильмы уже есть. Многие сайты запрещают распространение того материала, который уже присутствует на указанном сервисе. Следует отметить, что вы несколько облегчите задачу другим пользователям, если решите некоторое время не удалять скачанный фильм, а также торрент-файл из каталогов, в которых сохранялось содержимое торрента.
Рассмотрим более амбициозную ситуацию. Вы решили предоставить другим пользователям фильм, который ранее никем не распространялся на указанном сайте. Для этого откройте торрент-клиент. Создайте торрент-файл. Далее нужно найти в меню пункт «Файл» и перейти в строку «Новый». Перед тем, как открыть меню, в нем есть окно под названием «Выбор источника». Вам это нужно. Далее все по инструкции.
Теперь вы знаете, как создать раздачу на торренте. Удачи!
BitTorrent для распространения пакетов на предприятии
eBay изучает потенциальные преимущества внедрения технологий одноранговой передачи в топологию нашей сети. Мы начали использовать BitTorrent для распространения индексов, а вскоре будем использовать его и для распространения сборок. В этом посте мы обсудим наш опыт работы с BitTorrent и проблему распространения пакетов в корпоративной среде. Типичными корпоративными требованиями являются репликация пакетов среднего и большого размера (от нескольких мегабайт до нескольких гигабайт) на большом количестве целевых узлов с высокой надежностью передачи и часто в жестких временных рамках.
- Развертывание версий программных пакетов
- Разветвление пакетов данных по распределенным сетям для последующей обработки
О BitTorrent
BitTorrent (BT) — это популярный одноранговый (P2P) транспортный протокол, который обычно используется в Интернете для передачи таких пакетов, как аудио-, видеофайлы и наборы данных. Согласно всестороннему исследованию интернет-трафика в восьми регионах мира за 2008-2009 гг., BitTorrent-трафик составляет не только львиную долю всего P2P-трафика, но и значительную часть (20-30% и более) всего интернет-трафика. BT хорошо работает благодаря распределенному характеру передачи между узлами; поскольку одному серверу или нескольким серверам не нужно передавать данные на все узлы сети, BT эффективен для распространения больших пакетов на большое количество узлов.
BT разбивает пакеты на части, которые совместно используются одноранговыми узлами.
Трекер поддерживает и предоставляет список пиров, заинтересованных в конкретном пакете. Пир сначала действует как клиент. Как только он получает полный фрагмент, он действует как сервер для этого фрагмента. Одноранговый узел обнаруживает других одноранговых узлов с помощью одного или нескольких средств отслеживания. Информация о трекерах, фрагментах и их контрольных суммах хранится в файле «.torrent», который обычно составляет часть общего размера файла. Прежде чем можно будет инициировать передачу BT, файл «.torrent» распространяется среди одноранговых узлов с использованием HTTP, SCP или других средств клиент/сервер. Спецификация BT и детали протокола описаны на сайте theory.org.
Техника P2P, особенно протокол BitTorrent, хорошо изучена. Было обнаружено, что двумя ключевыми стратегиями для эффективной репликации контента BT являются выбор фрагмента и выбор однорангового узла (см. статью 2006 г. «Сначала самые редкие» и «Достаточно алгоритмов дросселирования»). BT использует сначала самый редкий в качестве стратегии выбора фрагмента, а алгоритм удушения — в качестве стратегии выбора одноранговых элементов.
Самая редкая первая стратегия, как следует из названия, предполагает, что одноранговые узлы выбирают самую редкую часть для передачи. Стратегия удушения основана на честности, скорости и взаимности загрузок.
Проблема распространения контента также изучалась с теоретической точки зрения (см. Оптимальное планирование однорангового распространения файлов). Ниже описаны оптимальные варианты распределения, сравнивающие производительность при использовании механизма клиент/сервер и P2P-передачи.
| Протокол | Время передачи |
| Клиент/сервер | т*Н |
| P2P с одной деталью | т + т * бревно 2 (Н) |
| P2P с несколькими элементами | т + т * бревно 2 (Н) / Р |
где:
N = количество узлов
R = количество частей, на которые разбит пакет
t = время передачи полного пакета с одного узла на другой
BitTorrent в корпоративной среде
BitTorrent в ограниченной степени использовался в крупных веб-сервисах для распространения файлов.
Facebook использует его для обмена файлами, а Twitter — для развертывания кода.
Протокол BitTorrent разработан для масштабирования Интернета с медленными, ненадежными, удаленными и жадными клиентами при наличии ограничений интернет-провайдера. Распределения в стиле BT желательны в корпоративных средах, где необходимо передавать большие наборы данных увеличивающегося размера на большое количество узлов. В некотором смысле проблема передачи данных (разветвления) внутри центра обработки данных упрощается при наличии надежных, управляемых, быстрых узлов с малой задержкой. Однако требования к предсказуемости, масштабируемости, управляемости и эффективности в таких средах выше.
Теперь мы переходим к параметрам оптимизации, помимо обычных передач BT, для повышения эффективности и предсказуемости
Конфигурация
Общая конфигурация BitTorrent разработана для масштабирования Интернета с медленными и ненадежными клиентами. Эту конфигурацию можно адаптировать для лучшей работы в корпоративной среде с однородными клиентами.
Параметры загрузки и выгрузки и размеры фрагментов могут быть адаптированы для повышения скорости передачи и надежности в корпоративной среде. Стратегия «око за око» как часть алгоритма дросселирования, регулирования и шифрования полезной нагрузки может не понадобиться в корпоративных средах.
Выбор одноранговых узлов
При распределении частей между одноранговыми узлами целесообразно выбирать наиболее близкие одноранговые узлы. В корпоративных средах топология сервера может быть доступна заранее и легко использоваться в алгоритме для выбора ближайших соседей. Мы обнаружили, что близость IP-адреса часто может использоваться в качестве разумного приближения.
Передачи между центрами обработки данных
Когда топология распределения распространяется на несколько центров обработки данных, полезно ограничить передачи между центрами обработки данных из-за ограничений пропускной способности — ограниченной и/или дорогой пропускной способности.
Наивный подход к сокращению количества передач между центрами обработки данных состоит в том, чтобы выполнять их в два этапа. Первым шагом является передача пакета на один или несколько узлов в каждом центре обработки данных. Второй шаг — инициировать передачи BT в каждом центре обработки данных, чтобы передача пакета происходила между начальными узлами и остальными узлами в этом центре обработки данных — по сути, один сеанс передачи BT на каждый центр обработки данных. Эта двухэтапная схема увеличивает общее время передачи. Выбор пиров на основе близости IP-адресов может быть эффективным способом выполнения передачи за один шаг, когда все узлы участвуют в торрент-сеансе.
Этапы передачи пакета
Если исходный пакет находится в HTTP, HDFS или пользовательском хранилище, распространение BT требует последовательного выполнения следующих шагов: которые необходимо выполнить, — это загрузка из хранилища пакетов, создание файла «.torrent» (при условии, что он не был создан ранее) и заполнение пакета.
Каждый шаг требует последовательного чтения или записи данных. Обычно оказывается, что время, затрачиваемое на эти шаги, сравнимо с фактическим временем загрузки.
Поскольку необходимо последовательно выполнить несколько этих шагов, лучший способ упростить распределение — полностью исключить некоторые из них.
Веб-заполнение
Веб-серверы на основе HTTP обычно используются для размещения пакетов. Клиенты подключаются к одному или нескольким из этих серверов для загрузки пакета. Даже при использовании BT исходный файл «.torrent» обычно загружается с HTTP-сервера. Файл «.torrent» содержит метаинформацию о пакете, включая расположение трекеров и контрольные суммы по частям.
Веб-заполнение — это попытка разместить пакеты на веб-серверах, чтобы их можно было использовать для заполнения. Этот метод позволяет избежать необходимости в отдельном процессе раздачи BT, поскольку веб-серверы могут использоваться как раздаточные устройства для размещенного контента.
Сеть BitTorrent имеет две разные и несовместимые спецификации. Спецификация BitTornado основана на пользовательской схеме URL-адресов для загрузки определенных фрагментов. Спецификация GetRight основана на базовом механизме загрузки HTTP 1.1, использующем обслуживание байтов (запросы диапазона байтов).
Мы считаем, что метод обслуживания байтов HTTP более удобен, так как он просто требует размещения пакетов за сервером, совместимым с HTTP 1.1. Мы рекомендуем размещать файл «.torrent» и пакеты на одном сервере. Файл «.torrent» может быть создан одновременно с созданием исходного пакета, что позволяет избежать необходимости в отдельном шаге для его создания позже во время передачи BT. В данной схеме сеялки БТ не используются; вместо этого клиенты BT используют запросы диапазона HTTP для загрузки фрагментов с веб-сервера. Как только один или несколько пиров получают часть, происходит распределение этой части между пирами без запроса к HTTP-серверу. Обратите внимание, что эта схема требует, чтобы клиенты BT поддерживали протоколы BT и HTTP.
Вот краткое изложение преимуществ использования веб-заполнения:
- Пакеты, размещенные на HTTP-сервере, можно использовать как для HTTP-, так и для BT-транспорта. Веб-заполнение позволяет передавать пакеты HTTP с использованием протокола BT; при распределении на несколько узлов транспорт HTTP работает хорошо.
- Для заполнения BT требуется дополнительный шаг (шаги) загрузки пакета (если загрузчик отличается от хранилища пакетов HTTP), а затем его заполнение до того, как можно будет инициировать передачу BT. Как объяснялось выше, веб-заполнение позволяет избежать этих шагов и экономит время.
- Когда у нас есть большое количество пакетов, любой из которых может быть загружен с помощью BT, для обслуживания через BT-заполнение требуется постоянно активный загрузчик, что означает наличие отдельного процесса заполнения (процесса или потока для каждого пакета). Даже когда передачи неактивны, эти процессы или потоки должны быть запущены. Напротив, транспорт HTTP не требует никаких действий, когда загрузка пакета не происходит.
- При традиционном заполнении BT сеялка периодически связывается с средством отслеживания о своем статусе и ходе выполнения, чтобы в журналах средства отслеживания можно было получить данные об использовании сети, времени, затрачиваемом узлами, и другие сведения о передаче пакетов. Если сеанс заполнения BT остается активным для поддержки любых будущих загрузок BT, он продолжает обмениваться данными с трекером независимо от того, есть ли какие-либо действия по загрузке. В результате накладные расходы на связь и загроможденные журналы. Веб-заполнение позволяет избежать этих недостатков, поскольку не требует связи с трекером.
Заполнение на основе HDFS
Hadoop и HDFS становятся все более популярными в корпоративных средах для хранения больших файлов данных. В HDFS большие файлы данных разбиваются на несколько блоков, копии которых хранятся на нескольких узлах для обеспечения надежности и отказоустойчивости (размер блока по умолчанию — 64 МБ).
Распространение пакетов, размещенных в HDFS, может заимствовать идеи из подхода веб-заполнения, поскольку HDFS поддерживает извлечение произвольных частей пакетов.
Файл «.torrent» может быть сгенерирован параллельно, при этом контрольные суммы частей вычисляются как задача map/reduce. Чтобы задача map/reduce работала эффективно, размер фрагмента BT можно выбрать таким образом, чтобы один или несколько фрагментов BT соответствовали одному блоку HDFS. Эта стратегия помогает с генерацией торрентов и распространением BT, поскольку фрагменты BT не будут появляться в блоках HDFS.
Использование заполнения на основе HDFS имеет следующие преимущества (некоторые из которых аналогичны преимуществам веб-заполнения):
- Исходный пакет может храниться на узлах HDFS. Для его загрузки на одном узле сеялки требуется загрузка и агрегация блоков HDFS перед раздачей BT. Этого шага можно избежать с помощью заполнения на основе HDFS.
- Заполнение BT проходит через весь пакет, проверяя контрольные суммы перед заполнением. Подход заполнения на основе HDFS позволяет избежать последовательного чтения большого пакета и обеспечивает постоянное заполнение.
- Использование традиционного заполнения BT с большими пакетами HDFS требует хранения нескольких версий пакетов на узлах заполнения и, следовательно, дополнительного учета, управления пространством и очистки. Заполнение HDFS позволяет избежать этих накладных расходов.
Работа с дельтами
Если у клиентов есть более ранняя версия пакета с частично перекрывающимся содержимым, повышения эффективности можно добиться за счет загрузки меньшего количества этого пакета. Алгоритм rsync является одним из наиболее часто используемых методов работы с дельтами пакетов. Этот алгоритм использует комбинацию сильных и слабых контрольных сумм для определения дельт. Модифицированная схема, называемая zsync, используется для вычисления дельты распределенным образом. Схема zsync хорошо работает с HTTP 1.1 и запросами диапазона байтов. Мы предлагаем комбинацию BitTorrent и zsync как способ передачи пакетов с перекрывающимся содержимым.
Поскольку у клиентов могут быть разные версии пакета, каждый клиент идентифицирует и повторно использует общие части пакета, используя небольшие файлы «.
zsync», которые содержат слабые и сильные контрольные суммы. При использовании zsync в сочетании с протоколом BitTorrent клиент может загрузить измененную часть от других узлов, если узлы содержат часть. Если другие одноранговые узлы не содержат фрагмент, клиент может по умолчанию использовать веб-заполнение и использовать диапазон байтов HTTP 1,1 для загрузки этого фрагмента из источника.
Количество перекрытий между версиями пакета будет зависеть от формата пакета, а также изменений по сравнению с более ранней версией пакета. Производители пакетов, вероятно, знают, ожидается ли такое совпадение. Наличие файла «.zsync» может указать, следует ли сканировать предыдущую версию пакета для определения перекрытия. При отсутствии файла «.zsync» клиент BT может вернуться к случаю, когда нет общих частей с предыдущей версией.
Результаты теста BitTorrent
Чтобы оптимизировать время передачи, мы провели серию экспериментов с использованием небольшого кластера из 16 узлов.
Обсуждаемые ниже результаты получены в среде центра обработки данных с быстрым подключением (1 Гбит/с) между узлами с малой задержкой (менее нескольких миллисекунд). Мы использовали BitTornado для наших экспериментов. Одноранговые узлы однородны, на них работает одна и та же версия клиента BT с идентичными конфигурациями.
В этой первой таблице показано фактическое и теоретическое время, необходимое для передачи пакета объемом 30 ГБ при изменении количества узлов:
| Количество узлов | Теоретический клиентский сервер ( минут) | Максимальное теоретическое значение P2P (минуты) — B | Фактическое время передачи (минуты) – A | Соотношение (Б/А ) |
| 1 | 4 | 4 | 11 | 0,36 |
| 2 | 8 | 4 | 12 | 0,33 |
| 3 | 12 | 4 | 13 | 0,31 |
| 4 | 16 | 4 | 13,5 | 0,30 |
| 6 | 24 | 4 | 16 | 0,25 |
| 8 | 32 | 4 | 16 | 0,25 |
| 16 | 64 | 4 | 17 | 0,24 |
Теоретическое время рассчитывается по формулам, описанным ранее, при t = 4 минуты и R = 3840.
Фактическое время — это время, необходимое для получения всеми узлами полного пакета.
Теоретическое время работы клиента/сервера линейно увеличивается по мере увеличения количества узлов. Теоретическое лучшее время P2P постоянно и равно 4 минутам. Данные показывают, что фактическое время передачи лучше, чем теоретическое время клиента/сервера, когда количество узлов превышает 3-4. Хотя фактическое затрачиваемое время увеличивается по мере увеличения количества узлов, скорость роста уменьшается.
Соотношение между теоретически лучшим и фактическим временем показывает эффективность передачи по сравнению с теоретически лучшим. Соотношение и, следовательно, эффективность уменьшается по мере увеличения количества узлов — с 36% до 24% при увеличении количества узлов с 1 до 16. Низкая эффективность предполагает потенциальные улучшения за счет оптимизированной реализации BitTorrent или использования других схем P2P. .
В следующей таблице показано время, затрачиваемое на различные этапы загрузки и передачи пакета объемом 30 ГБ в кластер из 16 узлов:
| Шаг # | Ступенька | Затраченное время (минуты) |
| 1 | Загрузка HDFS | 6 |
| 2 | Генерация торрентов | 6 |
| 3 | Посев | 6 |
| 4 | Передача пакета | 17 |
Время фактической передачи пакета (шаг 4) сравнимо с суммарным временем трех предыдущих шагов.
Заполнение через Интернет или заполнение на основе HDFS позволит избежать шагов 1 и 3. Шаг 2 можно выполнить во время создания пакета или как задачу сопоставления/уменьшения для пакетов HDFS. Поскольку шаги с 1 по 3 выполняются последовательно, заполнение на основе HTTP или HDFS может дать существенные преимущества для передачи пакетов.
На следующем графике показано количество разделяемых частей, которое происходит в рое из 16 узлов. Изображенные данные берутся из журналов трекера в конце передачи BT.
Цифры загрузки не очень интересны, так как каждому узлу нужен весь пакет. Таким образом, загрузка составляет 100 % для пиров и 0 % для сидера.
Объем загрузки различается между сеялкой и пирами. Сидер должен загрузить все фрагменты хотя бы один раз, поэтому его загрузка будет 100% или более. Результаты показывают, что загрузка сеялки чуть превышает 100%, в то время как загрузка одноранговых узлов колеблется от 75% до 125%. Таким образом, все одноранговые узлы участвовали в загрузках, так что первоначальный сидер не загружал непропорционально большое количество байтов пакета.