Экономия Трафика.

[Гость Бруно]

для начала немного ликбеза по Gzip

 

Gzip (GNU zip) это утилита сжатия информации, работает с файлами с расширением *.gz, для декомпрессии используется библиотека zlib.dll. Применяется на Unix-серверах для передачи информации от сервера клиенту (браузеру) в компрессированном виде. При передаче по каналу связи сжатой информации существенно уменьшается ее количество и, следовательно, пропорционально повышается скорость ее передачи. Информация, передаваемая браузеру, в большинстве случаев представляет собой текстовый файл – HTML-код страницы, хорошо поддающийся сжатию. Сжатие текстовой информации может достигать десятков процентов и позволяет получить соответственное снижение траффика и увеличение скорости. Степень сжатия зависит от содержания страницы. Если на странице много плохо сжимаемого контента, например графики, то эффективность сжатия будет ниже. Следует заметить что не все сайты настроены для передачи сжатого контента, например, сервер narod.ru сжимать не умеет. Правда там размещены домашние странички, для объема которых сжатие не очень существенно. В основном же, практически все сайты уровнем чуть выше домашних страниц, работают на серверах, поддерживающих gzip-сжатие. А таких в сегодняшнем Интернете по моим наблюдениям свыше 90%.

 

В среднем, вы в любом случае получите больший или меньший, но все еще положительный эффект. Потенциальную эффективность сжатия какой-либо конкретной страницы можно проверить на сайте http://www.whatsmyip.org/mod_gzip_test/, введя в поле “Enter the Address of a Page to Test:” адрес интересующей страницы.

 

Почти все программное обеспечение серверов позволяет использовать этот алгоритм и, как правило, соответствующие настройки включены по умолчанию и не требуют дополнительных операций. Все современные браузеры ( еще с конца прошлого века ) поддерживают прием сжатой информации, ее декомпрессию «на лету» и вывод в файл и на экран. В общем случае, браузеры используют gzip по умолчанию, однако из-за частого применения разнообразных программ, дополняющих каким-то образом функциональность браузера, использование сжатия может быть отключено. В этом случае по каналу связи будет передаваться несжатые данные со всеми вытекающими последствиями.

 

Механизм взаимодействия сервер-клиент заключается в передаче браузером серверу запроса на передачу ему информации в сжатом виде. В заголовок запроса браузера при этом вводится строка

Accept-encoding: gzip, deflate

Получив такой запрос, сервер производит сжатие и передачу запрошенного файла обратно, указав об этом строкой

Content-Encoding: gzip

Полученная сжатая информация декомпрессируется браузером, записывается во временный файл и выводится на экран.

 

Далее я не буду вникать в особенности работы сервера, влияния на него со стороны клиента-браузера нет уже никакого, да оно и не нужно. А вот в работе браузера надо проверить что запрос на передачу gzip действительно отправляется. Без такого запроса сервер просто не узнает что браузер готов обработать gzip и отправит файл без сжатия. Обычно браузеры не показывают служебную информацию и поэтому такая проверка несколько затруднительна, но мы найдем выход из положения.

Проверки и тесты

 

Проверить наличие запроса от браузера на сжатие можно просто посмотрев заголовки обмена служебной информацией. Проблема в том, что встроенных инструментов для этого у браузеров нет и надо использовать сторонний софт. Для такой маленькой задачи ставить отдельную программу мало смысла. Проще воспользоваться простым скриптом который предоставили администраторы форума Ру-борд для просмотра заголовков. Если в показанном заголовке вы увидите в районе 4-й строки запись

HTTP_ACCEPT_ENCODING => gzip, deflate

то ваш браузер отправляет нужный запрос и почти с полной вероятностью можно сказать что все в порядке. В этом случае дальше эту статью вы можете не читать.

Ну а если такой строки нет, то значит вы можете сильно съэкономить на траффике, найдя и устранив проблему. Аналогичный тест отправляемого запроса можно проделать на сайте seolab.ru. И гораздо более наглядную проверку можно произвести на нашем форуме. Внизу страницы есть индикатор работы gzip, зеленый или красный. Если вам показан красный, то есть смысл щелкнуть по нему и попасть в тему, где мы обсуждаем возникающие проблемы и ищем способы их решения.

 

Практический тест изменения скорости можно проделать с использованием интересного сервиса он-лайн ускорителя WebWarper.net. В основе этого сервиса лежит «насильное» использование gzip-сжатия. Для использования этого сервиса следует ввести интересующий вас адрес сайта не в адресной строке браузера, а в строке на указанной странице. При этом ваш запрос несжатого файла будет направлен сервису WebWarper а он перенаправит его далее, на интересующий сервер, с поправкой : «дайте мне сжатый файл». Сервер честно сожмет и отдаст файл WebWarper-у, а тот передаст его вам. Правда, кое-что вырежет и добавит рекламки от себя. Этот сервис имеет также дополнительные функции – анонимность и антивирусная защита, но это уже вне рамок данного исследования. В общем, можно сказать что результаты теста WebWarper-a будут довольно близки к тому, что вы можете получить после включения gzip. Их можно посмотреть на этой странице. Погрешность вызвана тем, что путь запроса и файла будет искривлен необходимостью прохождения через дополнительную промежуточную точку. И второе, та самая личная добавка WebWarper-a тоже, собственно, лишняя. Но эту добавку можно в принципе и не получать если использовать программу Proxomitron со специальными фильтрами, это имеет смысл если вы решите пользоваться этим сервисом постоянно, а мы туда зашли проделать только один короткий тест.

 

Иногда такой простой тест не удовлетворяет любопытства и хочется узнать – а насколько же все-таки реально сжимается файл? Для сравнительно точного измерения я предложу применить программу Crystal Internet Meter. Это программа для измерения скорости передачи данных, в ней нас интересует возможность измерения объема переданной информации по секундомеру.

 

Надо нажать Add new для запуска таймера и по окончании загрузки страницы после полного рефреша через Ctrl-F5 выделить работающий таймер и нажать Stop. После того как добьетесь состояния “gzip ON” – повторить тот же замер. Для чистоты эксперимента все остальные потребители траффика должны быть отключены. Кстати, на рисунке отображена загрузка главной страницы нашего форума с выключенным и включенным gzip.

 

Итак, я вас убедил что gzip вам просто жизненно необходим и вы решили эту ошибку исправить.

Проблемы и решения

 

Вы обнаружили наличие проблем и надо срочно заняться их устранением. Часть из них уже решена, источники найдены и ниже приводятся проверенные способы.

 

1. В браузере IE и на нем надстроенных ( типа очень популярного Maxthon ) надо проверить что в настройках Internet Options -> Advanced установлены птички в полях Use HTTP 1.1 и Use HTTP 1.1 through proxy connections. В браузере IE 5.5 следует исправить баг обновлением Q313712; В браузере IE 6.0 аналогичный баг устранен с выходом сервис пака SP1 Q312496.

 

2. Если вы используете файрвол Outpost Firewall, то скорее всего, gzip отключен. Связано это с тем, что у Outpost-a есть модули подавления рекламы, и фильтры содержимого. Эти модули вырезают из страниц ненужный код но могут правильно обрабатывать только несжатые файлы. Поэтому, для обеспечения их работы, Outpost просто вырезает из отправляемых запросов браузера просьбу на сжатие файла. Об этом указано в FAQ Outposta (англ.) и Базе Знаний неофициального форма Outposta; эту информацию я процитирую полностью :

Почему Agnitum Outpost Firewall отменяет сжатие страниц (gzip)?

На многих Форумах, конференциях и статьях появилась информация о том, что после установки программного продукта Agnitum Outpost Firewall отменяется сжатие веб-страниц. Да, действительно браузеры могут запрашивать данные от Web серверов в «сжатом» виде, включая поле HTTP следующей формы в запрос: “Accept-Encoding: gzip”. Страницы приходят не в виде обычного текста, а в специально закодированном сжатом формате. Agnitum Outpost Firewall не поддерживает расшифровку сжатых страниц во время прохождения пакета, поэтому он отменяет сжатие, удаляя поле “Accept-Encoding: gzip” из каждого запроса браузера. Также, обращаем внимание, что на многих сайтах появились рекомендации и описания насильного включения gzip изменением в реестре Windows значения ключа. При этом указывалось, что никакое изменение в работе Agnitum Outpost Firewall не происходит. Данное утверждение неверно. Это заблуждение. Необходимо знать, что отключение gzip необходимо для правильной работы Agnitum Outpost Firewall совместно с абсолютно всеми браузерами и web-страницами, тем самым не понижая уровень безопасности системы.

Если вы хотите разрешить сжатие, наберите Regedit в командной строке и установите значение ключа “Enablegzipencoding” в: HKEY_LOCAL_MACHINE\SOFTWARE\Agnitum\Outpost Firewall на 1. Помните, что в этом случае для сайтов, использующих сжатие, не будут функционировать модули Рекламы, Содержимого и Интерактивных элементов.

Также, в этом случае официальная техническая поддержка Agnitum Outpost Firewall гарантироваться не будет.

 

То есть, с одной стороны, он экономит траффик за счет вырезания рекламы и делает систему более безопасной за счет вырезания активного контента, а с другой – теряет всю экономию и, возможно, гораздо больше, из-за передачи несжатых страниц. Здесь вам самому придется решить что для вас более важно, трафик или безопасность. Я только отмечу что функции модулей, требующих отмены gzip можно переложить на другие программы. И еще, добавлю, что у меня gzip включен и я об этом пока не жалею.

 

3. Программа вырезания рекламы AdMuncher поступает также как Outpost и по тем же самым причинам. Об этом много сказано в дискуссии на форуме Ру-борд. Все, что выше сказано об Outpost справедливо и для нее. Однако в данном случае способом решения проблемы является решительный снос этой программы в корзину несмотря на все ее очковтирательские рапорты о якобы съэкономленном траффике. А для резки рекламы лучше воспользоваться другой программой, рекомендую обратить внимание на Proxomitron. Эта отличная программа умеет не только вырезать все что угодно из сжатых страниц, но и восстанавливать «поврежденные» запросы на сжатие контента. Она несколько сложна в тонкой настройке для начинающих, но вы всегда можете обратиться за квалифицированной помощью на форум любителей этой программы.

 

4. Программа Naviscope – комплексный ускоритель и индикатор – также имеет функцию вырезания рекламы. Программа заброшена разработчиками и давно не обновляется, однако по-прежнему используется многими приверженцами. Увы, она также некорректно обращается с запросом Accept-encoding: gzip, deflate ради обеспечения собственного удобства. Мне нравится эта программа тем, что она действительно универсальна и предоставляет очень много информации о текущих коннектах. Поэтому захотелось оставить ее в работе и вместе с тем пользоваться преимуществами gzip.

Выяснилось, что это возможно при использовании дополнительной программы Proxomitron и настройке их на совместную работу. Как и раньше, запросы от браузера с помощью настройки прокси надо направить на вход Навископу (127.0.0.1 port 81). Выход Навископа направить на порт 8192, прослушиваемый Proxomitron-ом : установить в настройках Naviscope – Setup – Proxy – птичку в Connect through an HTTP proxy и прописать там же адрес 127.0.0.1 и порт 8192. При этом получается что браузер отправляет запрос на gzip, Naviscope его вырезает, а Proxomitron восстанавливает соответственно настройкам. Обратно к браузеру сжатый файл проходит без проблем. В этой сцепке дополнительный Proxomitron отъедает около 2% процессора и примерно 6 МБ памяти; на мой взгляд – терпимо.

Такой вариант с установкой Proxomitron может быть универсальным решением в аналогичных случаях с другими программами, которые позволяют использовать второй промежуточный прокси.

 

5. Программа MyProxy версии 6.40 также замечена в некорректной обработке gzip. Этот локальный кэширующий прокси, предназначенный для ускорения работы браузера, тоже для облегчения собственной работы по вырезанию баннеров выключает сжатие. Новая версия 7.10 может работать с применением сжатия, но для этого она должна пропускать данные через свой сервер. Насколько я понимаю, он и выполнит работу по вырезанию ненужного и передаст чистый траффик на ваш компьютер. Однако это удовольствие уже стоит денег и, по большому счету, экономически не оправдывается. За отсутствием интереса я лично версию 7.10 не проверял, могу и ошибаться.

 

6. Прокси сервер ISA версий 2000 и 2004 также зачислен в ряды вредителей. Ввиду того, что ISA серверы обычно устанавливаются в больших локальных сетях, технических методов исправления положения на рабочей станции пока не известно. Если у кого-то есть решение проблемы, прошу сообщить любым удобным способом.

 

Вообще, ответ на вопрос : что использовать – баннерорезку или gzip-сжатие и от чего эффект будет больше, зависит от ваших предпочтений в Интернете. Если вы предпочитаете сайты, перенасыщенные вырезаемыми баннерами или другой вырезаемой тяжелой графикой, то баннерорезка, возможно, будет более эффективна. Я только напомню, что показ баннерной рекламы для многих сайтов является источником финансов для оплаты хостинга и если вы повырезаете все баннеры, то в один прекрасный день рискуете не найти в сети вашего любимого сайта. Если же на предпочитаемых вами сайтах рекламы и графики меньше чем текста, то отключенное gzip-сжатие несомненно приведет к растрате траффика, снижению скорости и потерям времени.

Мои предпочтения весьма разнообразны и я учитываю среднюю эффективность за относительно большой период. Поэтому лично для себя я выбираю gzip и скорость. Вам же посоветую для принятия окончательного решения провести длительный (20–50 часов) тест «до и после» с тщательным измерением и записью результатов как на лабораторных работах в школе. И уже на основании своего эксперимента вынести свой вердикт.

 

[NOname 0]

экономия на спичках

[Night_Snow 0]

Есть такая прокся

 

CoolProxy http://coolproxy.narod.ru/

 

Ставится под винды... имеет много настроек, настраевается достаточно просто....

Имеет кешь с именами сайтов и прочего конинта, тоесть кешь это просто папка с сайтами, как после OfflineExploriera/

 

Экономия трафика 30%-50% в зависимости от мест посещения.

 

В комплекте веб сервер, фтп сервер и пр. я ими не пользовался, предпочитая более могучие продукты, а так вполне нормально сделано.

 

Программа стоит 10$ но единственное ограничение если не платить, это то что пару раз в день выскакивает сообщение с просьбой денег, на функционал это сообщение никак не влияет.

 

Единственный недостаток этой проги, то что нет нормальной её поодержки, человек делает её под себя ради интузазизма и по этому некоторые баги исправляются

 

долго...

 

Но за мои 3 года с ней знакомства, впечатление осталось хорошее....

 

 

На сайтепрограммы обычно лежит более свежая версия, чем написано :)

Изменено 30 мая 2006 пользователем Night_Snow

[Sponge_Bob 0]

У мя есть такая прога как TrafficCompressor.Экономит около 5 мб в день(если юзать инет постоянно :D)

Единственное что подбешивает - заметны некоторые тормоза при загрузке страниц

[NOname 0]

У мя есть такая прога как TrafficCompressor.Экономит около 5 мб в день(если юзать инет постоянно :D)

да. экономия семи рублей в сутки - аццкая цифра.

[NeweraviN 0]

Больше гемороя чем экономии :) имхо

[claus 0]

Соглашусь с невером...больше гемороя чем экономии.

Плюс, всё это сжатие разжатие..бред. спички экономим, это 10-20р роли не играют.

[Viper 0]

у меня стоит FireFox и + плагин (AdBlock) ... итог: сжатие работает (по крайней мере внизу форума написанно "GZIP включен" ИЛИ ЭТО НЕ ТО??) и банеров нету.

[NOname 0]

сжатие работает (по крайней мере внизу форума написанно "GZIP включен" ИЛИ ЭТО НЕ ТО??) и банеров нету.

жорж!

[S.a.M? 0]

кнопка "без рисунков" - лучший компрессор трафика

[NOname 0]

кнопка "без рисунков" - лучший компрессор трафика

Lynx - наш выбор!

[Anton@ 0]

Я ВСЕХ СПАСУ! :D

Пару недель назад хотел начать эту ветку

 

Короче, есть очень позитивная программка, называется она Proxomitron. Это очень рульная прога тем, что она режет баннеры под Gzip ом, то есть при работающем г зипе у вас не будет 90%баннеров, режет она очень хорошо, а если что и проскочило то парочкой кликов это можно убрать в блэк-лист.

Работает она как прокси, т.е. стоит между интернет браузером и - сервером, то есть вам даже не нужно заставлять браузер принимать гзип, информация на ваш комп придет сначала в эту прогу, а потом, уже подчищенная, в браузер, при этом она работает очень шустро и разницы в скорости что была с ней или без вы не заметите.

Разница с ад-мунчером огромна! Не за что не ставте адмунчер!, я дого не мог понять, почему у меня с ним уходит трафик быстрее чем без него. Потом уже познал прелести гзипа

 

 

Это первый вариант экономии трафика, совершенно не напряжный, у вас просто в трее висит программка и все делает сама, про нее быстро забываешь.

 

 

Вариант номер два

точнее продолжение

У моего любимого провайдера :D есть одна херня, например в ночью в пятницу обнаруживаешь что у тебя осталось 2 мегабайта :( , а пополнить счет негде

Так выход на самом деле есть! Но это уже гемор(и то для меня не особо)

Можно запросто прожить с двумя метрами до понедельника. так вот к делу

Для на чала: не все сайты поддерживают г зип :( так вот, тут уже в пору на них заходить через прокси сервера. как именно? нет ничего проще! просто перед адресом куда вам нужно зайти ставится такая фигня:

http://webwarper.net/ww/~av/

что это дает? короче.. сервер заходит на эту страницу, резет все Activx компоненты, в которых обычно могжет сидеть вирусня, а еще он весь текст жмет г зипом! и шлет вам

ясен пень он это бесплатно делать не будет, он суёт туда свою рекламу... но ведь стоит проксиметрон! он ее прекрасно режет!

при том режиме который написан выше на странице будет оставатся вся графика флешки и т.д, однако с двумя мегабайтами особо не попляшешь.. корочк, есть второй режим:

http://webwarper.net/ww/~s/

там на конце /s/ типа суперкомпрессия

это значит что от страницы вам будет идти только жатый текст и все... без картинок, флешек и т.д. Не столь привлекательно, но читабельно, привыкнаешь быстро.

например тот же яндекс через вебварпер

http://webwarper.net/ww/~s/yandex.ru/

 

С последним режимом меня ждал шок. Я никогда не думал что можно несколько часов лазить по инету, обчитаться кучией разной информации, и потратить около мегабайта! Да, это по-началу режет глаз и непривычно, убого странички видны и т.д. НО ЭТО РЕАЛЬНАЯ ЭКОНОМИЯ, вы в несколько раз дольше будете сидеть за инетом платя такие же деньги, и один мегабайт в день не будет больше обозначать только пару раз проверить почту! Это не рекламная акция :D

 

 

Так что пробуйте, вы ничего не потеряете.

Изменено 31 мая 2006 пользователем Anton@

[Anton@ 0]

Херня все это.

Обычная домашняя прокся всех спасет.

У нас с мужем до 50% трафика совпадает - жж потому-что, баяны и картинки одинаковые. Экономим до 30% при помощи домашней прокси, установленной на роутере.

 

Но этот вариант хорош для двух и более компов в доме. Резать баннеры - мелочно. Кстати, насчет аутпоста не помню, а вот AtGuard умеет резать любую рекламу, как стандартные 468х60 и 88х31, так и задаваемые размеры/контенты. Никаких гзипов не надо.

 

С вырезанием баннеров наэкономила около 12 мегов в месяц. Фи. Мороки больше. А компрессия... ну не знаю, есть мнение, что халява только в мышеловке. Закон сохранения энергии еще никто не отменял. Если у вас появился трафик, то не из нуля же он пришел к вам в комп?

 

 

АБСОЛЮТНО ПРАВИЛЬНОЕ МНЕНИЕ для тех поддержки! Потому что вам тем лучше, чем больше трафика накачают клеенты!

Но хочу вам сказать радостную новость! я как платил четыре сотни так и буду, просто это дает возможность больше путешествовать по инету, на освободившиеся метры я всегда чего-нибудь накачаю.

 

И, напоследок, на баннеры\флешки в среднем уходит до четверти трафика за страницу и это не так уж и мало.

Изменено 31 мая 2006 пользователем Anton@

[Anton@ 0]

Вот сейчас провери трафик при заходе на на mail.ru

без прксометрона 180 килобайт

с включенным - 82 килобайта

Вот и считайте

[IL76 0]

Вот сейчас провери трафик при заходе на на mail.ru

без прксометрона 180 килобайт

с включенным - 82 килобайта

Вот и считайте

только что зашёл предварительно отключив картинки - 103кб, считай, бгг

[Anton@ 0]

только что зашёл предварительно отключив картинки - 103кб, считай, бгг

 

Так у тебя г-зип небось отключен, его включи,и меньше выйдет.

Изменено 31 мая 2006 пользователем Anton@

[IL76 0]

Так у тебя г-зип небось отключен, его включи,и меньше выйдет.

о б-же, 20кб меня разорят

[Anton@ 0]

о б-же, 20кб меня разорят

гыы так ты без картинок по нету лазшь все время... тогда пжалуста

я же с прогой, как белый человек, и картинки еще гляну и трафа меньше выйдет чем у тебя :11:

[NeweraviN 0]

Сижу без лишних прог, смотрю картинки, радуюсь жизни :) Нету трафа - 40 минутная прогулка в прогресс.

[Disable 0]

нда,а мне еще в лабуду ехать... :/

Пы.Сы.: экономия трафика - бред...ОМГ!!,15 метров меня спасут!

[Anton@ 0]

Да не.. там далеко не 15 метров, там трафа процентов на 30% меньше уходит, а если париться, то он может становиться чуть ли не резиновым, если просто смотреть странички.

 

 

Блин, да чего я агитирую... Я просто рассказал приятное мне открытие... какое мне дело будите вы его юзать или нет, просто неприятно когда говорят что это фигня.

Изменено 1 июня 2006 пользователем Anton@

[Bercut 0]

Самая лучшая экономия трафика - любой броузер, который умеет показывать кэшированные картинки. Ставишь кэш побольше и вперед. Все остальное - действительно больше мороки чем экономии.

[AbeX 0]

Я с TrafficCompressor'ом уже с экономил 1.2 GB за пол года

[Viper 0]

Самая лучшая экономия трафика - любой броузер, который умеет показывать кэшированные картинки. Ставишь кэш побольше и вперед. Все остальное - действительно больше мороки чем экономии.

+1

[claus 0]

Самая лучшая экономия трафика - любой броузер, который умеет показывать кэшированные картинки. Ставишь кэш побольше и вперед. Все остальное - действительно больше мороки чем экономии.

 

Умно говоришь друг!

Остальное бред.