С субботы по понедельник (с 25 по 27 августа) посетители нашего официального сайта столкнулись с огромной проблемой — невозможностью загрузить установочные файлы Zillya! Антивирус и Zillya! Internet Security. Файлы загружались только на 99%, после чего загрузка обрывалась, что делало невозможным установку программы. Как выяснилось позже, проблема возникла по вине нашего хостинг-провайдера FreeHOST, на котором размещены наши серверы.
Мы приносим свои извинения всем пользователям, которые пытались скачать программы Zillya! в эти дни и не смогли этого сделать. Для нас важно, чтобы в будущем таких проблем больше не возникало — мы принимаем необходимые меры для предотвращения подобных ситуаций.
Как все было
В субботу, 25 августа мы массово начали получать сообщения о невозможности загрузки дистрибутивов программ с официального сайта. Когда процесс загрузки истекал, передача данных останавливалась на отметке 99%. Информация лилась потоком со всех направлений: служба технической поддержки, телефоны, социальные сети. Проблема мгновенно была подтверждена.
Интересно, что перед выходными и во время выходных (до самого момента обнаружения проблемы) наши специалисты не проводили никаких технических работ с серверами или программным обеспечением, которое на них размещено. По словам провайдера, они также не выполняли никаких действий, которые могли бы повлиять на качество передачи данных.
Специалисты проекта Zillya! сразу же начали первые попытки разобраться с причиной возникшей проблемы. Дежурным администраторам не удалось «на скорую руку» исправить проблему — она оказалась достаточно серьезной. Главное, что была неизвестна даже возможная причина подобного поведения сервера. Мы перебрали все программное обеспечение на серверах, перезагрузили файлы данных (инсталляционные пакеты программ), отработали все стандартные методики поиска сбоев в работе серверов — безрезультатно.
В понедельник, с самого утра, технические специалисты Zillya! в экстренном режиме собрались на «мозговой штурм» по определению возможных причин проблемы, которая не исчезала уже третий день. Первый, самый важный (и, как оказалось, абсолютно неэффективный) шаг — обращение в службу технической поддержки хостинг-провайдера FreeHOST. Сонный голос дежурного администратора в телефоне сообщил нам, что все заявки по рассмотрению подобных проблем возможны только по электронной почте или с формы технической поддержки на сайте. По телефону нам прочитали только заученные фразы, которые никак не могли помочь нам. Единственное что ценного сообщил нам специалист провайдера — никаких работ, которые могли бы повлиять на качество передачи данных, они не выполняли.
В течении пяти часов мы вновь делали все что возможно. Подозрительным было то, что ошибка возникла сразу на всех серверах, установленных на хостинговой площадке FreeHOST. Методом исключений и экспериментов мы обнаружили, что невозможно загрузить файлы с конкретным содержанием. Невозможно загрузить именно MSI файлы, в которых и поставляются продукты Zillya!. При этом те же EXE-файлы загружались без каких-либо препятствий.
По факту наших исследований мы отправляем письмо с исчерпывающей информацией:
В ответ провайдер сообщил нам, что их оборудование не выполняет фильтрацию траффика.
Последним подтверждением того, что проблема в работе нашего провайдера является тот факт, что загрузка установочных файлов между серверами, находящимися в пределах той же хостинговой площадки (загрузка тем же методом, что используют обычные пользователи) выполняется без каких-либо препятствий. Итак, если мы загружаем файл изнутри сети FreeHOST — файлы загружаются без помех. В то же время ни один пользователь не может загрузить эти файлы себе, находясь вне хостинг площадки FreeHOST.
В экстренном режиме мы были вынуждены изменить формат установочных файлов продуктов Zillya!. Наши специалисты сделали обертку вокруг установочных файлов, благодаря чему файлы в полном объеме доходят до пользователей. Сейчас файлы распространяются с сайта Zillya! в виде EXE-файлов.
Для пользователей такое изменение выглядит абсолютно прозрачно. Внешне процесс установки абсолютно не изменился, и пользователи, которые не увидели эту новость, даже не почувствуют разницы. Единственное что изменилось — ссылки на установочные файлы продуктов Zillya!.
На момент написания данного пресс-релиза компания FreeHOST сих пор не признала наличие проблемы. Мы можем надеяться только на то, что они проводят какие-то работы для поиска и исправления проблемы.
Финансовые убытки, полученные проектом Zillya!, в этой ситуации — не главное. Наибольший ущерб был нанесен нескольким тысячам пользователей, которые пытались загрузить ZIllya! Антивирус для лечения своих компьютеров от вирусов (а большинство начинают поиски нового антивируса когда возникает реальная проблема). И в это время, когда пользователям более всего была нужна наша помощь, они не получили ее. Конечно же, это негативно отразилось на репутации компании.
«За долгое время работы в информационном пространстве, мы привыкли к тому, что у любого провайдера время от времени бывают краткосрочные сбои в работе. Но в этом позорном случае нас возмущает тот факт, что хостинг-провайдер не признает какой-либо проблемы. Специалисты компании FreeHOST нас долгое время отфутболивали стандартными отговорками.
Мы приносим свои извинения всем пользователям, которые пытались скачать программы Zillya! и не получили защиты. Для нас важно, чтобы в будущем таких проблем больше не возникало и мы принимаем необходимые меры для предотвращения подобных ситуаций.
Надеемся, FreeHOST сделает свои выводы — мы свои сделали и не в их пользу.«- Команда Zillya!
Сегодня мы получили от службы тех.поддержки FreeHOST первый внятный ответ, который закрывает очень много вопросов. Компания FreeHOST признала факт блокировки установочных MSI файлов Zillya!. Но, поскольку проблемы возникают только с нашими дистрибутивами, нам было предложено решать проблему самостоятельно на нашей стороне (например при помощи смены компилятора, или упаковки наших дистрибутивов каким либо из архиваторов).
Мы получили официальное обращение от компании FreeHOST. Обеспокоившись тем, что мы в явной форме подчёркиваем непрофессионализм их сотрудников, нас попросили удалить из блога переписку с их службой технической проблемы.
Мы верим в то, что нам удалось достучаться до руководства компании, подчеркнуть важность инцидента. Очень надеемся, что это положительно повлияет на качество их услуг и заставит переосмыслить модель отношения к обращениям клиентов.
Ну что же вы ссылаетесь на мое письмо без разрешения, указывая мои персональные данные и не просите подробных комментариев — не хорошо.
1. Сервера, которые вами арендуются в нашей компании включены в коммутатор HP Procurve 2810-48G и оттуда в HP Procurve 5412zl.
Для HP Procurve 5412zl
# show connection-rate-filter
Connection Rate Filter Configuration
Global Status: Disabled
То есть фильтрации по контенту отсутствует.
У HP Procurve 2810-48G таких возможностей нету.
Поскольку проблема наблюдается и внутри сети, думаю что специалистам вашей компании не потребуется делать мозговой штурм для того чтоб понять тот факт что проблема присутствует еще до того как трафик попадает на корневой маршрутизатор и может зависеть только от одного из этих коммутаторов.
2. На HP Procurve 5412zl мы наблюдаем следующие ошибки «FFI: port A7-Excessive CRC/alignment errors.»
Причем ошибка возникает только в случае если передаются именно ваши msi файлы, и ни в каком другом случае. Из возможных причин данной ошибки, в нашем случае возможны только поврежденные провода. Конечно же мы их заменили, хотя объективных причин не было для этого, поскольку ошибка только выборочными MSI файлами.
3. Никаких работ на коммутаторах или маршрутизаторах мы не проводили на протяжении нескольких месяцев, перед тем как вы сообщили о данной проблеме, но думаю вы же обновляете свой продукт и делаете новые сборки. Поэтому не совсем корректно говорить о том что вы ничего не делали, а оно само… Учитывая что все другие файлы передаются без проблем и ошибок, говорить о сбое какого либо оборудования у нас и тем более замене достаточно дорогостоящего оборудования нельзя.
Со своей стороны, как «пожарный» вариант мы написали в поддержку HP для уточнения возможных вариантов проблемы, поскольку сколько времени потребуется на получения ответа от них я не знаю, вам мы дали те рекомендации, которые можем на текущий момент.
Конечно же
Благодарим Вас за Ваш ответ, Евгений.
Данные MSI файлы появились на нашем сайте 31 июля, и всё это время находились на сайте без изменений. До 25 августа файлы загружались с серверов без проблем. Начиная с 25.08.2012 начались проблемы с блокировкой пакетов.
Все ведёт к тому, что проблема возникла спонтанно — дистрибутивы (файлы) передавались и вдруг перестали.
По поводу мозгового штурма: мы ведь изначально искали проблему на своих серверах, администраторы были в мыле. Как то очень слабо верилось что проблема в сетевом оборудовании хостера. Потому первые звонки к вам совершали осторожно, без конкретных претензий, а просто что бы выяснить — нет ли какой проблемы.
девочки не ссортесь