Почему сайта не было неделю?

Многим интересно, куда пропадал сайт "Очевидца" на неделю. В этой статье вы найдёте ответ.

Кратко: "сгорел" сервер.



Подробно:

Сервер — это такой компьютер повышенной надёжности. Бывают случаи когда сервера работают без поломок до 20 лет. Несмотря на то, что наш сервер отработал уже 7 лет, варианты каких-либо несправностей с сервером я оценивал как маловероятные.

На самом деле сервер не сломался, а стал глючить. Это намного опаснее. Выглядело всё так, что кто-то атакует сервер DDoS-атакой. Учитывая, что незадолго до этого к нам обращались с просьбой купить проект, то подозрения у меня были именно на атаку.



Говорят, что когда Миллер приезжал на переговоры по покупке Вконтакте, на Вконтакте каждый раз шла мощная атака, чтобы во время переговоров сайт глючил и тормозил, что должно было сбить цену.

Я искал способ, которым сервер был атакован и увеличивал его защищённость от различных видов атак. Вначале сервер зависал раз в месяц, потом раз в неделю, потом раз в 2-3 дня, потом каждый день, а потом каждый час. Но каждый раз перезагрузка выправляла ситуацию.

Когда сервер перешёл от глюков к жёсткому зависону, стало ясно, что нужен личный визит. Тем более, что техподдержка провайдера сообщила нам, что на сервере зажглась специальная лампочка сигнализирующая о неприятностях.

До этого все манипуляции я делал удалённо, через так называемый KVM — это доступ к монитору, клавиатуре и мыши удалённого компьютера через специальную программу, а к серверу к видеопорту, разъёму клавиатуры и мыши для этого подключается специальное устройство (KVM).

По инструкции эта лампочка могла сигнализировать о поломке процессора, оперативной памяти (RAM) или материнской платы. Я менял местами процессоры, чипы RAM — при всех комбинациях всё кончалось глюками. И поэтому я пришёл к неутешительному выводу — сломалась материнская плата Intel. Это самая большая и важная плата в сервере.



В моей практике такое в первый раз — материнские платы делаются очень надёжными, тем более такого производителя как Intel.

К такому диагнозу я пришёл в 2-3 часа ночи, после чего поехал из датацентра домой.

Отступление — сервера интернет-проектов стоят в датацентрах, где к ним проложен быстрый интернет, установки резервного питания, контролируемый микроклимат и пропускной режим. В хорошем датацентре даже после 10 лет работы в сервере не будет пыли.

К моему удивлению, на Авито можно было купить похожие или точно такие же платы. Удивился я потому, что серверные материнские платы — это редкая вещь, по сравнению с обычными материнскими платами. Однако предлагавшиеся платы были б.у., что несло риск того, что и они через какое-то время накроются. А те, что позиционировались как новые, были совместимы с другими чипами RAM, что означало дополнительные траты.

Я рассказал расклад владельцу Очевидца, Ивану. К счастью, у Ивана в кладовке лежал неиспользуемый сервер 2012 года выпуска от другого проекта. Это большое везение, так как сейчас, после падения рубля, новые сервера стали стоить бешеных денег.

Предстояло его настроить, потом перекачать данные с винтов старого сервера. Но основная проблема — это различные бумажки. Дело в том, что датацентр, где находится наш сервак, невероятно забюрократизирован. Нам пришлось делать около десятка бумаг с подписями и печатями, чтобы просто привезти новый сервер.

После завоза сервака в датацентр, я его настраивал до 4:30 утра. Причём, что интересно, датацентр находится на территории полуразрушенного завода. Поэтому когда я утром уходил, обстановка была как в фильмах ужасов: огромные пустые гулкие коридоры внутри, а на улице мрачные трубы и клубы пара. Каждый раз, когда ночью покидаешь датацентр, такое мистическое ощущение, что ты в другой реальности.



Ещё пару дней информация сливалась на новый сервер — роликов, фоток и блогов накоплено уже несколько терабайт.

В третий визит я вытащил старые винты из нового сервера, подготовил к вывозу старый сервак и выдохнул.

Вот так выглядит новый сервак: одних винтов по терабайту 12 штук, а будет, возможно, 14.



В идеале, конечно, нужно иметь конструкцию из нескольких серверов, чтобы поломка одного сервера ничего не решала, но это пока для нас неподъёмные деньги.

Можно было повесить страницу на другой сервер с сообщением о наших проблемах, но я боялся, что поисковики выкинут все наши страницы из индекса, поэтому так не сделал. Оглядываясь назад, я нашёл решение как можно такое сделать без каких-либо проблем с поисковиками.

Хорошо то, что хорошо кончается. Теперь мы имеем почти новый сервер, которого хватит ещё надолго.

Оставайтесь с нами!