Технические решения

С страниц форума для игроков была описана одна из последних проблем доступа к клубу.

Повелитель Земли [21]

не только объяснил причины, но и раскрыл планы по решению данной проблемы:

По просьбе трудящихся хочу пролить немножко света на то, что происходит в псоледнее время с технической стороной проекта.

Многие из игроков наверняка замечали неоднократные лаги, ошибки при открытии страниц, Internal server error и подобные вещи.

Но не все понимают, что часть этих проблем является ошибками программного кода, а часть относится к вопросам технической инфраструктуры.
Работа над кодом ведётся постоянно, что-то вносится новое, что-то убирается.
Но процесс идёт, в том числе процесс чистки кода, даже при том что он не всегда виден игрокам.

Со своей стороны, хочу рассказать о том, что происходит со стороны инфраструктуры:

Как многие из вас знают, примерно в 2006 году были установлены мощнейшие сервера для городов, 8-процессорные монстры, на тот момент это было самое мощное доступное железо в мире, которое соответствовало бы требованиям для проекта combats. Шло время, менялись многие вещи в коде проекта, а тем временем железо отработало свой жизненный цикл и чем дальше, тем больше, начало сыпаться и компоненты выходили из строя всё чаще и чаще.

Как говорится - ничто не вечно, поэтому было принято решение закупить новое оборудование, одновременно оптимизируя инфраструктуру для отказоустойчивости, на случай сбоя какого-либо аппаратного компонента.
Да, всё верно, мы пришли к кластерной схеме - с дублированными центральными хранилищами под данные, где хранятся данные со всех городов.

Но тут нас ждал сюрприз - когда мы мигрировали 8 городов на это центральное хранилище, стало ясно что даже это новое мощное железо не справляется.

Для тех, кто более-менее продвинут технически, скажу что был затык в IO дисковой подсистемы, при том что диски использовались самые быстрые (гибридный вариант SDD+SAS15k учитывая кеширование).
Это означает, что как только происходит дефицит ресурсов (читаем по-русски "диски недостаточно быстрые и не справляются с нагрузкой"), всё информация выстраивается в некую "очередь", и по мере освобождения ресурсов обрабатывается как положено. Но игроки это видят как лаги, как тормоза, и как следствие таймауты и ошибки.

Когда стало ясно что именно за проблема - озвучили проблему, докупили еще 2 мощных монстра для второго центрального хранилища, это было примерно 2 месяца назад. Но тут снова ждал сюрприз - как только стали активизировать кластерную основу, по непонятным причинам оба сервера вставали в ступор, причем каждый раз по-разному и в разное время.

Перелопатили весь Linux вдоль и поперёк, не нашли ни малейшей зацепки откуда появляется проблема, в результате заменили целиком оба сервера на идентичные. А симптомы даже на новых серверах - такие же. Короче говоря, не буду лить длинную простыню деталей - после замены каждого компонента и тестирования на надежность, в конце концов выяснилось что проблема была в контроллере для дисков.

Сообщили производителю контроллеров о нашей проблеме (контроллер Areca 1882-IX, диски Hitachi 2TB), и производитель сумел воспроизвести проблему у себя, после чего примерно неделю назад они выслали новую прошивку для этих контроллеров. После того, как контроллеры были перепрошиты и заменены, проблема со стабильностью/надежностью отпала и оба сервера в кластере работают как часы.

Последние несколько ночей мы занимались вводом этой системы в строй, и прошлой ночью она была подключена в строй. Осталось теперь мигрировать сильно грузящие города со старого хранилища на новое, и проблемы с тормозами/лагами должны исчезнуть. Само собой, проблемы с кодом никуда не денутся, и в этом направлении ведётся постоянная работа, но по крайней мере с позиции стабильности инфраструктуры всё должно быть отлично уже в течение недели-двух максимум.

Помимо этого были даны комментарии на ряд сообщений от игроков:

http://img.combats.com/i/chars/d/0/1206_pzzlqik.png

gun grave [12]

(08.09.12 03:17)

тоесть чере пол месяца максимум прощай Internal server error навсегда?

Повелитель Земли [21]

(08.09.12 03:20)

Посмотрим, именно с этим никаких гарантий дать не могу. Но по крайней мере постараемся отследить если оно останется. Как минимум можно будет вычеркнуть тормоза как причину этих проблем.

Помешаный [10]

(08.09.12 03:23)

Я так и думал что все города были на 1-ом серваке , у жены лагало так же как и у меня в одно и тоже время ..... А какие города ируеться планируете мигрировать , и может ли произойти утеря данных ????

Повелитель Земли [21]

(08.09.12 03:30)

Неверно поняли - серверов много, хранилище центральное было на 1 кластере. Сейчас их стало 2, нагрузку распределим в ближайшие дни. Потери данных не будет.

http://img.combats.com/i/chars/d/0/1026a_rq2360403311.png