В конце 2014 года завершилось сооружение и ввод в эксплуатацию ЦОД Билайн в Ярославле. С каждым годом значимость такой составляющей сетевой инфраструктуры операторов связи, как ЦОД возрастает, как и технические требования к ней. Александр Трикоз, директор Ярославского Технического Центра Билайн любезно рассказал MForum.ru об этом проекте и ответил на вопросы главного редактора MForum.ru Алексея Бойко в рамках подробного интервью, которое мы предлагаем вашему вниманию.
Алексей Бойко (АБ). В конце 2014 года Билайн построил первый модуль нового ЦОД в Ярославле. Чем была мотивирована постройка еще одного ЦОД, что особенного в его конструкции, почему выбрали Ярославль?
Александр Трикоз, Билайн
Александр Трикоз (АТ): Давайте начнем с небольшого исторического экскурса. Сложилось так, что в телеком-компаниях есть две группы технических сотрудников. Есть технари от телекома, которые строят "связную" часть сети, а также - специалисты в области IT, занимающиеся, соответственно системами в области информационных технологий. С определенного момента в Билайн все стали сотрудниками единого Техблока, что на мой взгляд, очень правильно.
В наследство от прошлого нам достались разделение "автозалов" - так мы называем различные технические помещения с телеком- и ИТ-оборудованием, на "связные" и "айтишные". В настоящее время у Билайн в России порядка 200 залов емкостью от 50 до 300 стоек с оборудованием, относящимся к телекому. То есть практически в каждом сравнительно крупном городе есть наш автозал, а в мегаполисах, республиканских и областных центрах зачастую два или более. Начинка автозалов с годами меняется, например, отменены требования к обязательному использованию химических батарей в системах бесперебойного питания, что позволило сократить объемы оборудования.
В отличие от "связного" направления, ИТ-направление развивалось как централизованная функция. ИТ в телекоме это поддержка таких систем как прием платежей, биллинг, другие интеллектуальные платформы, в общем, OSS/BSS.
Московский дата-центр находился по адресу ул.8-марта, здесь он работает и по сей день. Несколько лет назад мы поняли, что необходим еще один центр в качестве disaster recovery (прим. АБ: так называют комплекс технических средств, политики и процедур, обеспечивающих быстрое восстановление или непрерывность оказания услуг сложных технологических систем после аварий или сбоев вызванных естественными причинами или человеческим фактором). Этот центр был создан на другой нашей площадке - в Сокольниках.
ЦОД на ул.8-марта постоянно достраивался, оборудование "захватывало" все новые комнаты, приходилось подводить все большие электрические мощности, закупались дизель-генераторы, подключались все большие мощности опорной оптоволоконной сети. Спрос на трафик и вычислительные мощности с годами постоянно рос и стало понятно, что резервы территории не безграничны и дальнейшее умощнение ЦОД в какой-то момент окажется невозможным. Были и другие ограничивающие факторы, например, нехватка энергомощностей в районе Аэропорта и Сокола. Каждый запрос на следующий дополнительный 1 МВт, 2 МВт или 3 МВт местные энергетики выполняли с большим трудом. Стало ясно, что нужно что-то решать, если мы не хотим в буквальном смысле "упереться в стену". В 2010 году было решено строить новый ЦОД, причем не в Москве и обязательно в качестве большой площадки с возможностью последующего масштабирования по мере роста потребностей оператора.
К выбору Ярославля в качестве местоположения для нового ЦОД мы пришли не сразу. Отсмотрели в Москве и Московской области порядка 30 объектов - готовые ЦОД, просто площадки. Большинство вариантов не подошли. Где-то документы оформлены не полностью или вызывают сомнения. Где-то были проблемы с подключением к оптоволоконным магистральным кольцам Билайн. Где-то не хватало электроэнергии или не было возможности надежного резервирования основного источника энергии.
АБ: Обычно для строительства больших ЦОД выбирают город неподалеку от мощного источника недорогой электроэнергии - ГЭС или АЭС. В идеале с площадкой землю, под которой можно сравнительно недорого приобрести в собственность. И с достаточно квалифицированным местным персоналом с невысоким среднегородским уровнем заработной платы, чтобы минимизировать расходы на специалистов, которые в дальнейшем будут обслуживать данный объект.
АТ: Практически за счет таких рассуждений мы пришли к идее Ярославля. В Ярославле действует Рыбинская ГЭС - это источник той самой недорогой электроэнергии. В качестве альтернативного источника питания мы задействовали ТЭЦ, стоящую невдалеке. В Ярославле 4 ВУЗа, есть местное ИТ-сообщество. Проблема местных компаний в том, что большинство выпускников уезжают в Москву. Наш ЦОД - хорошее место для стажировки студентов и выпускников, возможно, кто-то из них останется у нас работать.
Смотрели и на другие города на Урале, в Сибири. К сожалению, современные технологии репликации данных все еще очень чувствительны к задержкам передачи информации, которые растут с ростом расстояний.
Кроме того, требуется все большая пропускная способность в каналах по мере роста объема хранимых и обрабатываемых данных. Ярославль в этом плане подошел практически идеально, поскольку расстояние от него до Москвы сравнительно невелико, а каналы связи достаточно мощные.
Кроме того, требуется все большая пропускная способность в каналах по мере роста объема хранимых и обрабатываемых данных. Ярославль в этом плане подошел практически идеально, поскольку расстояние от него до Москвы сравнительно невелико, а каналы связи достаточно мощные.
АБ: Московский ЦОД закрывать будете? Раз уж он не может быть расширен, да и расценки на электроэнергию и аренду высокие?
АТ: Ни в коем случае. Постепенно фокус будет перемещаться в Ярославль. Помимо зона production у нас есть pre-production, есть тестовые среды, - все они так или иначе тяготеют к production. Эти зоны между собой связаны мощными потоками данных, процессами бэкапа, репликации, и так далее. На все это нужны определенные временные "окна", обычно в ночное время. Если система переезжает в Ярославль, а реплизироваться надо в Москву, то это не оптимально. Значит, среда репликации тоже должна мигрировать в Ярославль. И постепенно, по мере переезда первоочередных систем, все остальные туда тоже мигрируют. А освобождающиеся здесь помещения мы будем отдавать для клиентов B2B. Потому что эти услуги очень востребованы в Москве - в основном со стороны среднего и крупного бизнеса.
АБ: Давайте поговорим о технических особенностях Ярославского ЦОД. Каковы площади, мощности, возможности масштабирования? Какие современные решения задействовали для его развертывания?
АТ: Подведенная мощность - 10 МВт. Как я уже говорил, подведена мощность от двух разных подстанций, питающихся от разных систем генерации, от каждой по 10 МВт. Мы придерживаемся так называемого модульного подхода к сооружению ЦОД, т.е. не забили всю площадь невостребованными стойками сразу, а планируем сооружать дополнительные мощности по мере надобности. Модуль - это часть построенного здания. Полная потенциальная мощность ярославского ЦОД достаточна для работы шести модулей по 1.7 МВт. Пока что мы соорудили и задействовали только первый из них. А вот инфраструктуру уже построили с расчетом на шесть модулей, что в дальнейшем значительно упростит и ускорит строительство и запуск новых. Поэтому и электричество подвели сразу в расчете на полную загрузку ЦОД в будущем. Здесь тоже нашли возможность сэкономить - берем электричество по так называемой "высокой стороне", т.е. с использованием ЛЭП 10 кВ, а затем трансформируем напряжение в 380 В самостоятельно, своими трансформаторами. Так получается дешевле, чем платить за соответствующую услугу энергетикам.
Рассматривали и контейнерные решения, которые сейчас получили немалое распространение на Западе. Смотрели, например, кривую зрелости новых технологий аналитиков Gartner. В итоге в ходе конкурса выбрали комбинацию двух интересных технологий - freecooling (фрикулинг), то есть охлаждение ЦОД с использованием воздуха и воды, и DRUPS-ы (АБ: друпсы от англ. diesel rotary uninterruptible power source, или по-русски дизельдинамические источники бесперебойного питания - ДДИБП) для обеспечения аварийного питания. DRUPS-ы производства PILLER закупали через NVISION, а ЛАНИТ поставлял модули ЦОД компании AST Modular.
Приобрели землеотвод - 7 га, заказали ярославской архитектурной компании проект. В проекте участвовал субподрядчик, который уже проектировал ранее ЦОДы - он помогал сформулировать грамотное ТЗ на проект с учетом наших технологических требований. Так что здание ЦОД проектировали и строили с учетом необходимой специфики и возможностей масштабирования емкостей в будущем.
В частности, мы предусмотрели отсутствие опорных колонн в основном помещении, это позволяет использовать его практически как угодно. Надеемся, что нам не придется его перестраивать даже по мере возможного дальнейшего изменения технологий. Например бесперебойное питание у нас вынесено в отдельные здания. Если по каким-то соображениям откажемся от идеи использования DRUPS, нам не придется разбирать здание ЦОД для замены оборудования. Сможем заменить его на любое другое решение, например, на статические UPS.
На схеме приведен план ЦОД. Центральное помещение площадью более 3000 квадратных метров занято пока что лишь частично, оно предназначено для размещения шести модулей ЦОД, а пока что мы эксплуатируем один такой модуль, справа - сервисный блок, где расположены чиллеры охлаждения, слева - офисный блок. Ниже показаны помещения, где размещены дизельгенераторы системы бесперебойного питания, они резервируют друг друга в горячем режиме. Также видно, как снизу подходят две независимых линии электропитания 10 МВт. Оранжевые линии - четыре подключения к транспортной сети Билайн, ВОЛС, связывающим Ярославль с Москвой, С.Петербургом и Костромой. Два основных подключения ставят ЦОД в "разрыв" кольца - сейчас это 120 Гбит/с, на один модуль этого хватает, но в любой момент можно будет увеличить пропускную способность. Два резервных - подключения к другим сегментам кольца из соображений надежности.
АБ: Фрикулинг - это безусловно востребованное, я бы даже сказал "модное" направление в области холодоснабжения в ИТ-системах. Чем вы объясните выбор этой системы для Ярославского ЦОД?
АТ: Комплексная система охлаждения опирается прежде всего на фрикулинг потому, что позволяет существенно выиграть в расходах на электроэнергию. Охлаждение с использованием наружного воздуха по нашим расчетам достаточно в течение более 90% времени в году. Мы используем так называемую трехступенчатую схему, наиболее эффективную.
В обычных схемах охлаждения ЦОД кондиционеры работают практически постоянно. У нас система в холодное время суток, в холодное время года работает на основе естественного обмена теплом с внешней средой. Прямого контакта с наружным воздухом нет, используются теплообменники. ЦОД нагревает воздух в контуре, это тепло через теплообменники во внешнюю среду, причем не изменяются такие параметры воздуха в помещении, как, например, влажность или запыленность, за счет использования изолированных контуров.
При необходимости, при повышении температуры до 18 градусов, включается в работу следующая ступень - в воздух может впрыскиваться вода, что снижает температуру за счет адиабатического охлаждения. И уж совсем в критических ситуациях, в плане повышенной температуры внешней среды, включаются классические чиллерные установки. В сервисной зоне у нас установлены две цистерны на 180 тонн охлажденной воды. Прогнозируем, что она будет работать не более, чем 10% времени в год, что обещает нам существенную экономию электроэнергии и соответствующих операционных расходов.
АБ: Расскажите подробнее о резервировании питания. Почему вы ушли от традиционных аккумуляторных батарей к решению на базе роторных дизельгенераторов?
АТ: Что такое система бесперебойного питания? Это система, в которую заходит извне электропитание, и которая при прерывании подачи этого внешнего питания, обеспечит бесперебойную подачу электрической энергии на сервера, как если бы никакого внешнего сбоя и не происходило. Думаю, что не нужно пояснять, насколько важна бесперебойность для ЦОД. Бывают случаи, что потеря питания на 0.5-2 секунды приводит к безвозвратной потере данных или к необходимости их восстанавливать в течении многих часов или даже нескольких дней. Крайне чувствительны к подобным сбоям любые базы данных, например, биллинговые.
Традиционно системы внешнего электропитания резервируют батарейными системами аварийного электропитания. Задача такой "большой батарейки", продолжать подавать питание на оборудование ЦОД, если вдруг пропадет энергия от внешних ее источников. Если внешнее питание за короткое время не восстановилось, как правило, запускается аварийный дизельгенератор, который способен снабжать ЦОД энергией в течение нескольких часов или даже дней.
Мы от этой системы отказались по ряду причин. Батареи, например, занимают много места, причем охлаждаемого места - при зарядке и при работе аккумуляторов выделяется тепло. Их использование предъявляет дополнительные требования к помещению.
Вместо этого используются роторы или маховики. Каждый такой маховик весит порядка 1.5 тонн и вращается на магнитной подвеске в среде инертного газа. Маховик выступает в роли ротора электрогенератора. Прежде всего, запустив дизельгенератор, маховик раскручивают до 3000 оборотов в минуту. Далее подача топлива прекращается, а вращение маховика начинает поддерживать маломощный, но достаточный для получения необходимого результата, электродвигатель. Для поддержкания вращения необходимо примерно 1% от мощности установки. Это становится возможным, поскольку потери маховика на трение практически сведены к минимуму. Если пропадает внешнее питание, вращающийся по инерции ротор, продолжает вырабатывать электроэнергию и тем самым продолжает обеспечивать питание серверов.
Каждый DRUPS выдает 20 МВт, т.е. любого из них хватит, чтобы обеспечить питанием весь модуль ЦОД и чиллерную установку. В зависимости от загрузки ЦОД модулями и серверами, энергия маховика может снабжать ЦОД в течение от 3 до 30 минут по-принципу: чем меньше мощность потребления ЦОД, тем на более долгое время хватит инерции маховика. Если внешнее питание за это время не появилось, то автоматически включится дизельный мотор генератора и восстановит разгон ротора до 3000 оборотов в минуту. Замечательная особенность роторной схемы в том, что электрогенератор устройства обеспечивает на выходе практически идеальную синусоиду. Второй плюс - к.п.д. такой системы выше, чем у систем с использованием батарей, - около 97%! DRUPS для каждого модуля еще и зарезервированы в "горячем режиме", что позволяет проводить любому из них профилактическое обслуживание или заменять их, не опасаясь за то, что снижается надежность питания ЦОД. Запас топлива таков, что ЦОД может продержаться без внешнего питания трое суток.
Обычно в ЦОД резервируют аварийным источником питания только потребности автозала, подавая питание лишь на сервера. Это делается потому, что резервирование работы еще и системы кондиционирования сильно снижает показатель эффективности - PUE (Power Usage Effectiviness). С нашим запасом мощности и эффективным фрикулингом, мы смогли "посадить" на DRUPS и систему кондиционирования, особо не проиграв в величине PUE - ее среднегодовая величина 1.3, что является очень неплохим показателем. К тому же нам не нужно резервировать мощности под ток заряда батарей, поскольку они в решении не применяются.
АБ: В общем, DRUPS - это сплошные выигрыши? Но должны быть и какие-то минусы, подводные камни?
АТ: Основной минус в том, что данная технология практически не развита в России, нет российских аналогов используемому нами решения. Да и в мире не так много компаний производят подобные источники питания - в большинстве своем это европейские компании. Можно говорить о какой-то зависимости от поставщика в нашем случае.
АБ: Какие параметры у построенного первого модуля?
АТ: Модуль занимает 500 квадратных метров, на этой площади размещено 236 стоек с оборудованием. Типовая стойка обеспечивается питанием 5 кВт, но на ряде стоек предусмотрена возможность размещения устройств с высоким энергопотреблением - вплоть до 20 кВт. Таким функционалом обладает далеко не каждый ЦОД. В целом проектная потребляемая мощность модуля - до 1.2 МВт. Стойки рассчитаны под 42 стандартных юнита, т.е. всего в Ярославском ЦОД могут быть размещены почти 60 тысяч юнитов.
АБ: Ваш ЦОД наверняка строился с опорой на требования какого-то стандарта, какого?
АТ: Да, при проектировании и строительстве мы ориентировались на соблюдение всех требований стандарта Tier III Uptime Institute и стандарта TIA942. Наш Ярославский ЦОД сертифицирован в Uptime Institute.
АБ: Как я понимаю, вы используете Ярославский ЦОД не только под нужды Билайн, но и предоставляете его мощности другим участникам рынка?
АТ: Телеком сейчас движется в сторону digital (Прим АБ: цифровизации). Понимают этот термин по-разному, но понятно, что получат дальнейшее развитие такие услуги, как IaaS, SaaS и т.п. Мы уже предоставляем наши ЦОД, например, для работы Office 365, число пользователей в последнее время активно растет.
Кроме того, провайдеры услуг связи все более выступают в качестве канала доставки пользователям все более тяжелого видеоконтента. В наших интересах, чтобы поставщики стриминговых услуг хранили интересный нашим пользователям видеоконтент в наших ЦОД, поскольку это минимизирует необходимый для доставки конечному потребителю трафик.
Закон о персональных данных позитивно повлиял на наш бизнес - сейчас некоторые компании, которые до сих пор использовали ЦОД в Европе, перемещаются на наши сервера, их привлекает в частности, стабильность ВымпелКома, как крупного бизнеса и "российскость" используемой услуги.
АБ: Сколько сотрудников в Ярославском ЦОД?
АТ: Сейчас немного, всего 27 сотрудников. Это 2 человека, обслуживающие сервера, административный персонал, энергетики, ГО/ЧС, пожарные. В основном это местные жители, но есть несколько специалистов, которые приехали из Москвы. Часть сотрудников работает удаленно, в основном это те, кто взаимодействует с коммерческими клиентами. Если говорить о Ярославле в целом, то у Билайн в городе большие планы, в частности, туда переводится из Москвы ОЦО - объединенный центр обслуживания, а общее число персонала - более 500 человек. Также в Ярославль переехал ФЦМ - федеральный центр мониторинга, который следит за функционированием нашей транспортной сети во всей стране. Это наш солидный вклад в увеличение числа рабочих мест в городе.
Комментариев нет:
Отправить комментарий