Электроснабжение ЦОД: надежность, автономность и энергоэффективность

Содержание

• Основные требования к системам электроснабжения ЦОД
  • Стандарты и нормативы
  • Надежность, отказоустойчивость и резервирование
  • Необходимость автономности
• Примеры сбоев и уроки
  • Сбой AWS в Токио (15 апреля 2025 года)
  • Сбой в ЦОД «Яндекса» (30 марта 2025 года)
  • Сбой Google Cloud в Колумбусе (29 марта 2025 года)
  • Сбой в Хьюстоне (6 апреля 2025 года)
  • Сбой AKDB в Баварии (31 марта 2025 года)
• Энергоэффективность (PUE)
• Архитектура системы электроснабжения ЦОД
  • Внешнее электроснабжение
  • Автономные источники
  • Арендная модель автономной генерации для ЦОД
  • Гибридные решения
  • Источники бесперебойного питания
  • Внутренние распределительные сети
• Энергоэффективность и инновации
  • Использование отработанного тепла
  • Интеллектуальные системы управления электропитанием (DCIM)
  • Применение ИИ
• Тенденции и будущее автономного электроснабжения ЦОД

Центры обработки данных (ЦОД) являются основой современной цифровой инфраструктуры. Они обеспечивают работу облачных сервисов, нейросетей, big data и других критически важных систем. По данным Правительства РФ, за последние пять лет совокупная мощность российских коммерческих ЦОД выросла вдвое, достигнув 3,6 ГВт к февралю 2025 года при загрузке около 90 %. Этот рост обусловлен как объективными (цифровизация экономики), так и геополитическими факторами, ограничивающими доступ к зарубежным вычислительным ресурсам. Однако для бесперебойной работы ЦОД необходимы надежные и эффективные системы электроснабжения, построение которых становится сложной задачей в условиях ограниченной мощности и высокого (до 70 %) износа распределительных сетей.

Основные требования к системам электроснабжения ЦОД

Ключевые требования к современным системам электроснабжения ЦОД — надежность, автономность и энергоэффективность. Необходимо минимизировать риски сбоев, обеспечить независимость от внешних сетей и при этом добиться снижения эксплуатационных затрат.

Стандарты и нормативы

Требования к проектированию, эксплуатации и безопасности электроснабжения ЦОД регулируются международными и национальными стандартами. В частности, международный стандарт ANSI/TIA-942 устанавливает минимальные требования к инфраструктуре ЦОД, включая резервирование, отказоустойчивость и энергоэффективность. Кроме того, Uptime Institute разработал TIER Standard: Topology — классификацию дата-центров в соответствии с их отказоустойчивостью и возможностями резервирования. В России, помимо международных, применяются также национальный стандарт ГОСТ Р 58811–2020 «Центры обработки данных. Инженерная инфраструктура. Стадии создания» и ряд сводов правил (СП), регулирующих требования к электроустановкам, противопожарной безопасности и энергоэффективности ЦОД.

Надежность, отказоустойчивость и резервирование

Надежность систем энергообеспечения дата-центров определяется стандартами Uptime Institute:

• Tier I — базовый уровень без резервирования, допускающий простои при сбоях. Время простоя — 28,8 час/год, отказоустойчивость — 99,671 %;
• Tier II — частичное резервирование критически важных компонентов (N + 1), допустимое время простоя — 22 час/год, отказоустойчивость — 99,749 %;
• Tier III — полное резервирование активных компонентов (N + 1) и потоков (2N), допустимое время простоя — 1,6 час/год (99,982 %);
• Tier IV — полная отказоустойчивость (2N + 1), допустимое время простоя — 26 мин/год (99,995 %).

Большинство современных ЦОД в России ориентируются на уровень Tier III, обеспечивая до 99,982 % доступности (1,6 ч простоя в год). Tier IV используется на критически важных объектах — финансовых и государственных.

Необходимость автономности

Говоря о стандартах отказоустойчивости и резервировании, чаще всего рассматривают схемы с источниками бесперебойного питания (ИБП). Однако в России, где износ распределительных сетей достигает 70 % (в некоторых регионах — 82 %), критически важно наличие резервных или полностью автономных систем энергоснабжения. Это особенно актуально, если:

• ЦОД расположен в удалённом регионе с ограниченными возможностями подключения;
• в сети наблюдаются частые аварии, падения напряжения или плановые отключения;
• высокие тарифы на электроэнергию делают работу дата-центра малоокупаемой.

Примеры сбоев и уроки

Важность обеспечения автономности и отказоустойчивости дата-центров наглядно иллюстрируют реальные аварии и сбои, которые приводили к масштабным последствиям, финансовым и репутационным потерям. Например, только в марте — апреле 2025 года в разных странах произошло множество подобных случаев.

Сбой AWS в Токио (15 апреля 2025 года)

15 апреля в зоне доступности apne1-as4 региона AP-Northeast-1 (Токио) произошёл сбой в дата-центре Amazon Web Services (AWS). Причиной стало одновременное отключение основного и резервного источников питания, что вызвало перебои в работе платформ Binance, KuCoin и других. Пользователи сталкивались с ошибками и задержками при обращении к сервисам. Биржа Binance сообщила, что инженеры работают над устранением проблемы; через 5 минут операции по выводу средств возобновились, но некоторые сервисы оставались нестабильными.

Регион AP-Northeast-1 — ключевой для AWS в Азии. Компания работает в Японии с 2009 года, а в 2024-м анонсировала инвестиции 15 млрд долларов в развитие дата-центров в Японии на три года.

Сбой в ЦОД «Яндекса» (30 марта 2025 года)

30 марта в одном из дата-центров «Яндекса» произошла авария из-за неисправности на питающей подстанции 220 кВ, обеспечивающей энергоснабжение по двум линиям (по 110 кВ каждая). Обе линии отключились, что вызвало переход ЦОД на дизельные генераторы и остановку зоны доступности Yandex Cloud ru-central1-b. Сбой длился с 12:25 до 15:30 по мск и затронул сервисы «Яндекс Музыка», «Кинопоиск», «Яндекс Еда», «Циан», «Аптека.ру», «Яндекс Пэй» и др. Пик жалоб пришёлся на 12:45 – 14:20.

Сбой Google Cloud в Колумбусе (29 марта 2025 года)

29 марта в регионе us-east5-c (Колумбус, Огайо) произошёл сбой в дата-центре Google Cloud, длившийся более 6 часов и затронувший 20+ сервисов (виртуальные машины, хранилища, сеть). Причина — отказ системы ИБП после потери внешнего питания. Батареи ИБП были повреждены, что вызвало снижение производительности и нестабильность инфраструктуры.

Сбой в Хьюстоне (6 апреля 2025 года)

6 апреля в Хьюстоне (Техас, США) сильный шторм повредил инфраструктуру дата-центра, обслуживающего Департамент общественной безопасности Техаса (DPS). Это нарушило проверку автомобилей на выбросы и остановило работу инспекционных пунктов в нескольких округах. DPS подтвердил сбой, но не указал сроки восстановления.

Сбой AKDB в Баварии (31 марта 2025 года)

31 марта отказ мейнфрейма в дата-центре Баварского института муниципальной обработки данных (AKDB) парализовал работу 80 % регистрационных офисов Баварии (включая Пассау, Штраубинг-Боген и др.). Сбой остановил процессы регистрации и снятия автомобилей с учёта. Институт AKDB, основанный в 1971 году, управляет тремя дата-центрами в Байройте и Мюнхене.

Энергоэффективность (PUE)

Стандартом оценки энергоэффективности ЦОД является метрика Power Usage Effectiveness (PUE). Она рассчитывается как отношение общей потребляемой мощности (включая серверы, охлаждение, освещение и другие системы) к мощности, потребляемой ИТ-оборудованием. Например, PUE 1,5 означает, что на 1 кВт серверной нагрузки расходуется 0,5 кВт на инфраструктуру. Современные ЦОД стремятся к значениям PUE 1,1–1,3, что достигается за счёт:

• использования систем free cooling (охлаждение за счёт природного холода);
• применения высокоэффективных ИБП и генераторов;
• оптимизации систем распределения электроэнергии;
• интеграции традиционных и возобновляемых источников энергии.

Например, использование модульных чиллеров и фрикулинга позволяет снизить энергопотребление на охлаждение, которое может составлять до 50 % от общего потребления дата-центра.

Архитектура системы электроснабжения ЦОД

Система электроснабжения ЦОД включает несколько уровней.

1. Внешнее электроснабжение — подключение к энергосетям через высоковольтные линии;
2. Автономные источники — генераторы (газопоршневые, дизельные) для резервного и/или постоянного электропитания;
3. ИБП — обеспечивают краткосрочную автономию систем ЦОД при сбоях и ремонтных работах;
4. Внутренние распределительные сети — ГРЩ, PDU и АВР для управления распределением электроэнергии.

Каждая ступень проектируется с учётом резервирования и отказоустойчивости, чтобы исключить возможные простои.

Внешнее электроснабжение

Подключение осуществляется через два и более независимых ввода от разных подстанций, что снижает риск полного отключения. Однако в России износ магистральных (в среднем 50 %) и распределительных (70 %) сетей снижает надёжность внешнего электроснабжения. В некоторых регионах (например, Сибирь — до 82 %) подключение к сетям становится экономически нецелесообразным.

Автономные источники

Автономные системы включают:

• Дизель-генераторные установки (ДГУ) — быстрый запуск, высокая надёжность, но повышенные эксплуатационные расходы из-за топлива. Используются в основном как резервные источники;
• Газопоршневые установки (ГПУ) — более экономичные (в 4–6 раз дешевле дизельных) и эффективные, особенно при когенерации;
• Гибридные системы — сочетание генераторов с ВИЭ (солнечные панели, ветряки).

Газопоршневые установки. Работают на природном газе или биогазе, обеспечивая высокий КПД — до 45 % при производстве электроэнергии и до 90 % в схемах когенерации. Установки «Аггреко» мощностью 1 375 кВА состоят из двух модулей, размещённых в 20-футовых контейнерах, которые можно штабелировать для экономии места.

Дизель-генераторные установки. Обеспечивают быстрый запуск и надёжность при авариях, выдерживают пиковые нагрузки. «Аггреко» предлагает ДГУ от 125 до 1 500 кВА в контейнерах или кожухах — удобно для масштабирования и временного электроснабжения.

Арендная модель автономной генерации для ЦОД

Аренда генерирующих мощностей (ГПУ и ДГУ) позволяет избежать капитальных затрат и привлечения кредитов. Арендные платежи относятся к операционным расходам, что снижает налоговую базу. Компания «Аггреко Евразия» обеспечивает обслуживание оборудования и гибкое управление мощностями — оплачивается только реально используемый объём.

Гибридные решения

• Сочетание ГПУ и ДГУ: газовые генераторы обеспечивают постоянное питание, дизельные — резерв при сбоях.
• Интеграция с ВИЭ (солнечные панели, ветрогенераторы, геотермальные установки) снижает зависимость от топлива.

Источники бесперебойного питания

ИБП поддерживают кратковременную автономию и питание оборудования до запуска резервных генераторов.

• Офлайн (Standby) — активируются при сбоях, подходят для небольших ЦОД;
• Линейно-интерактивные — корректируют напряжение при колебаниях;
• Онлайн (Double Conversion) — нулевое время переключения, КПД до 98 %, применяются в Tier III–IV.

Внутренние распределительные сети

Включают:

• Главный распределительный щит (ГРЩ) — распределяет энергию от внешних и автономных источников;
• Трансформаторы — понижают напряжение до 400 В;
• Системы SCADA — мониторят состояние и нагрузку;
• АВР — автоматический ввод резерва при сбоях;
• PDU — распределители питания в стойках для контроля и защиты оборудования.

Энергоэффективность и инновации

Использование отработанного тепла

Когенерация позволяет снизить энергозатраты на 20–30 % за счёт использования тепла, выделяемого генераторами и серверным оборудованием:

• для охлаждения ЦОД — абсорбционные чиллеры преобразуют тепло в холод;
• для обогрева — тепло используется для отопления помещений ЦОД в холодное время года.

Интеллектуальные системы управления электропитанием (DCIM)

Системы DCIM (управления инфраструктурой ЦОД) объединяют данные от ИБП, генераторов, охлаждения и распределителей питания. Они позволяют:

• мониторить энергопотребление в реальном времени;
• оптимизировать распределение нагрузки;
• планировать профилактическое обслуживание.

Внедрение DCIM помогает снизить PUE и повысить эффективность энергоиспользования.

Применение ИИ

Современные дата-центры используют нейросети для оптимизации энергопотребления:

• Прогнозирование нагрузок — ИИ анализирует исторические данные и предсказывает пики потребления;
• Управление энергоресурсами — распределение нагрузки между сетями, генераторами и батареями;
• Поиск аномалий — раннее выявление сбоев в энергосистемах.

Пример: ИИ Google снизил энергопотребление на охлаждение ЦОД на 40 % благодаря оптимизации работы чиллеров.

Тенденции и будущее автономного электроснабжения ЦОД

Российский рынок ЦОД растёт на 30 % в год — из-за развития ИИ, облачных сервисов и ограничений на зарубежные ресурсы. Основные тренды:

• рост спроса на автономные решения на фоне износа сетей;
• распространение модульных ГПУ и ДГУ, а также гибридных систем с ВИЭ;
• аккумуляция энергии (водородные топливные элементы, литий-ионные батареи);
• новые технологии охлаждения — фрикулинг и современные чиллеры для снижения PUE;
• популяризация арендной модели распределённой генерации без капвложений.

Электроснабжение ЦОД — это сложная система, требующая интеграции надёжных, автономных и энергоэффективных решений. В условиях дефицита сетевых ресурсов модульные газопоршневые и дизельные генераторы становятся оптимальным выбором. Компания «Аггреко Евразия» предлагает гибкие арендные решения, обеспечивающие бесперебойную работу ЦОД без дополнительных инвестиций. Когенерация, ИИ и возобновляемые источники делают энергетику ЦОД устойчивой и экологичной, открывая перспективы для дальнейшего развития.