Центры обработки данных стали ключевыми компонентами современной ИТ-инфраструктуры. Росту российского рынка ЦОД способствует национальная программа «Цифровая экономика Российской Федерации» [1].

Требования к потреблению энергии и охлаждению в центрах обработки данных являются критическими проблемами как с точки зрения растущих эксплуатационных расходов, так и с точки зрения их воздействия на окружающую среду.

Одним из основных параметров центров обработки данных является энергоэффективность. Энергоэффективность ЦОД определяется отношением общей мощности, потребляемой ЦОД, к мощности, потребляемой ИТ-оборудованием. Основным фактором, влияющим на энергоэффективность ЦОД, является эффективность систем охлаждения [2].

При определении требований к центрам обработки данных необходимо учитывать тенденции развития информационных систем и телекоммуникаций. Для решения задачи управлениями ресурсами требуются динамические методы. Технологии, используемые в современных серверных платформах на базе архитектуры x86, позволяют в режиме реального времени контролировать энергопотребление, выделяемое тепло от оборудования и утилизацию вычислительных ресурсов. Эти данные доступны в интерфейсе IPMI (Intelligent Platform Management Interface). На основе этих данных возможно принятие взвешенных решений по оптимизации вычислительной нагрузки на оборудование.

Основными методами повышения энергоэффективности ЦОД являются:

- консолидация вычислительной нагрузки;

- балансировка вычислительной нагрузки;

- использование кондиционеров с частотно-регулируемым приводом.

Консолидация нагрузки заключается в том, чтобы сконцентрировать вычислительную нагрузку на наиболее производительных серверах, а менее производительные серверы перевести в режим ожидания. Снижение потребления мощности основано на переводе менее загруженных и менее производительных серверов в состояние пониженного энергопотребления.

Балансировка рабочей нагрузки – это метод, направленный на создание единого профиля по стойкам и рядам (Uniform Outlet Profile, UOP), чтобы уменьшить количество горячих и холодных точек в ЦОД. Наличие горячих и холодных точек в ЦОД нарушает распространение охлажденного воздуха от кондиционеров и значительно снижает эффективность систем охлаждения.

Применение кондиционеров с частотно-регулируемым приводом (Variable Frequency Drive, VFD) – это метод, подразумевающий модификацию систем охлаждения. Управление кондиционерами с частотно-регулируемым приводом позволяет снижать мощность систем охлаждения в наименее нагруженных частях центров обработки данных.

Цель исследования заключается в оценке эффективности применении методов повышения энергоэффективности ЦОД на основе данных телеметрии, полученной с интерфейса IPMI.

Материал и методы исследования

Оценка эффективности применении методов повышения энергоэффективности ЦОД состояла из нескольких этапов:

- настройка тестового стенда и подключение к платформе Intel DCM Energy Director;

- проведение нагрузочного тестирования на стенде и фиксация данных об энергопотреблении и тепловыделении посредством платформы Intel DCM Energy Director;

- моделирование полученных данных ЦОД в САПР Autodesk CFD.

Тестовый стенд состоит из двух серверных стоек 42U. В стойках размещены коммутаторы Arista DCS-7050T, серверы Dell PowerEdge R540 и серверы Dell PowerEdge R240 на базе Intel Xeon E-2200. Схема расположения оборудования в стойках представлена на рисунке 1.

Был проведен анализ имитационной модели со случайным распределением вычислительной нагрузки без применения каких-либо методов повышения энергоэффективности ЦОД. После чего проводился анализ с последовательным применением каждого из методов:

- консолидации нагрузки;

- балансировки вычислительной нагрузки;

- использования кондиционеров с частотно-регулируемым приводом.

В таблице 1 отображен результат применения метода консолидированного распределения вычислительной нагрузки. Указана средняя мощность (указано за год). Температура усредняется по 14 блокам CRAC.

Данные, собранные в ходе нагрузочного тестирования, были использованы для создания имитационной модели машинного зала, состоящего из:

- 300 серверных стоек 42U;

- 15 блоков распределения питания (Power Distribution Unit, PDU PDU).

- 14 блоков кондиционирования воздуха в серверных помещениях (Computer Room Air Conditioner, CRAC).

Схема машинного зала представлена на рисунке 2. Имитационная модель построена на архитектуре центра обработки данных с чередующимися горячими и холодными коридорами [3].

Полученные данные использовались для оптимизации распределения вычислительной нагрузки на основе телеметрии вычислительной платформы. Затем полученные данные были применены к имитационной модели, которая состоит из методов вычислительной гидродинамики (Computational Fluid Dynamics, CFD) для оценки влияния оптимизации распределения вычислительной нагрузки на энергопотребление и тепловыделение центра обработки данных в среде Autodesk CFD.

Метод консолидации вычислительной нагрузки значительно повлиял на общее потребление мощности и количество серверов. Благодаря консолидации нагрузки удалось освободить примерно 24 серверные стойки.

После этого к модели, оптимизированной при помощи метода консолидации нагрузки, был применен метод балансировки вычислительной нагрузки (UOP), чтобы уменьшить количество горячих и холодных точек в машинном зале.

Рис. 1. Схема тестового стенда, используемого для сбора данных

Рис. 2. Схема машинного зала, используемого для исследования

Таблица 1

Сравнение результатов моделирования при случайном распределении нагрузки и при консолидированном распределении нагрузки

Таблица 2

Сравнение результатов моделирования при консолидированном распределении нагрузки и при балансировке нагрузки после консолидации

Таблица 3

Сравнение результатов моделирования при балансировке нагрузки после консолидации и при использовании кондиционеров с VFD

В таблице 2 отображен результат применения метода балансировки вычислительной нагрузки после применения метода консолидированного распределения вычислительной нагрузки.

Таблица 2 не показывает существенного изменения энергопотребления. Однако достигнуто повышение производительности вычислительного оборудования по показателю IOPS.

Основным преимуществом балансировки вычислительной нагрузки является устранение горячих и холодных точек в машинном зале. Равномерность тепловыделения в машинном зале позволяет использовать кондиционеры с частотно-регулируемым приводом [4].

В таблице 3 отображен результат применения в блоках CRAC кондиционеров с частотно-регулируемым приводом.

Таблица 4

Результаты оптимизации

Рис. 3. Энергопотребление неоптимизированного и оптимизированного ЦОД

Таблица 3 демонстрирует существенное изменение использования ресурсов ЦОД в первую очередь за счет снижения энергопотребления системы охлаждения. Это изменение связано с применением метода UOP и кондиционеров с VFD.

Результаты исследования и их обсуждение

Оптимизация центров обработки данных – это поиск нерационально использующихся ресурсов. Основные результаты, достигнутые путем поэтапного применения трех методов оптимизации:

- уменьшилось количество активных серверов;

- увеличилась производительность активных серверов;

- уменьшилось энергопотребление системы охлаждения.

Достигнутые результаты представлены в таблице 4.

На рисунке 3 представлено энергопотребление в центре обработки данных до применения методов оптимизации и после трех этапов оптимизации. Разница энергопотребления составила 22%.

Основным показателем энергоэффективности центра обработки данных является PUE [2]:

PUE = EDC / EIT.

В результате применения методов оптимизации PUE моделируемого центра обработки данных улучшился с 1,93 до 1,71 [2].

Необходимо учитывать ряд ограничений при использовании представленного анализа методов повышения энергоэффективности на примере имитационной модели:

- имитационная модель построена на архитектуре центра обработки данных с чередующимися горячими и холодными коридорами [3];

- практические результаты будут зависеть от ряда условий, в первую очередь от архитектуры ЦОД и моделей вычислительного оборудования;

- для использования данных телеметрии с вычислительного оборудования необходим интерфейс IPMI (он есть на большинстве современных серверных платформ);

- использование кондиционеров с частотно-регулируемым приводом подразумевает аппаратную модификацию блоков CRAC;

- методы консолидации вычислительной нагрузки и балансировка вычислительной нагрузки в среде виртуализации подразумевают под собой миграцию виртуальных машин, которая может вызвать деградацию производительности [5].

Заключение

Результаты оценки эффективности методов оптимизации, полученные в итоге имитационного моделирования, могут применяться в центрах обработки данных. Использование телеметрии, полученной через интерфейсы IPMI, позволяют эффективно управлять нагрузкой на вычислительное оборудование и системами охлаждения. Важно отметить, что практические результаты будут зависеть от ряда условий. В первую очередь от архитектуры ЦОД и моделей вычислительного оборудования ЦОД.