Упрощённые модели в тепловых расчётах BBU: что мы применяли

Отвод тепла — одна из главных проблем современных вычислительных систем с высоким тепловыделением. Если жидкостное охлаждение применить нельзя, а радиатор уже невозможно сделать больше, остаётся искать иные способы защитить оборудование от перегрева.

Проектирование вычислительных систем немыслимо без математического моделирования, однако на стадии проработки конструкции полноценные расчётные модели отнимают слишком много времени. Упрощение геометрии и моделей компонентов ускоряет работу, но у этого подхода есть оборотная сторона: при чрезмерных упрощениях можно сделать ошибочные выводы о (не)работоспособности конструкции и «похоронить» удачную идею ещё на раннем этапе. Поэтому важно понимать, какие ограничения накладывают упрощённые модели, и уметь минимизировать их влияние.

Базовая станция — массовый продукт, и к ней предъявляются жёсткие требования по технологичности, простоте сборки и обслуживания. Всё это напрямую определяет архитектуру системы охлаждения. Чтобы создать надёжное решение, приходится пройти через множество итераций: сначала меняется компоновка корпуса (последовательное размещение модулей с нагнетающими вентиляторами), затем — расположение компонентов на плате. Без упрощённых расчётных моделей этот процесс растянулся бы на неопределённый срок.

Меня зовут Александр Воробьев, я ведущий инженер по моделированию в YADRO. В этой статье расскажу, как мы моделировали систему охлаждения BBU и какой подход помог нам сократить сроки. Описанные решения универсальны, так что вы сможете применить их в собственных проектах.

Все статьи цикла о разработке базовых станций в YADRO

Статья 1. «Простая конструкция, но высокая вычислительная мощность: в чем особенность разработки базовых станций».

Статья 2. «Почему антенны работают на физике XIX века, но требуют технологий XXI».

Статья 3. «Как базовая станция превращает данные в радиосигнал: разбираем цифровой тракт радиомодуля».

Статья 4. «Какие этапы разработки и тестирования проходит радиомодуль в YADRO».

Статья 5. «Эволюция сетевой подсистемы базовой станции: как мы пришли от программного маршрутизатора к аппаратному ускорению».

Статья 6. «„Железо“ под давлением: как протестировать тысячи плат для базовых станций».

Статья 7. (вы сейчас здесь)«Сложная задача и мало времени: какие упрощённые модели мы применяли для тепловых расчётов BBU».

Компоновочные решения для BBU

Взгляните на фотографию:

Главное достоинство такой компоновки BBU — удобный доступ ко всем модулям. Но есть и трудность: воздух проходит через корпус от одного края к другому и поочерёдно охлаждает два модуля в ряду, причём модули должны быть взаимозаменяемыми и оснащаться одинаковыми радиаторами. Ситуацию осложняет то, что перед вторым модулем воздух уже нагрет первым, а скорость потока на входе во второй модуль также отличается.

На плате каждого модуля BBU расположено несколько источников тепла, и мощность тепловыделения у каждого из них разная и весьма значительная. Поначалу мы планировали поставить на каждый источник отдельный радиатор, чтобы тепловые потоки не влияли друг на друга. Однако анализ этой компоновки показал, что площади охлаждения остро не хватает. Кроме того, нам было важно защитить модуль от случайных механических воздействий.

В итоге мы остановились на общем радиаторе с испарительной камерой в основании и металлическом бэкплейте на обратной стороне печатной платы. Благодаря высокой планарной теплопроводности такая конструкция позволила увеличить площадь оребрения и добиться равномерного прогрева рёбер по всей поверхности.

Сейчас мы ищем в команду инженера-конструктора. Откликайтесь, если хотите проектировать механику сложного серверного оборудования, СХД, сетевых и клиентских устройств и не только. Кроме того, в телеком-направлении открыты вакансии инженера по тестированию цифровых модемов и инженера по полевым испытаниям.

Со всеми открытыми вакансиями YADRO можно ознакомиться на карьерном сайте.

Чего не учитывает упрощённая модель вентилятора

На раннем этапе проектирования системы охлаждения необходимо подобрать размеры радиаторов и обеспечить нужный расход воздуха через них, причём эти задачи тесно связаны. С определённой долей приближения их можно решить аналитически, но большинство аналитических моделей исходит из равномерного потока на входе в радиатор. Для систем с вентиляторами это серьёзное допущение — хотя бы из-за формы проходного сечения и направления движения воздуха.

В CAE-пакетах направление воздушного потока от вентилятора можно задать двумя способами:

• MRF (Moving Reference Frame) — для этого требуется геометрия проточной части вентилятора.

• Аналитическая модель вентилятора с заданной P-Q-характеристикой.

Без дополнительных условий эта характеристика описывает лишь осевую скорость потока через вентилятор. Однако вращение рабочего колеса изменяет направление потока на выходе и закручивает его.

Схематично это выглядит так:

Не зная формы лопаток, точно определить вектор потока невозможно. Чтобы учесть закрутку, CAE-пакеты добавляют к вектору скорости окружную составляющую порядка 5% от окружной скорости колеса. Подробности можно найти на ansyshelp.

где — скорость потока в направлении вращения, — частота вращения вентилятора, — радиус сечения на рисунке выше.

Направление потока меняет и спрямляющий аппарат, установленный за колесом высокооборотного вентилятора. На изображениях ниже хорошо видно, как учёт направления потока на выходе из вентилятора влияет на его траекторию:

Чтобы справиться с этой проблемой, пришлось глубже изучить вентиляторы и выяснить, в каком направлении воздух покидает их. Для этого мы отдельно рассчитали закрутку потока используемых вентиляторов с учётом направляющего аппарата за рабочим колесом. Затем полученные параметры закрутки мы внедрили в упрощённую модель вентилятора, которую использовали для теплового расчёта базовой станции.

В ходе исследований мы заметили: по сравнению с изменением компоновки модулей и корпуса закрутка потока слабо влияет на интегральные показатели работы базовой станции — температуру процессоров и расход воздуха. Тем не менее при проектировании системы охлаждения этот параметр всё же стоит учитывать: он позволяет точнее прогнозировать распределение тепла по радиаторам и выявлять зоны локального перегрева компонентов.

Влияние закрутки потока на выходе из вентилятора наглядно показано на иллюстрациях. Температурные шкалы в обоих случаях имеют одинаковые пределы:

Помимо закрутки потока, при проектировании системы охлаждения необходимо оценивать рабочую точку вентилятора: она не должна попадать в зону помпажа на его характеристике. Сама закрутка тоже смещает рабочую точку на кривой характеристики вентилятора.

Как мы выбирали термоинтерфейс

Ещё одна задача раннего этапа проектирования — определить теплопроводность термоинтерфейса, передающего тепло от микросхем к радиатору.

Известно, что для малого теплового сопротивления в контакте двух тел необходимо значительное усилие прижатия. В серверных и десктопных решениях система охлаждения, как правило, обслуживает один процессор, а свободное размещение компонентов позволяет локально усилить печатную плату под сокетом. В телеком-оборудовании такая роскошь недоступна. На плате одного модуля может размещаться несколько источников тепла с теплораспределителями разной высоты, а сама плата жёстко ограничена по габаритам. Вкупе с плотной компоновкой это не оставляет места для элементов жёсткости, которые снижали бы локальный прогиб платы под процессорами. В такой конструкции термопаста уже не годится: при наличии зазоров или отклонений контактирующих поверхностей от плоскостности она работает заметно хуже. К тому же нанесение термопасты — отдельная технологическая операция, усложняющая сборку модуля. А выступы на радиаторе для компенсации разной высоты компонентов сводят на нет унификацию системы охлаждения. Поэтому мы остановились на термопрокладках.

Согласно характеристике, для минимального теплового сопротивления термопрокладку необходимо сжать. Но как добиться этого без локальных элементов жёсткости под процессорами (бустер-плейтов)? Есть два варианта:

• Взять самую мягкую термопрокладку.

• Разместить точки крепления радиатора как можно ближе к процессорам, чтобы уменьшить прогиб печатной платы.

С точками крепления всё более-менее ясно, а вот как выбрать жёсткость термопрокладки? Очевидный ответ — смоделировать!

С какими трудностями мы столкнулись

У мягких термопрокладок есть своя проблема: без экспериментальных данных сложно определить коэффициенты гиперупругой модели материала. Существуют приближённые зависимости, построенные на основе измерений, которые позволяют вычислить параметры материала лишь по его твёрдости. Но для мягких материалов, твёрдость которых измеряют Как рассчитать тепловое сопротивление термопрокладки

Маршрут расчёта

С учётом деформации деталей модуля порядок расчёта выглядит так:

1. Собираем исходные данные. Определяем толщину термопрокладки, площадь контакта и зазоры с учётом допусков. Фиксируем механические свойства деталей и характеристики прокладки: зависимости сжатия от давления и удельного теплового сопротивления от давления.

2. Рассчитываем предварительное сжатие. Для каждого варианта допусков находим разницу между исходной толщиной прокладки и зазором между компонентом и радиатором — так задаётся рабочий диапазон сжатия.

3. Определяем эквивалентную жёсткость. По характеристике термопрокладки находим диапазон давлений с учётом допусков компонентов системы охлаждения, пересчитываем его в усилие через площадь контакта и подбираем эквивалентную жёсткость, которую описывает пружина с линейной характеристикой.

4. Проводим статический расчёт сборки. Заменяем термопрокладку эквивалентной пружиной в сборке и выполняем статический расчёт. Так мы учитываем деформации системы охлаждения и печатной платы при сборке, которые влияют на итоговую величину сжатия термопрокладки.

5. Уточняем сжатие термопрокладки. По относительным перемещениям контактирующих поверхностей определяем итоговое, то есть фактическое, сжатие термопрокладки. Если оно выходит за выбранный диапазон, корректируем жёсткость эквивалентной пружины и повторяем расчёт.

6. Находим контактное давление. Для этого используем фактическое сжатие и характеристику термопрокладки от производителя.

7. Рассчитываем тепловое сопротивление. По полученному давлению определяем удельное тепловое сопротивление и делим его на площадь контакта, согласовав единицы измерения. Результат применяем в тепловых расчётах.

Деформация деталей влияет на зазор между процессором и радиатором, а вместе с ним — на сжатие и контактное давление термопрокладки. Поэтому сначала мы рассчитываем механическое состояние сборки, а уже по нему определяем тепловое сопротивление термопрокладки.

В качестве примера возьмём термопрокладку, установленную на контрольной плате BBU между процессорами и радиатором.

Разбираем на примере

Шаг 1. Собираем исходные данные

Для расчёта нужны размеры процессора и расстояние от его теплораспределителя до радиатора с учётом допусков на размеры деталей. Толщина термопрокладки — 2 мм.

Рассмотрим три группы размеров деталей:

• Номинальный зазор — все размеры деталей берём без учёта допусков.

• Максимальный зазор — размеры деталей берём с допусками так, чтобы расстояние между крышкой процессора и основанием радиатора было наибольшим.

• Минимальный зазор — размеры деталей берём с допусками так, чтобы расстояние между крышкой процессора и основанием радиатора было наименьшим.

Шаг 2. Рассчитываем предварительное сжатие

Зная размеры процессора и расстояние от его теплораспределителя до радиатора, можно определить сжатие термопрокладки для каждого варианта допусков.

Результаты:

Группа размеров деталей	Зазор, мм	Сжатие термопрокладки, %
Номинальный зазор	0,831	58,45
Максимальный зазор	1,031	48,45
Минимальный зазор	0,631	68,45

Шаг 3. Определяем эквивалент

 

Источник