[Перевод] Как сохранить свой SSD и не угробить его

Прокомментировать Просмотры: 5

Рис. 1. Хронология событий

37 терабайт за три недели

В июне 2026 года пользователь Codex открыл issue в репозитории openai/codex, приведя данные, которые трудно было соотнести с одним файлом. База SQLite ~/.codex/logs_2.sqlite, где Codex хранит журналы обратной связи, занимала около 1,2 ГиБ и содержала 506 149 строк — вполне обычный объём для лога. Но счётчик, назначавший идентификаторы новым строкам, уже превысил пять с половиной миллиардов. За приблизительно 21 день непрерывной работы основной SSD компьютера принял около 37 ТБ данных, а проверка процессов и файлов указывала на журналы Codex как на главный источник записи. За 15 секунд наблюдения в базу добавилось 36 211 строк, однако их общее количество не изменилось: каждую вставку сопровождало удаление старой записи.

Я узнал об этой истории 2 ноября из публикации на dev.to под заголовком «Codex Was Torching Your SSD and Nobody Noticed for Months». Меня заинтересовала не столько сама ошибка, сколько утверждение о том, что её месяцами не замечали. О проблеме сообщили в июне, а в июле issue закрыли, поэтому для читателей репозитория к выходу статьи новость уже устарела. Меня же беспокоило время до её обнаружения: накопитель изнашивается совершенно незаметно, и я вдруг осознал, что не знаю, сколько данных мой Mac записывает за обычный день и какие программы за это отвечают. Через шесть дней после публикации статьи я выпустил первую версию Disk-O-Meter — небольшого приложения для строки меню, которое ежедневно подсчитывает запись на каждый диск и показывает процессы, создавшие её.

На износ накопителя влияет объём записанных данных, а не размер хранящихся файлов. Поскольку macOS не показывает первую величину в повседневном режиме, вышедший из-под контроля процесс может месяцами нагружать диск, оставаясь незамеченным. Разберёмся, как файл с неизменным размером способен изнашивать накопитель и почему привычные средства этого не обнаружили.

Как небольшой файл изнашивает большой диск

SSD хранит данные во флеш-ячейках, выдерживающих ограниченное число циклов стирания и перезаписи. Поэтому производители указывают ресурс накопителя в TBW (terabytes written, терабайтах записи) — общем объёме данных, который компьютер может отправить на диск в пределах гарантированного производителем ресурса.

Автор issue сопоставил показатели Codex с этой величиной. Если за 21 день записывается 37 ТБ, то за год при том же темпе получится около 640 ТБ, или примерно 640 полных перезаписей диска объёмом 1 ТБ. Ресурс некоторых потребительских SSD составляет порядка 600 TBW, а значит, при такой нагрузке его можно исчерпать менее чем за год. Впрочем, это лишь экстраполяция данных одного очень активного пользователя, а не прогноз для всех. Для владельцев Mac последствия могут быть особенно неприятными: Apple не публикует ресурс своих SSD, а флеш-память MacBook распаяна на материнской плате, поэтому заменить изношенный накопитель непросто.

Рис. 2. 37 ТБ, измеренные за 21 день, при том же темпе достигают ресурса 600 TBW, заявленного для некоторых дисков на 1 ТБ, примерно через 11 месяцев
Рис. 2. При темпе 37 ТБ за 21 день ресурс в 600 TBW, заявленный для некоторых дисков на 1 ТБ, будет достигнут примерно за 11 месяцев

Как же файл размером 1,2 ГиБ может стать причиной записи терабайтов данных? Ответ связан с устройством SQLite. В этом режиме изменения сначала дописываются в отдельный журнал упреждающей записи (write-ahead log, WAL), в данном случае — logs_2.sqlite-wal. Позже, во время контрольной точки (checkpoint), они переносятся в основной файл базы. Таким образом, новая строка лога записывается как минимум дважды: в WAL и на страницу базы. Кроме того, необходимо обновить индексы таблицы. Удаление старых строк, благодаря которому размер файла остаётся постоянным, тоже требует записи: соответствующие страницы приходится переписывать без удалённых данных. Это похоже на ванну с открытыми краном и сливом: уровень воды постоянен, но он ничего не говорит об объёме проходящего через неё потока. В случае Codex поток оказался огромным.

Рис. 3. И вставки, и удаления меняют страницы, а каждая изменённая страница записывается сначала в журнал упреждающей записи и ещё раз, когда контрольная точка копирует её в файл базы
Рис. 3. Вставка и удаление изменяют страницы. Каждая изменённая страница сначала записывается в WAL, а затем при создании контрольной точки копируется в файл базы

Причиной непрерывной записи оказалась всего одна настройка по умолчанию, которую автор issue обнаружил в коде на Rust.

Targets::new().with_default(Level::TRACE)

Из-за неё сохранялись все сообщения уровня TRACE из любых источников, в том числе библиотек, используемых Codex. TRACE — наиболее подробный уровень логирования, который обычно включают ненадолго при поиске ошибок.

Примеры из issue показывают, что происходит, когда этот режим работает целый день. Одно сообщение об открытии файла ld.so.cache было записано 128 764 раза, библиотека WebSocket при каждом опросе соединения построчно выводила сведения о своей работе, а сообщения TRACE занимали 70,7 процента данных, оставшихся в базе.

Рис. 4. Сообщения TRACE занимали 70,7 % того, что хранила база логов, а большую часть остального составляли сообщения INFO, во многом продублированная телеметрия
Рис. 4. Сообщения TRACE занимали 70,7 % базы логов. Большую часть оставшегося объёма составляли сообщения INFO, среди которых было много дублирующейся телеметрии

Размер файла — показатель, который естественнее всего проверить, — как раз и не мог обнаружить проблему. Это указывает на более общий недостаток привычных инструментов анализа дисков.

Невидимые показатели

Почти все сведения о хранилище, доступные на Mac, отвечают на вопрос о занятом месте. Окно «Свойства» в Finder, раздел «Хранилище» в Системных настройках и команда du показывают объём сохранённых данных. Для лога, который неделями занимает 1,2 ГБ, все они выдают успокаивающую картину. Однако диск изнашивает поток записи — количество байтов, записанных за день, — а снимок содержимого диска этого потока не отражает.

Рис. 5. База стабильно занимала около 1,2 ГБ, и только это могут показать Finder или du, тогда как диск под ней за 21 день записал около 37 ТБ, почти в 29 000 раз больше размера файла
Рис. 5. Finder и du показывали стабильный размер базы около 1,2 ГБ, тогда как за 21 день на диск было записано около 37 ТБ — почти в 29 000 раз больше размера файла

Средства измерения потока существуют, но обращаться к ним нужно самостоятельно и в подходящий момент.

  • Вкладка «Диск» в Мониторинге системы сортирует процессы по объёму записи, но считает данные с момента запуска каждого процесса и теряет их после его завершения. Сравнить сегодняшний день с прошлым вторником по этим цифрам не получится.

  • Команда iostat считывает дисковые счётчики ядра и показывает пропускную способность, но наблюдать за ней нужно непосредственно в терминале.

  • smartctl получает счётчик накопителя за весь срок службы — наиболее достоверный общий показатель. Однако на фоне многолетней истории один проблемный месяц легко упустить.

Ни один из этих инструментов не хранит ежедневную историю и не предупреждает об изменениях. Автор issue справедливо советует измерять не только занятое место, но и записанные байты, предлагая для этого те же средства. Однако они полезны прежде всего тому, кто уже заподозрил неладное. В истории с Codex проблема как раз заключалась в отсутствии причин для подозрений. Не хватало показателя, который виден без специальных поисков: он должен учитывать запись по дням, указывать ответственную программу, постоянно находиться перед глазами и предупреждать о превышении порога. Эти четыре требования стали основой Disk-O-Meter.

Что измеряет Disk-O-Meter

Необходимые данные уже доступны в macOS. Каждым диском управляет объект драйвера в I/O Registry — обновляемом каталоге ядра, который описывает подключённое оборудование. Каждый драйвер класса IOBlockStorageDriver содержит счётчики Bytes (Read) и Bytes (Write): они суммируют все прочитанные и записанные байты с момента загрузки Mac. Их использует и iostat; прочитать их может любой пользователь без специальных прав. Следующая команда выводит эти значения напрямую.

ioreg -c IOBlockStorageDriver -r -k Statistics | grep -E 'Bytes \((Read|Write)\)'

Если выполнить её дважды с интервалом в минуту, счётчик записи внутреннего диска увеличится на объём данных, записанных за это время. На этом простом принципе и построено приложение.

Счётчики сбрасываются при каждой загрузке, поэтому главная задача — сохранить историю между перезапусками. Disk-O-Meter считывает значения каждые 15 секунд, прибавляет разницу с предыдущим замером к текущим дню и часу и сохраняет контрольную точку. В ней находятся значения счётчиков и идентификатор сеанса загрузки, присвоенный ядром при старте. Если приложение закрыли и вновь открыли без перезагрузки, следующий замер учтёт всё, что накопилось после контрольной точки. После перезагрузки новый идентификатор укажет на сброс счётчиков, и приложение посчитает новое значение целиком. Аналогично обрабатывается повторное подключение внешнего диска, для которого создаётся новая запись драйвера. На Apple silicon внутренний SSD представлен несколькими пространствами имён NVMe: основным и небольшими контейнерами прошивки и восстановления. Приложение суммирует их как один диск. Для каждого внешнего накопителя ведётся отдельная история с привязкой к серийному номеру, поэтому она сохраняется и при возвращении диска под другим именем.

Рис. 6. Каждый замер добавляет прирост счётчика записи к текущему дню и часу, а сохранённая контрольная точка решает при следующем замере, продолжить ли счёт с того места, где он остановился, или считать новым всё значение счётчика
Рис. 6. При каждом замере прирост счётчика добавляется к текущему дню и часу. Контрольная точка помогает определить, продолжить прежний подсчёт или учесть новое значение счётчика целиком

В строке меню пользователь по умолчанию видит объём записи на внутренний SSD за текущий день. Значение отображается с тремя значащими цифрами, например 27.9 GB, чтобы ширина надписи не менялась в течение дня.

Рис. 7. Четыре вида надписи в строке меню, нарисованные приложением по тестовым значениям, показывают запись за сегодня, чтение и запись рядом, текущую скорость и запись за сегодня красным цветом после превышения лимита
Рис. 7. Четыре варианта надписи на тестовых данных: дневная запись, чтение и запись рядом, текущая скорость и дневная запись красным после превышения лимита

Щелчок по надписи открывает окно с вкладкой Usage. На ней представлены итоги за день, календарную неделю, месяц или произвольный диапазон, среднее значение за день и график с парными столбцами: синими для чтения и красными для записи. При выборе одного дня отображается пара столбцов на каждый час, для более длительных периодов — на каждый день.

Рис. 8. Вкладка Usage с почасовым графиком на тестовых данных обычного рабочего дня, где показатели записи ночью ниже, тогда как равномерный источник записи вроде лога Codex держал бы их высокими и глубокой ночью
Рис. 8. Почасовой график вкладки Usage на тестовых данных обычного рабочего дня: ночью запись снижается, тогда как непрерывный источник вроде лога Codex поддерживал бы её на высоком уровне

Лог размером 1,2 ГиБ, из-за которого диск принимает более полутора терабайт в сутки, не скрылся бы от такого представления: приложение считает весь проходящий поток, а не объём занятого места. Но сведения о нагрузке на диск отвечают лишь на половину вопроса. Нужно ещё выяснить, кто её создаёт.

Какие процессы пишут на диск

Для этого служит вкладка Processes, где ведётся учёт по программам. Каждые 15 секунд приложение получает накопленные дисковые счётчики процессов через системный вызов proc_pid_rusage, который сообщает объём чтения и записи с момента запуска. Прирост с предыдущего замера добавляется к дневному итогу для соответствующего имени процесса. Процессы различаются по идентификатору и времени запуска, чтобы повторно использованный идентификатор не приняли за прежнюю программу. В списке отображаются все процессы, которые читали или записывали данные за выбранный период, в порядке убывания объёма записи. Для каждого показаны красная полоска записи и синяя полоска чтения; поле сверху позволяет фильтровать список по имени.

Рис. 9. Вкладка Processes упорядочивает неделю тестовых данных по записанным байтам, включая системные демоны вроде mds_stores и backupd, которые видны только с дополнительным помощником. Агент, вышедший из-под контроля, оказался бы на самом верху этого списка
Рис. 9. Вкладка Processes сортирует тестовые данные за неделю по объёму записи. Системные демоны, такие как mds_stores и backupd, отображаются при наличии дополнительного помощника. Вышедший из-под контроля агент оказался бы вверху списка

Codex запускается от имени пользователя, а macOS разрешает программам читать счётчики других процессов той же учётной записи. Поэтому Codex с интенсивностью записи, описанной в issue, оказался бы на вершине списка уже в первый день без дополнительных разрешений. Я намеренно использую сослагательное наклонение: приложение появилось после исправления, и я не наблюдал старую версию Codex на своём Mac. Тем не менее этому механизму достаточно продолжительно работающего пользовательского процесса, а агент, оставленный на несколько дней, именно таковым и является.

Часто основной объём записи на Mac создают не пользовательские программы, а системные демоны от имени root: например, mds_stores из Spotlight, backupd из Time Machine и softwareupdated. Их счётчики macOS скрывает от обычных приложений. Для доступа к ним предусмотрен небольшой helper — демон внутри пакета приложения. После одобрения в Системных настройках он работает от root под управлением launchd и передаёт приложению счётчики всех процессов. Помощник только читает счётчики и ничего не записывает. В опубликованных сборках он отвечает исключительно клиенту, подписанному той же командой разработчика, поэтому другие программы использовать его не могут.

Даже с помощником сумма по процессам не всегда совпадает с общим объёмом записи на диск. Часть операций ядро выполняет без привязки к процессу, а программа, успевшая запуститься и завершиться между замерами, остаётся незамеченной. Поэтому в конце вкладки есть строка Other / unattributed — разница между итогом по диску и суммой по процессам. Если она заметно растёт, это тоже важная улика. Но сколь бы подробной ни была вкладка, её нужно не забывать открывать, а история Codex показывает, что такой привычки часто нет.

Метрики или уведомления?

Пока что польза всех описанных показателей зависит от того, посмотрит ли на них пользователь. Поэтому на вкладке Settings можно задать до двух лимитов записи для отдельных дисков за календарный день, неделю или месяц — например, 50 ГБ в день для внутреннего SSD или 1 ТБ в месяц для внешнего диска с резервными копиями. Полоска под лимитом показывает, какая доля уже израсходована, а плитка Written на вкладке Usage отображает то же значение, например 77% of 1 TB. Приложение проверяет лимиты каждые 15 секунд. При превышении показатель и надпись в строке меню становятся красными до конца периода, а пользователь получает уведомление — один раз для каждого лимита и периода.

Вкладка Settings с превышенным недельным лимитом, выделенным красным, и месячным лимитом, израсходованным меньше чем на пятую часть
Рис. 10. На вкладке Settings с тестовыми данными превышенный недельный лимит в 9 ГБ для внутреннего SSD выделен красным; месячный лимит в 1 ТБ использован менее чем на пятую часть

Масштаб проблемы хорошо виден по цифрам. Тридцать семь терабайт за 21 день — это примерно 1,76 ТБ в сутки, или около 20 МБ каждую секунду без перерыва. При равномерной записи дневной лимит в 50 ГБ был бы превышен примерно через 40 минут после полуночи. В действительности запись происходит рывками, поэтому точное время отличалось бы, но даже процесс, работающий в десять раз медленнее, превысил бы лимит задолго до конца дня. Автор issue заметил проблему лишь через три недели и 37 ТБ, тогда как лимит окрасил бы строку меню в красный уже в первый день.

Четыре вида надписи Disk-O-Meter в строке меню
Рис. 11. При среднем темпе из issue — около 20 МБ/с — дневной лимит в 50 ГБ превышается в 0:41. Даже при скорости в десять раз ниже это произойдёт до семи утра

Вместо дневного итога строка меню может показывать скорость за последние 15 секунд, например 12.4 MB/s. Оставленный без работы Mac периодически записывает данные для собственных нужд. Но если скорость не падает ниже двадцати мегабайт в секунду, пока владелец отошёл от компьютера, стоит открыть вкладку Processes и выяснить причину.

Я не могу рекомендовать конкретный лимит: у меня нет надёжного способа узнать, какая нагрузка обычна для вашей машины. Лучше позволить приложению неделю поработать без ограничений, изучить запись в обычные и напряжённые дни, а затем установить дневной предел с достаточным запасом над пиковыми значениями. Тогда красная надпись действительно будет значимым сигналом. При этом любое предупреждение зависит от качества исходных данных, а у этих показателей есть ограничения.

О чём счётчик не расскажет

Disk-O-Meter отображает запись со стороны хоста — байты, которые Mac попросил сохранить на диске. Это не то же самое, что физическая запись во флеш-память. Контроллер SSD перемещает данные для равномерного распределения износа и освобождения блоков с удалёнными данными, поэтому физически записывает больше, чем получил от компьютера. SSD Apple не раскрывают величину этого усиления записи, или write amplification. Ресурс TBW указывается для записи со стороны хоста, поэтому сравнивать его с показаниями приложения допустимо. Однако фактическая скорость износа флеш-памяти конкретного Mac зависит от множителя, недоступного ни этому приложению, ни другим программам.

Есть ограничения и у самого подсчёта. Приложение учитывает ввод-вывод во время своей работы или операции, совершённые ранее в рамках той же загрузки, поэтому его стоит добавить в объекты входа. При первом запуске оно лишь фиксирует исходную точку. Сбой или принудительное выключение могут привести к потере данных о вводе-выводе после последнего сохранения, которое происходит не реже одного раза в пять минут. На вкладку Processes не попадают программы, работавшие менее 15 секунд. Кроме того, счётчики процессов включают запись на внешние диски, поэтому их сумма может отличаться от итога по внутреннему SSD. Наконец, приложение поддерживает только macOS 26 и новее.

Историю с Codex тоже важно трактовать аккуратно. В примерах из issue встречаются ld.so.cache и inotify, относящиеся к Linux. Следовательно, 37 ТБ были измерены на Linux-машине одного очень активного пользователя. Ни автор issue, ни статья на dev.to не утверждают, что каждый пользователь Codex записал сопоставимый объём. На macOS журнал обратной связи тоже находится в ~/.codex, а настройка, отвечавшая за его заполнение, задавалась самим Codex. Но данных для конкретного Mac у меня нет, и лучше признать это прямо, чем переносить на него чужие измерения.

Для независимой проверки можно прочитать счётчик накопителя за весь срок службы с помощью smartctl, установленного через Homebrew.

brew install smartmontools
smartctl -a disk0 | grep 'Data Units Written'

Счётчик использует единицы по 512 000 байт. Если умножить его недельный прирост на эту величину, результат должен быть близок к показаниям Disk-O-Meter для внутреннего SSD за ту же неделю: оба инструмента учитывают запись со стороны хоста. Большое постоянное расхождение может означать, что запись происходит, когда приложение не работает, — и это само по себе полезное наблюдение.

Где скачать?

Disk-O-Meter доступен бесплатно под лицензией MIT. Подписанные и нотаризованные файлы DMG и ZIP опубликованы в репозитории Disk-O-Meter на GitHub. Установите ли вы приложение или просто откроете вкладку «Диск» в Мониторинге системы и отсортируете процессы по объёму записи, полезная привычка останется той же: следить не только за заполненностью диска, но и за тем, сколько данных на него записывается.

 

Источник

Похожие статьи

Поиск по играм, новостям и статьям…

Введите не менее двух символов

Введите не менее двух символов