Google больше не поддерживает браузерный бенчмарк Octane

Google прекратила поддержку популярного браузерного бенчмарка Octane. Выяснилось, что тест оказывает пагубное влияние на качество браузеров в целом.

Octane с 2012 года широко использовался разработчиками для оценки того, насколько хорошо в программе работает JavaScript, ключевой компонент браузера. Приложения стали получать в бенчмарке всё лучшие оценки, и Google заметила одну вещь: «варианты оптимизации JavaScript, которые давали более высокие оценки в Octane, часто оказывали пагубное влияние на реальные сценарии».

Причиной этому отчасти стало то, что бенчмарк разработан для браузеров, которые существовали пять лет назад. В том, что проверяет Octane, теперь эффективен практически каждый браузер. К тому же веб-сайты сегодня создаются совершенно иначе.

Google пишет, что Octane «не учитывал важные варианты использования в современной Сети» и зачастую не работает «как реальный код».

Более того, разработчики часто использовали уловки для взвинчивания результатов — даже несмотря на то, что из-за этого браузеры хуже работали в реальных условиях. В одном из случаев разработчики использовали баг, который давал «прирост» производительности в 15 %, хотя при просмотре сайтов это никак не проявлялось.

Помимо этого, Octane не поощрял некоторые варианты оптимизации, которые на самом деле могли улучшить производительность браузера.

Из-за всего этого Google прекратила поддержку бенчмарка и советует разработчикам быть осторожными при использовании таких тестов. «К сожалению, похожие проблемы присутствуют в других статических и синтетических тестах», — пишет команда авторов JavaScript-движка Chrome.