OnePlus и Meizu уличены в «обмане» бенчмарков

Чтобы представить свою продукцию в наиболее выигрышном свете, производители готовы пойти на многое, включая обман и невзирая даже на то, что они рискуют поплатиться репутацией. Все мы прекрасно помним, чем для Volkswagen обернулась попытка использовать «читерские» приёмы занижения показателей токсичности выхлопа дизельных двигателей. Но, судя по всему, та история не послужила уроком для OnePlus, которую участники сообщества XDA Developers уличили в махинациях с бенчмарками.

Специалистам XDA Developers показалось странным поведение процессора Qualcomm Snapdragon 821 в смартфоне OnePlus 3T при выполнении им тестовых приложений. Их насторожило, что в таких случаях даже при отсутствии нагрузки чип не понижает тактовую частоту до минимальных значений, а держит её на уровне 1,3 ГГц для высокопроизводительных и 1 ГГц для энергоэффективных ядер. Также было обнаружено, что устройство отслеживает запуск популярных программ для измерения производительности: Geekbench, AnTuTu, Androbench, Quadrant, Vellamo и GFXBench.

Чтобы вывести OnePlus 3T на чистую воду, энтузиасты XDA Developers в сотрудничестве с компанией Primate Labs использовали обычный бенчмарк Geekbench 4, но «замаскированный» под якобы другое приложение Bob’s Mini Golf Putt. Результат подтвердил предположения: в режиме скрытого теста (на графиках ниже обозначен линиями красного цвета) во время простоев смартфон спокойно снижал частоту ядер до минимальных 310 МГц и работал медленнее, температура CPU также была ниже.

Обратившись за разъяснениями в OnePlus, организаторы эксперимента получили ответ, что обнаруженный ими режим был внедрён с благородной целью — обеспечить наивысшую эффективность при работе с ресурсоёмким софтом и «тяжёлыми» играми. Тем не менее, в компании пообещали убрать из будущих версий Oxygen OS специальные настройки для бенчмарков.

После инцидента с OnePlus 3T в сообществе XDA Developers озаботились проверкой и других смартфонов на предмет наличия у них особых режимов для тестирования. То, что аналогичную схему использовал и OnePlus 3, откровением для них не стало, ведь аппараты работают под управлением одинакового ПО, а вот выявление схожего метода приукрашивания замеров в Meizu Pro 6 даёт основания полагать, что столь избирательное отношение гаджетов к бенчмаркам вскоре может стать тенденцией. Впрочем, в этом вопросе OnePlus и Meizu отнюдь не первопроходцы: в прошлом манипулировать результатами тестов пытались и другие бренды, включая Samsung, HTC, LG и ASUS.