GameBench: реальный бенчмарк против рекламного хайпаНасколько быстр смартфон, к которому вы прицениваетесь? Ориентироваться, как правило, приходится на абстрактные цифры синтетических бенчмарков. Но стоит ли вообще им верить, если известные бренды нет-нет да и попадаются на подстройке процессоров под бенчмарки? Есть один тест, который измеряет не количество малопонятных «попугаев», а реальную производительность аппарата в играх и других приложениях: FPS, загруженность процессора и памяти, расход батареи. Мы расскажем об этой программе, а в конце сделаем важный анонс.

Проблемы традиционных бенчмарков

Факт, индексы производительности бенчмарков влияют на продажи Android-устройств. Неудивительно, что время от времени отдельные участники рынка смартфонов пытаются обмануть популярные тесты, искусственно повышая частоты процессоров в этих приложениях. В начале этого года на жульничестве попались OnePlus и Meizu. Обычно компании отвергают обвинения в нечестности или просто отмалчиваются, но в этот раз OnePlus признала искусственный разгон процессора при запуске AnTuTu.

Справедливости ради, подобное мошенничество встречается нечасто. Главное, за что критикуют бенчмарки — это несоответствие результатов синтетических тестов тому, что мы получаем на практике, при реальном использовании гаджетов. Да, в бенчмарках рендерятся 3D-сцены, применяются эффекты к растровым изображениями, открываются тестовые веб-страницы, загружаются и редактируются PDF-документы, читаются записи из больших баз данных. Но в итоге вы всё равно получаете тех самых абстрактных «попугаев», которые ничего не скажут о том, насколько плавно будут идти «танчики» в сложных локациях и на максимальных настройках.

GameBench: реальный бенчмарк против рекламного хайпа

Недостатки традиционных бенчмарков проявляются ещё и в плохой воспроизводимости результатов. Для одинаковых смартфонов, протестированных в разных условиях, цифры будут отличаться. Для иллюстрации мы провели два замера производительности одного и того же смартфона с помощью AnTuTu, только в одном случае предварительно хорошенько заморозили бедолагу. Как видим, результаты отличаются на 5%.

GameBench: реальный бенчмарк против рекламного хайпа GameBench: реальный бенчмарк против рекламного хайпа

Бенчмарк, тестирующий реальные приложения

Однажды бывшие работники ARM и Mediatek решили сделать действительно объективный бенчмарк и основали стартап GameBench. Как видно из названия, главный полигон для этого тестового комплекса — игры. Но GameBench способен досконально изучить, как нагружают смартфон любые приложения: хоть 3D-шутеры, хоть мобильные браузеры, которые мы недавно протестировали.

  • GameBench: реальный бенчмарк против рекламного хайпа
  • GameBench: реальный бенчмарк против рекламного хайпа
  • GameBench: реальный бенчмарк против рекламного хайпа
  • GameBench: реальный бенчмарк против рекламного хайпа
  • GameBench: реальный бенчмарк против рекламного хайпа
  • GameBench: реальный бенчмарк против рекламного хайпа

В отличие от синтетических тестов, GameBench показывает FPS реальных приложений. Причём он выдаёт таймлайн, на котором видно, как изменялась частота кадров во времени. Хотите узнать, почему в определённый момент FPS просел? Выберите эту точку на графике и по скриншоту сможете увидеть, что здесь подгружался новый уровень игры или в браузере рендерилась особо тяжёлая страница.

GameBench: реальный бенчмарк против рекламного хайпа

Бенчмарк снимает и такие интересные данные, как частота работы отдельных ядер процессора и их активность — бесценно для оценки эффективности архитектуры в различных приложениях. Отдельные графики показывают загруженность GPU и потребление оперативной памяти. Таймлайн сетевой активности отображает входящий и исходящий от подопытного приложения трафик. Наконец, тест показывает насколько быстро то или иное приложение «съедает» заряд аккумулятора.

GameBench: реальный бенчмарк против рекламного хайпа

Результаты тестов доступны уже для полусотни моделей смартфонов. В этой таблице можно выбрать интересующее вас устройство и узнать, какую среднюю частоту кадров выдаёт в играх графическая подсистема и насколько велик разряд аккумулятора. Наглядная таблица позволяет сравнивать производительность смартфонов и выявлять интересные закономерности.

GameBench: реальный бенчмарк против рекламного хайпа

Для начала работы с бенчмарком необходимо пройти регистрацию. Дело в том, что Gamebench продаёт свой продукт компаниям, а энтузиастам предоставляет бесплатно (30 минут в месяц). Регистрационные данные позволяют отделить одних пользователей от других. Кроме того, перед началом измерений необходимо единоразовое подключение смартфона к ПК. Только таким образом можно получить доступ к Android на глубоком уровне без прав суперпользователя — root.

В блоге GameBench регулярно публикуются наиболее интересные факты, которые помог выявить бенчмарк. Клоны Candy Crush Saga, например, быстрее расходуют заряд аккумулятора, чем оригинал. А самая «безлаговой» и плавной игрой в жанре MOBA на смартфонах оказалась Vainglory.

GameBench: реальный бенчмарк против рекламного хайпаGameBench: реальный бенчмарк против рекламного хайпаGameBench: реальный бенчмарк против рекламного хайпа

 

Добавить комментарий

Ваш e-mail не будет опубликован.