JBenchmark

JBenchmark — серия тестов производительности (бенчмарков) для платформы Java ME, разработанных венгерской компанией Kishonti Informatics LP. В настоящее время (2008) доступно 9 пакетов тестов для различных подсистем телефона. Большинство тестов бесплатны в базовой версии, позволяющей увидеть результат только после отправления его на сайт производителя теста.

С помощью этих вкладов пользователей на сайте ведется база результатов тестирования телефонов. Для обычных пользователей эта база, возможно, более полезна, чем сами тесты — в ней содержатся данные о производительности, а также о программном и аппаратном обеспечении более чем 1500 устройств. Большая часть данных открыта, но часть доступна только по платной подписке .

Особенности

Все ранние тесты (JBenchmark 1.0, JBenchmark 2.0, JBenchmark 3D, JBenchmark HD) доступны по следующей модели. Сами тесты доступны для скачивания и использования бесплатно. После выполнения теста можно увидеть результат. При желании этот результат можно послать на сайт JBenchmark, где он, после модерации, попадет в общую базу данных.

В сентябре 2006 года вышел JBenchmark Pro. Этот набор, в отличие от предыдущих, представлял собой не один скачиваемый Мидлет, а множество (86 штук) тестов производительности различных подсистем телефона. Пользователь может выбрать нужные ему тесты и собрать из них особый Мидлет. В это приложение также включается система диагностики Java ME, которая собирает информацию о доступных JSR и других возможностях платформы.

Однако важным нововведением JBenchmark Pro является то, что данные после тестирования становятся доступны не сразу, их необходимо сначала загрузить в базу, и только после подтверждения с сайта результат выводится на экран. Однако при наличии особой платной (корпоративной) подписки есть возможность получить мидлет, работающий как ранние тесты, т. е выдающий результат сразу на экран.

На основе механизма JBenchmark Pro построено и большинство более поздних наборов тестов (JBenchmark ACE, JBenchmark Net, JBenchmark SVG). Однако JBenchmark 239 в настоящее время (июль 2008) доступен только как Corporate Edition.

С января 2008 года стала доступна дополнительная возможность: за особую платную подписку можно получить доступ к закрытой части базы данных устройств, а также к некоторым дополнительным услугам сайта.

Наборы тестов

JBenchmark 1.0

JBenchmark 1.0 был первым набором тестов, выпущенным компанией, продуктом, который принес ей мировую известность. Он базировался на MIDP 1.0 и поэтому работал практически на любом телефоне. Однако, тесты были направлены на измерение возможностей телефонов того времени, поэтому в настоящее время этот набор может считаться устаревшим.

Содержит в себе 5 простых тестов, направленных на измерение скорости работы различных типов приложений. Каждый из тестов выполняется в течение 10 секунд. Количество кадров которое успеет отрисоваться за это время, и является результатом теста. Полный результат JBenchmark 1.0 — сумма результатов всех пяти тестов.

Тесты:

• Text drawing — экран заполняется текстовыми строками случайного цвета и размера
• 2D shapes — рисует множество двумерных графических фигур различной формы
• 3D shapes — базовыми средствами двухмерной графики MIDP 1.0 рисует вращаюшийся куб
• Fill rate — заполненяет экран небольшими прямоугольниками случайного цвета с целью измерить скорость заполнения графического буфера большим объемом данных
• Animation — вращающееся изображение земного шара (последовательная отрисовка частей PNG файла)

JBenchmark 2.0

В феврале 2004 года вышла новая версия теста — JBenchmark 2.0, базирующаяся на MIDP 2.0. Этот более требовательный к аппаратуре набор, также как и JBenchmark 1.0, содержит в себе 5 тестов:

• Image manipulation — манипулирование содержимым и отрисовка растрового изображения (используется изображение Моны Лизы)
• Text drawing — по экрану прокручивается кусок текста из книги
• Gaming scene — попытка в плане графики воспроизвести поведение типичной двухмерной компьютерной игры для телефона
• 3D transformation — как и в аналогичном тесте JBenchmark 1.0, попытка сэмулировать трёхмерную графику базовыми средствами MIDP, без использования специализированных JSR. Отображается вращающаяся шахматная фигура — конь.
• User interface speed — измеряет скорость работы интерфейса приложения, построенного на стандартных элементах управления MIDP

JBenchmark 3D

В феврале 2005 года компания Kishonti Informatics выпустила третий тест графической подсистемы Java ME, на этот раз для необязательного стандарта трехмерной графики (JSR-184). Как заявляется, набор тестов пытается создать нагрузку на графическую подсистему аналогичную таким играм как 3D-шутер.

Содержит 4 теста:

• Triangle throughput — для измерения максимально возможного отображения нетекстурированных треугольников в секунду
• Texturing performance — для измерения скорости текстурирования
• Low Quality — воспроизводит кадры типичного (по мнению Kishonti Informatics) 3D-шутера для низкопроизводительных устройств
• High Quality — трехмерная игра в расчете на наиболее высокопроизводительные (на момент выхода набора тестов) устройства

JBenchmark HD

JBenchmark HD вышел в январе 2006 года и предназначался для тестирования наиболее производительных в то время Java ME устройств. Как и JBenchmark 3D, воспроизводит нагрузку на графическую подсистему, создаваемую 3D-шутерами, основывающимися на стандарте трёхмерной графики JSR-184. Однако тесты нового набора намного требовательней к аппаратуре.

Но главным отличием от JBenchmark 3D является то, что проверяется не только скорость, но и качество отрисовки. Кроме того, появилась возможность загрузить снимок экрана на сайт. Таким образом, при просмотре базы данных, находящейся в свободном доступе, можно узнать не только результаты тестов, но и визуально сравнить изображения, получаемые на различных телефонах.

JBenchmark Pro

Jbenchmark Pro вышел в сентябре 2006 года. Это первый набор, выполненный по новой модели распространения (см. Особенности).

Большой набор тестов по всем подсистемам (включает 86 тестов). Тесты разбиты на следующие группы:

• User Experience — призван симулировать деятельность, непосредственно влияющую на субъевтивное представление пользователя о скорости работы телефона (скорость запуска приложений, скорость работы камеры, скорость файловой системы)
• CPU — набор тестов, которые не привязаны к особым подсистемам, а написаны так, чтобы их производительность зависела только от скорости центрального процессора и эффективности виртуальной машины Java
• 2D Graphics — тесты двухмерной графической подсистемы (стандартные средства MIDP)
• 3D Graphics — тесты трёхмерной графической подсистемы (M3G)
• Composite — тесты разработаны так, чтобы нагружать несколько подсистем одновременно, получив, таким образом, нагрузку аналогичную приложениям из реального мира
• 3D Low Level — нагружают подсистемы трёхмерной графики на низком уровне. Разработаны для определения «узких мест» в реализации M3G. Поскольку эти тесты предназначены главным образом для производителей устройств, результаты низкоуровневых тестов доступны только на платной основе, и не учитываются при вычислении итогового результата JBehchmark Pro

JBenchmark ACE

Тест производительности ARM процессора. На основе набора статистических данных, пытается определить тип и частоту процессора, выполняя Java код (поскольку нет стандартного способа получить эту информацию в Java). Вышел в январе 2007 года.

В отличие от остальных наборов JBenchmark, этот тест поддерживает не только MIDP, но и DoJa Java ME профиль.

JBenchmark 239

Набор тестов трехмерной графики на основе низкоуровнего API JSR-239. Вышел в январе 2007 года.

JBenchmark Net

Тест производительности сетевого соединения. Вышел в мае 2007 года.

JBenchmark SVG

Набор тестов векторной графики SVG (на основе API JSR-226).

Распространенность

Приложения серии Jbenchmark являются весьма известными тестами производительности для платформы Java ME. Он признается производителями , а также используется как основной тест при оценке производительности Java ME платформы телефонов в обзорах на профильных сайтах, например iXBT.com, Mobile-review.com, 3dnews.ru.