Не все обзоры гаджетов созданы равными | Тим Баджарин

Как знают давние читатели моих колонок, я был связан с индустрией ПК с самого начала. Я присоединился к Creative Strategies в 1981 году, и одним из моих первых проектов была консультация с IBM по поводу оригинального IBM PC. К 1982 году Kaypro, Osborne Computer и Compaq породили рынок клонов ПК, и ПК для бизнеса действительно пошли в гору.

Производители ПК заявили о высокой производительности этих клонов, побудив техников к их тестированию. К сожалению, их тесты были по всей карте. Некоторые противоречили друг другу, вызывая большую путаницу среди потенциальных покупателей.

К середине 1980-х годов такие ключевые технические издания, как PC Magazine, создали свои собственные лаборатории для тестирования заявленных продуктов и появились стандартизированные тесты, такие как PC Bench, FutureMark, 3D Bench и Battery Mark. Это принесло некоторую точность и разумность в процесс тестирования, что, в свою очередь, помогло людям принимать более обоснованные решения о покупке.

Но перенесемся в будущее, и тестирование устройств в некоторых уголках сети имеет элемент дикого, дикого запада. Некоторые используют экстремальные методы тестирования, с которыми клиенты, вероятно, никогда не столкнутся при ежедневном использовании.

Например, во время спора об iPhone «Bendgate» некоторые онлайн-энтузиасты положили в тиски iPhone, смартфоны Samsung Galaxy и даже BlackBerry и сжали их. Затем они опубликовали в социальных сетях, что устройства гнутся. Другие так называемые тестеры использовали свои руки, чтобы оказать сильное давление на каждый конец этих телефонов, и утверждали, что это доказало, что смартфоны были гибкими. Не совсем научное тестирование.

Теперь я вижу непрофессиональных тестеров, которые проводят скрэтч-тесты на экранах смартфонов и планшетов, используют такие вещи, как шило и бритвенные лезвия, и публикуют сообщения в социальных сетях, как будто их тесты были евангельскими. Затем блоггеры забирают это и публикуют, не ища научных тестов для подтверждения претензий.

Прошлой весной Corning провела мероприятие на своем заводе в Пало-Альто и провела аналитику и аналитики по СМИ. Это продемонстрировало научный подход Corning к тестированию экранов с использованием специального оборудования, которое имитирует повседневное использование смартфона. По мнению экспертов, обоснованные научные испытания состоят как минимум из четырех элементов.

• Адекватный размер выборки. Тот факт, что вы можете сделать что-то однажды, может быть хорошим видео, но это плохая наука и тестирование. С помощью осмысленного тестирования вы должны быть в состоянии воспроизвести условия и действия и постоянно и последовательно показывать, что конкретное явление не только возникает, но и повторяется. Сколько раз? Это спорный вопрос, но большинство согласится с тем, что чем чаще возникает явление, тем надежнее данные испытаний.
• Последовательные результаты. Далее, серьезное тестирование продукта требует, чтобы такое же явление происходило при прочих равных условиях. Тот же продукт. Тот же источник. Те же условия. Те же факторы стресса. Выбор одного продукта с полки на одну неделю, а затем другой продукт с другой полки не подойдет. Есть слишком много переменных, которые могут повлиять на результат.
• Имитация реальных ситуаций. В-третьих, тестирование должно имитировать реальные события. Не слишком много людей поджигают свой планшет или телефон. Люди также не склонны брать ножи X-Acto и царапать их на экране. Чаще всего это телефон в заднем кармане джинсов или браслет в рюкзаке или сумочке. Хорошее тестирование фокусируется на тиражировании реальных событий.
• Научная корреляция. Не путайте взаимосвязь с причинностью. Есть вопрос о причине и следствии. Это не тривиальный вопрос. Похвально определить явление. Но это полезно, только если тест позволяет понять, почему это явление произошло.

Любой в наши дни может протестировать продукт и использовать экстремальные методы, чтобы получить любой результат, который они хотят, основываясь на их предвзятости. Но если покупатели умны, они будут искать тесты, выполненные профессионалами, которые придерживаются строгих научных принципов и используют эти тесты, чтобы принимать обоснованные решения о покупке.