Microsoft опровергает провал теста антивируса

Работа в Центре защиты от вредоносных программ Microsoft должна быть сложной. Здесь ваша компания является одной из крупнейших в мире, но небольшая (но уважаемая) лаборатория по антивирусному тестированию в Германии утверждает, что ваше антивирусное программное обеспечение не подойдет. Не один раз, а два раза за последние несколько месяцев Microsoft не смогла получить сертификацию от AV-Test.

Джо Блэкберд, руководитель программы в Центре, объяснил в своем блоге, что провал этого теста не означает, что пользователь Microsoft не защищен.

Прозрачность в тестировании

В соответствии с принципами AMTSO, AV-Test не скрывает методологию, используемую при проведении текущих сертификационных испытаний. Это означает, что Blackbird может проверять и точно проверять, почему Microsoft Security Essentials не прошел.

Тест придает равное значение трем элементам безопасности: защита (предотвращение проникновения новой вредоносной программы в чистую систему), восстановление (удаление уже существующей вредоносной программы) и удобство использования (выполнение работы без замедления работы системы или ложного обвинения действительных программ). Microsoft сделала все возможное в области ремонта и удобства использования, но получила всего 1, 5 из 6 возможных баллов за защиту.

Не в реальном мире?

Основное утверждение Blackbird заключается в том, что этот тест не отражает реальный опыт клиентов Microsoft. По данным AV-Test, Microsoft пропустила 28 из 100 угроз нулевого дня. Тем не менее, телеметрия Microsoft показывает, что «99, 997 процента наших клиентов, совершивших 0-дневную проверку, не сталкивались с образцами вредоносных программ, протестированными в этом тесте». Обратите внимание, что он говорит не о 99, 997% всех клиентов. Он говорит, что из тех, кто столкнулся с угрозой нулевого дня, только 0, 003 процента столкнулись с угрозой, которую фактически использовал AV-Test.

Но обязательно ли это обвинительный акт метода тестирования? Давайте посмотрим на это с другой стороны. Атаки нулевого дня происходят постоянно, в огромных количествах. Если 0, 003 процента представляют только одного клиента, то 300 000 клиентов столкнулись с такой атакой. Конечно, число может быть больше. AV-Test выбрал случайную выборку из 100 и случайно обнаружил 28, которые Microsoft не может обнаружить. Звучит плохо, не правда ли?

Microsoft также пропустила 9 процентов из 216 000 файлов в коллекции «последних вредоносных программ», но, по словам Блэкберда, пропущенные образцы «не отражают того, с чем сталкиваются наши клиенты. Когда мы явно искали эти файлы, мы не могли найти их в нашем машины клиентов."

Ориентация на клиента

«В декабре 2012 года, - продолжил Блэкберд, - мы обработали 20 миллионов новых потенциально вредоносных файлов и, используя телеметрию и влияние клиентов для определения приоритетов этих файлов, добавили защиту, которая блокировала 4 миллиона различных вредоносных файлов на почти 3 миллионах компьютеров. Эти 4 миллиона файлы могли повлиять на клиента, если бы мы не расставили их по приоритетам ". Другими словами, Microsoft плохо справилась с этим тестом из-за акцента на расстановке приоритетов файлов, которые активно влияют на их клиентов.

Это интересный момент, но другим поставщикам удается защитить своих пользователей, а также получить высшие оценки от AV-Test. Bitdefender, F-Secure и Trend Micro получили 6 из 6 возможных баллов в тесте защиты.

Я согласен с тем, что AV-Test не использовал все вредоносные программы, с которыми пользователи Microsoft сталкивались при тестировании. Это было бы невозможно. Антивирусные тестеры должны сделать все возможное, чтобы использовать репрезентативные образцы. Однако мое собственное практическое тестирование с использованием Microsoft Security Essentials с использованием образцов, далеких от нулевого дня, позволяет предположить, что оно не так эффективно, как лучшие антивирусные продукты.

Чтобы узнать больше от Нила, следите за ним в Твиттере @neiljrubenking.