Как мы интерпретируем антивирусные лабораторные тесты

Ваш антивирус работает? Вы, вероятно, не хотите выпускать живой вирус просто для проверки. К счастью, независимые антивирусные лаборатории по всему миру делают все возможное, чтобы ответить на этот вопрос, не подвергая вас опасности.

Лаборатории

Чтобы понять, насколько хорошо работают различные антивирусные продукты, я прошёл шесть специальных тестовых лабораторий. Все эти лаборатории проводят регулярные тесты на постоянной основе, и результаты, на которые я полагаюсь, находятся в свободном доступе для общественности.

Поставщик услуг по безопасности оплачивает испытания ICSA Labs и West Coast Labs и сертификацию их продуктов. В рамках службы лаборатория работает с поставщиком, чтобы исправить любые сбои. Я специально смотрю на сертификаты для обнаружения и очистки вредоносных программ.

Досточтимый Virus Bulletin ежемесячно проводит тесты на обнаружение, присуждая сертификат VB100 продуктам, которые обнаруживают все их «дикие» образцы. Тем не менее, обратите внимание, что даже одного ложного срабатывания (допустимая программа, обнаруженная как вредоносная программа) достаточно для сбоя продукта. В этом случае я смотрю на процент успеха за последние двенадцать месяцев.

Компания AV-Test, базирующаяся в Магдебурге, Германия, регулярно оценивает антивирусные продукты в трех областях: защита, производительность и удобство использования. Защита относится к отражению атак вредоносного ПО, производительность - к минимизации использования системных ресурсов, а удобство использования зависит от ряда факторов, включая ложные срабатывания. При шести возможных баллах в каждой категории максимально возможный балл составляет 18.

AV-Comparatives выполняет широкий спектр тестов, некоторые с помощью и поддержкой правительства Австрии. Тест обнаружения файлов измеряет статическое обнаружение и обнаружение после запуска. Аналогичный тест с использованием устаревших определений вредоносных программ пытается измерить эффективность против атак нулевого дня. И многомесячный динамический тест бросает вызов каждому продукту, чтобы противостоять заражению самыми последними вредоносными программами. Продукты, которые проходят, оцениваются как СТАНДАРТ; лучшие продукты могут получить рейтинг ADVANCED или ADVANCED +.

Исследователи из лондонской лаборатории Dennis Technology Labs очень усердно работают, чтобы имитировать опыт реального пользователя. Они выявляют вредоносные программы в Интернете, захватывают весь вредоносный веб-сайт и копируют его в контролируемой среде, поэтому каждый продукт подвергается точно такой же атаке. Учитывая защиту и отсутствие ложных срабатываний, продукты могут получить сертификацию на пяти уровнях: AAA, AA, A, B и C.

Что все это значит?

В прошлом я подводил итоги реальных лабораторных исследований, но результат не так легко интерпретировать. В одном столбце 3.0 был лучший результат, а в другом 3.0 было бы ужасно. Другие столбцы могут содержать «100%» или «Y». Я пересмотрел свою таблицу, чтобы вместо этого суммировать результаты по пяти категориям: обнаружение, очистка, защита, ложные срабатывания и производительность, а также общий итоговый балл. Нажмите здесь, чтобы увидеть пример.

Самое сложное в том, что все лаборатории тестируют разные коллекции продуктов и разные числа. AV-Test AV-Comparatives, как правило, включают от 20 до 25 продуктов в тестовом прогоне, в то время как Dennis Labs имеет тенденцию делать больше, чем восемь или десять. Я просто должен обойтись тем, какие данные доступны, и оцениваю различные тесты в соответствии со своим субъективным впечатлением от их ценности.

Мой рейтинг обнаружения основан на тесте VB100 и двух тестах обнаружения файлов от AV-Comparatives. Получение сертификата на обнаружение от ICSA Labs и West Coast Labs может поднять рейтинг продукта, но отсутствие его не снижает его.

AV-Comparatives запускает тест очистки от вредоносных программ, который очень точно проверяет, насколько хорошо продукты удаляют обнаруженные ими вредоносные программы. Я включил это в свой рейтинг очистки, с возможным увеличением, если West Coast и ICSA Labs сертифицируют технологию поставщика для очистки от вредоносных программ. AV-Test обсудил аналогичный специфический для очистки тест; Я добавлю это, когда будет доступно.

Реальный тест Dennis Labs посвящен защите от вредоносных программ, а также динамический тест AV-Comparatives. Я смотрю на оба из них для моей степени защиты, а также компонент защиты от AV-Test.

AV-Comparatives проверяет влияние различных продуктов безопасности на производительность системы; Трехчастный анализ AV-Test включает компонент производительности. Оба из них входят в мой рейтинг производительности.

Ложные срабатывания могут быть настоящей проблемой; если ваш антивирус продолжает помещать в карантин последние игры, вы, вероятно, отключите его. Деннис Лабс называет отдельный ложный результат, который я использую в своем рейтинге ложных срабатываний. Я также принимаю к сведению, если продукт потерял уровень рейтинга из-за ложных срабатываний в любом из тестов AV-Comparatives. Наконец, я добавляю компонент юзабилити из AV-Test.

Отлично? Нет

Некоторые поставщики не одобряют определенные тесты. Стиль защиты Webroot от новых угроз не совместим с некоторыми тестами. Symantec заявляет, что статические тесты имеют небольшую ценность и что только динамические тесты всего продукта предоставляют полезную информацию. Некоторые вообще не хотят участвовать или участвовать в таком небольшом количестве тестов, что общий рейтинг невозможен.

Несмотря на это, здесь есть чему поучиться. Продукт, который получает пять звезд по всем направлениям, делает что-то правильно. Тот, который обнаруживает, но не очищает, вероятно, не является правильным выбором, чтобы искоренить существующее заражение вредоносным ПО. Я, конечно, отрегулировал свою собственную интерпретацию в процессе работы над этой системой.