Правила Symantec, Microsoft улучшает в динамическом тестировании антивируса

Статическое антивирусное тестирование очень просто. Вы просто показываете gazillion файлов вредоносных программ для каждого антивирусного продукта и указываете процент обнаруженного им. Динамическое тестирование, выполняемое Dennis Technology Labs, значительно сложнее, но оно очень близко отражает эффективность продукта в реальном мире. Symantec официально называет статические тесты по требованию «вводящими в заблуждение» и заявляет, что «с нетерпением ожидает того дня, когда все опубликованные тесты станут тестами реального мира». Поэтому неудивительно, что Symantec получил самый лучший результат в последнем реальном тесте от Dennis Labs.

Защита очков

Чтобы точно подражать реальному пользовательскому опыту, исследователи Dennis Labs обнаруживают вредоносный веб-сайт и регистрируют все взаимодействие между их тестовой системой и сайтом. Система воспроизведения позволяет им дублировать действия вредоносного сайта по требованию, поэтому они могут подвергать каждый протестированный продукт одной и той же атаке.

Продукт, который полностью предотвращает даже атаку, зарабатывает три очка за защиту. Тот, кто обнаруживает атаку, нейтрализует ее и удаляет все следы, получает два очка. Если он успешно нейтрализует вредоносное ПО без очистки, это стоит одного очка. Продукт, который не защищает свою тестовую систему от данного образца, теряет пять баллов. При 100 выборках наилучшая возможная оценка защиты - 300, худшая - отрицательная 500.

Norton Internet Security получил высшую награду: 97 угроз были полностью заблокированы, две нейтрализованы и только одна пропущена. Microsoft Security Essentials поднял заднюю часть, с полной защитой 62 образцов, пять других были нейтрализованы, а колоссальные 33 полностью пропущены. Это составляет 27 баллов, что намного лучше, чем отрицательные 70 баллов защиты Microsoft в предыдущем тесте Dennis Labs.

Ложные срабатывания

Идеальный антивирус блокирует все вредоносные программы и оставляет каждую действующую программу в покое. Исследователи Dennis Labs также проверили каждый продукт с помощью множества действующих программ, отмечая, когда какой-либо продукт мешал действительной программе. Они различали активную блокировку выполнения программы и просто называли ее опасной в предупреждающем уведомлении.

Правильно оставив действительную программу в покое, антивирус получает одно очко. Антивирус, который активно блокирует действующую программу с высокой распространенностью (определяется как более 20 000 пользователей), теряет пять баллов. Блокировка программы с очень низким воздействием (до 25 пользователей) отнимает только 0, 1 балла, а между ними - три других уровня воздействия. Если антивирус просто предупреждает о действующей программе, а не блокирует ее, «штраф» уменьшается вдвое.

Я определенно одобряю взвешивание ложноположительных результатов на основе распространенности. Недавнее тестирование AV-Comparatives по крайней мере сообщило о распространенности образцов, использованных для ложноположительного тестирования, но не включило эту информацию в систему оценки.

Microsoft, Norton и AVG Anti-Virus FREE заработали в этом тесте 100 баллов, что означает отсутствие ложных срабатываний. Trend Micro Titanium Internet Security активно заблокировала 18 действующих программ и вышла на дно с 60, 3 баллами.

Лучшие и худшие результаты

Сочетая результаты теста защиты и ложного теста, идеальный антивирус может заработать 400 баллов; совершенно ужасный получит отрицательную тысячу. Нортон заработал наивысшую оценку - 388 баллов, а Kaspersky Internet Security - 379. Впечатляюще, avast! Бесплатный антивирус вытеснил Касперского, набрав 381 очко. Все три из этих продуктов получили рейтинг AAA от Dennis Technology Labs.

Microsoft снова находится внизу, набрав 127 баллов, но это намного лучше, чем ее предыдущий общий результат в 30 баллов. Удивительно, но следующий наименьший результат в 296 баллов достался AVG Anti-Virus FREE, PCMag's Editors 'Choice для бесплатного антивируса. Несмотря на отсутствие ложных срабатываний, AVG потеряла очки, поскольку удалось запустить около трети образцов вредоносных программ. Да, это нейтрализовало большинство из них, но чтобы получить лучший результат, антивирус должен полностью заблокировать выполнение вредоносных программ.

В отчете делается вывод, что блокировка вредоносных URL-адресов на основе репутации может быть очень эффективным подходом. Если антивирус полностью предотвращает загрузку вредоносного ПО, это наилучший возможный результат. Norton, лучший бомбардир, обеспечивает блокировку URL на основе репутации, что дает хороший эффект.

Исследователи из Dennis Technology Labs прилагают огромные усилия, чтобы их тесты максимально приближались к реальному опыту пользователя, и их работа однозначно окупается. Вы можете прочитать полный отчет на веб-сайте Dennis Labs, а также параллельные отчеты по SMB и антивирусным продуктам для предприятий.