Видео: Dame Tu cosita ñ (Октября 2024)
Важность размера выборки
Интуитивно очевидно, что такой тест даст более точные результаты с большим набором образцов, но на этот раз AV-Comparatives четко объяснил последствия слишком маленького набора образцов. Простой отдельный отчет выкладывает статистику, и они немного удивляют.
Предположим, что определенный продукт обнаружил 80 процентов из набора из 10 000 образцов вредоносных программ. Теперь предположим, что вы выбираете только десять образцов из той же коллекции. Используя диаграмму всех возможных результатов, отчет демонстрирует, что достижение одинаковой частоты обнаружения, более высокой частоты обнаружения или более низкой частоты обнаружения почти все равно вероятно. Да, сокращение до десяти образцов является крайним случаем, но это, безусловно, имеет смысл.
Методы испытаний
Используя методы автоматического и ручного поиска, исследовательская группа ежедневно собирает реальные вредоносные URL-адреса. Они специально выбирают сочетание прямых ссылок на файлы вредоносных программ и сайты для скачивания. Проходя ежедневные выборки, они выставляют все продукты по определенному URL-адресу одновременно и наблюдают за реакцией каждого продукта. Если какой-либо компонент пакета защищает от вредоносных программ, это успех. Если вредоносная программа проскальзывает мимо и настраивает ведение домашнего хозяйства, это сбой.
Иногда в пакете появляется сообщение о том, что он что-то нашел, спрашивая пользователя, следует ли это заблокировать или разрешить. В целях тестирования аналитики AV-Comparatives всегда выбирают разрешение на действие. Продукт, который успешно защищает систему, несмотря на это действие, получает полный кредит; продукт, который позволяет скомпрометировать систему из-за неправильного выбора пользователем, получает половину кредита.
После завершения конкретного тестового примера все тестовые системы возвращаются в состояние, предшествующее вредоносному программному обеспечению, и готовы к следующему тестовому сценарию.
Ложные срабатывания
Ложноположительный результат возникает, когда программное обеспечение безопасности ошибочно блокирует доступ к легитимному файлу или веб-сайту. Понятно, что вы не хотите, чтобы ваш пакет безопасности стирал действительные файлы или держал вас подальше от безвредных сайтов. AV-Comparatives протестировал каждый продукт с около тысячи случайно выбранных доменов и около ста новых и популярных программ. В целях тестирования они загрузили каждую программу с сайта разработчика, а не с портала загрузки.
В отчете отмечается, что статистический анализ и анализ безопасности на основе репутации часто блокируют или предупреждают о новых программах и сайтах. В нем говорится: «Хотя такие методы защиты… помогают продукту получать высокие оценки… это также может привести к обнаружению / блокированию невинных / чистых файлов и URL-адресов только потому, что они… слишком новые». Norton, сильный сторонник этого типа обнаружения, не участвует в тестировании AV-Comparatives.
Много улучшений
Более половины продуктов, включенных в текущий отчет, были оценены лучше, чем в предыдущем выпуске этого отчета. Vipre, McAfee и Fortinet потерпели неудачу в последний раз, даже не заработав STANDARD, самый низкий проходной балл. На этот раз Fortinet и McAfee дали оценку ADVANCED, а Vipre добралась до СТАНДАРТА. У всех трех был понижен рейтинг из-за ложных срабатываний; основываясь только на обнаружении, McAfee и Fortinet имели бы рейтинг ADVANCED +, самый высокий рейтинг.
eScan перешел со СТАНДАРТА на ADVANCED +, а avast!, ESET и Trend Micro перешли с ADVANCED на ADVANCED +. Несколько других, которые ранее оценивали СТАНДАРТ, управляли продвинутым рейтингом в этот раз.
Bitdefender регулярно получает высокие оценки по всем показателям в независимых лабораторных тестах. Просто на основе обнаружения вредоносных программ он оценил бы ADVANCED +, как это было в прошлый раз, но ложные срабатывания опрокинули его до ADVANCED. То же самое произошло с F-Secure и BullGuard.
Динамический тест всего продукта AV-Comparatives является одним из самых трудоемких тестов, с которыми мне приходилось сталкиваться. Поэтому неудивительно, что лаборатория опирается на поддержку Университета Инсбрука и австрийского правительства. Это большая работа, но конечный результат - это тест, который очень близко приближается к тому, насколько хорошо продукт защитит реальных пользователей.
