Symantec объявляет антивирусные тесты по требованию вводящими в заблуждение

На прошлой неделе независимая антивирусная лаборатория AV-Comparatives опубликовала результаты теста антивирусной защиты по требованию. Тот факт, что Microsoft подошел к основанию, не был большой новостью; тот факт, что Symantec забил еще меньше, действительно удивил. В опубликованном сегодня сообщении в блоге Symantec осудил всю практику выполнения проверок на наличие вредоносных программ, назвав это «вводящим в заблуждение».

В первые годы антивирусного тестирования каждый тест был проверкой по требованию. Исследователи собирали коллекцию известных вредоносных программ, запускали полное сканирование и записывали процент обнаруженных образцов. Современные лаборатории прилагают все усилия, чтобы разработать тесты, которые более точно отражают реальный опыт пользователя, принимая во внимание тот факт, что подавляющее большинство инфекций проникает в компьютер из Интернета. Symantec утверждает, что только реальный вид теста является действительным; Я не совсем согласен.

Искалеченная защита?

Алехандро Борджиа, старший директор по управлению продуктами для Symantec Corporation, категорически заявил в своем посте в блоге, что «приведенные показатели обнаружения вводят в заблуждение и не отражают реальную эффективность продукта». Борджиа сказал: «Эти типы тестов сканирования файлов выполняются в искусственной среде, которая наносит ущерб всем современным функциям защиты».

Это правда, что AV-Comparatives позаботились о том, чтобы тестовые системы имели доступ к Интернету, тем самым предоставив Symantec доступ к мощной облачной системе репутации Norton Insight. Когда я спросил об этом своих контактов с Symantec, они объяснили, что для полной мощности Norton Insight полагается на полную информацию, «как был получен файл, когда он был получен или откуда он был получен (например, URL-адрес и IP-адрес)». Проверка сканером файлов по требованию для файлов, чье прибытие не было обнаружено антивирусом Symantec, отличается от того, когда пользователь фактически загружает файлы. Это правда, но это то же самое, что когда пользователь устанавливает антивирус для устранения существующей проблемы с вредоносным ПО.

Компоненты предотвращения вторжений в сеть также не получили никакой помощи, так как образцы файлов были загружены до установки антивирусного программного обеспечения. Еще раз, вы будете в подобной ситуации при установке антивируса в первый раз в зараженной системе. И, конечно же, обнаружение, основанное на поведении, никогда не срабатывает, пока программа фактически не начнет выполняться.

В ответ на вопрос о действиях защиты на основе поведения, предпринимаемых только после запуска вредоносного файла, мои контакты в Symantec указали, что «поведение» включает в себя больше, чем действия, выполняемые программой. «Наша поведенческая технология учитывает местоположение программы, то, как она зарегистрирована в системе (например, какие ключи реестра относятся к ней), и многие другие факторы», - пояснили они. «В большинстве случаев программа будет остановлена ​​до причинения какого-либо вреда».

Это вводит в заблуждение?

Что касается утверждения, что тест вводит в заблуждение, AV-Comparatives не согласен. Введение в сам отчет о том, что «уровень обнаружения файлов продукта - это только один аспект», и указывает на «другие протоколы испытаний, которые охватывают различные аспекты».

«Ясно сказано, что тестируется только одна особенность продукта», - сказал Питер Стелжаммер, соучредитель AV-Comparatives. «Если Symantec считает, что функция обнаружения файлов бесполезна, почему она по-прежнему включена в продукт?» Стельжаммер отметил, что для начальной очистки требуется обнаружение файлов и что ПК не всегда имеют подключение к Интернету. Несмотря на это, «тест проводился при полном подключении к Интернету, и облачным функциям Symantec был предоставлен доступ к их облаку».

Борджиа сравнивает только тестирование файла с тестированием систем безопасности автомобиля, сначала отключив все, кроме поясного ремня, заявив, что такой тест будет «полностью ошибочным». И все же, подобный тест вполне может выявить проблемы со слабым поясным ремнем, поэтому «совершенно некорректный» кажется завышенным.

Только тесты в реальном мире?

Борджиа отмечает, что Symantec активно поддерживает реальные тесты, тесты, «которые наиболее точно представляют среду угроз и используют все проактивные технологии, поставляемые с продуктом». Я не могу не согласиться, но такие тесты требуют огромного количества времени и усилий. В блоге приводится пример тестирования, проведенного Dennis Labs. Dennis Labs записывает процесс заражения с реальных URL-адресов, а затем использует систему веб-воспроизведения, чтобы повторить точно такой же процесс под защитой каждого антивирусного продукта. Это действительно замечательно, но это требует много времени и усилий.

AV-Comparatives каждый день проводит реальные тесты, бросая вызов коллекции антивирусных продуктов, установленных на идентичных тестовых установках, для защиты от вредоносных программ с сотнями совершенно новых реальных вредоносных URL-адресов. Каждый месяц они обобщают данные, а каждый квартал выпускают полный отчет о защите реального мира. Процесс достаточно трудоемкий, поэтому они полагаются на помощь Университета Инсбрука и частичное финансирование австрийским правительством.

Вы ожидаете, что Symantec победит в этом реальном тесте AV-Comparatives. «К сожалению, - отметил Стельжаммер, - Symantec не хотел присоединяться к нашей основной серии испытаний». По их словам, Symantec отказалась от участия, потому что «AV-Comparatives не предлагает поставщикам подписку, ориентированную исключительно на реальные тесты, при этом отказываясь от теста на сканирование файлов». Тем не менее, эта стратегия, похоже, имела неприятные последствия. Несмотря на то, что компания не подписалась, AV-Comparatives подвергли Symantec тесту по требованию, «поскольку результаты были высоко востребованы нашими читателями и прессой».

Несколько тестов имеют значение

В блоге Symantec говорится: «Мы с нетерпением ждем того дня, когда все опубликованные тесты станут тестами реального мира. Тем временем читатели должны остерегаться искусственных тестов, которые показывают вводящие в заблуждение сравнения продуктов». Я также был бы рад видеть больше тестов, которые соответствуют реальному опыту пользователя, но я не думаю, что мы можем отказаться от тестов на обнаружение файлов.

Учти это. Если вы приобретете антивирусное программное обеспечение для системы, которая никогда не была защищена, вы ожидаете, что оно удалит все вредоносные программы, не подозревая, что у них не было возможности использовать средства предотвращения вторжений в сеть. В таком случае вы, вероятно, будете искать высокие оценки в тесте, таком как тест AV-Comparatives по требованию, тест, который достаточно близко соответствует вашей ситуации.

Да, для постоянной защиты вам понадобится продукт, который также получает высшие оценки в реальных тестах. Поэтому выбирайте продукт с высокими показателями в обеих областях и в тестах из нескольких лабораторий. Таким образом, вы получите защиту, которая может решить любые проблемы, возникающие при установке, а также отразить будущие атаки вредоносных программ.