Как мы тестируем антивирус и программное обеспечение безопасности

Каждый антивирус или набор продуктов безопасности обещает защитить вас от множества угроз безопасности и неприятностей. Но действительно ли они выполняют свои обещания? Оценивая эти продукты для проверки, мы проверяем их претензии по-разному. В каждом обзоре сообщается о результатах наших испытаний, а также о практическом опыте работы с продуктом. Эта статья будет копать глубже, объясняя, как работают эти тесты.

Конечно, не каждый тест подходит для каждого продукта. Многие антивирусные утилиты включают защиту от фишинга, но некоторые - нет. Большинство комплектов включают в себя фильтрацию спама, но некоторые пропускают эту функцию, а некоторые антивирусные продукты добавляют ее в качестве бонуса. Какие бы функции ни предлагал данный продукт, мы проверяем их.

Тестирование антивируса в реальном времени

Каждый полнофункциональный антивирусный инструмент включает в себя сканер по требованию для обнаружения и уничтожения существующих вредоносных программ и монитор в режиме реального времени для отражения новых атак. В прошлом мы фактически поддерживали коллекцию вредоносных виртуальных машин, чтобы проверить способность каждого продукта удалять существующие вредоносные программы. Достижения в области кодирования вредоносных программ сделали тестирование с использованием живых вредоносных программ слишком опасным, но мы все равно можем осуществлять защиту каждого продукта в режиме реального времени.

Каждый год ранней весной, когда большинство поставщиков средств безопасности заканчивают свой годовой цикл обновления, мы собираем новую коллекцию образцов вредоносных программ для этого теста. Мы начнем с подачи последних URL-адресов для размещения вредоносных программ, загрузим сотни образцов и приведем их к управляемому числу.

Мы анализируем каждый образец с использованием различных ручных инструментов. Некоторые примеры обнаруживают, когда они работают на виртуальной машине, и воздерживаются от злонамеренных действий; мы просто не используем их. Мы ищем множество различных типов, а также образцы, которые вносят изменения в файловую систему и реестр. С некоторыми усилиями мы сокращаем коллекцию до управляемого числа и записываем, какие именно изменения системы вносит каждый образец.

Чтобы проверить возможности продукта по блокированию вредоносных программ, мы загружаем папку образцов из облачного хранилища. Защита в реальном времени в некоторых продуктах срабатывает немедленно, уничтожая известные вредоносные программы. Если необходимо активировать защиту в режиме реального времени, мы щелкаем каждый образец по одному или копируем коллекцию в новую папку. Мы принимаем к сведению, сколько образцов антивирус удаляет на месте.

Далее мы запускаем каждый оставшийся образец и отмечаем, обнаружил ли его антивирус. Мы записываем общий обнаруженный процент независимо от того, когда произошло обнаружение.

Обнаружение вредоносной атаки недостаточно; антивирус действительно должен предотвратить атаку. Небольшая внутренняя программа проверяет систему, чтобы определить, удалось ли вредоносной программе внести какие-либо изменения в реестр или установить какие-либо свои файлы. В случае исполняемых файлов он также проверяет, действительно ли запущены какие-либо из этих процессов. И как только измерения завершены, мы выключаем виртуальную машину.

Если продукт предотвращает установку всех исполняемых трассировок с помощью образца вредоносного ПО, он зарабатывает 8, 9 или 10 баллов в зависимости от того, насколько хорошо он предотвращает засорение системы неисполняемыми трассировками. Обнаружение вредоносного ПО, но не предотвращение установки исполняемых компонентов, получает половину кредита, 5 баллов. Наконец, если, несмотря на попытку антивирусной защиты, на самом деле запущен один или несколько вредоносных процессов, это стоит всего 3 очка. Среднее значение всех этих оценок становится окончательным результатом блокирования вредоносного ПО.

Тестирование вредоносной блокировки URL

Лучшее время для уничтожения вредоносного ПО - еще до того, как оно достигнет вашего компьютера. Многие антивирусные продукты интегрируются с вашими браузерами и отвлекают их от известных URL-адресов для размещения вредоносных программ. Если защита не срабатывает на этом уровне, всегда есть возможность уничтожить вредоносную нагрузку во время или сразу после загрузки.

В то время как в нашем базовом тесте на блокировку вредоносных программ используется один и тот же набор образцов для сезона, URL-адреса хост-сайтов, на которых мы размещаем вредоносные программы, каждый раз различаются. Мы получаем поток самых новых вредоносных URL-адресов от лондонской MRG-Effitas и обычно используем URL-адреса, возраст которых не превышает одного дня.

Используя небольшую специализированную утилиту, мы спускаемся по списку, запуская каждый URL по очереди. Мы отбрасываем любые, которые на самом деле не указывают на загрузку вредоносных программ, а также те, которые возвращают сообщения об ошибках. В остальном отметим, запрещает ли антивирус доступ к URL, стирает загрузку или ничего не делает. После записи результата утилита переходит к следующему URL-адресу в списке, который находится не в том же домене. Мы пропускаем любые файлы размером более 5 МБ, а также пропускаем файлы, которые уже появились в том же тесте. Мы будем придерживаться этого до тех пор, пока не соберем данные как минимум для 100 проверенных URL-адресов для размещения вредоносных программ.

Оценка в этом тесте - это просто процент URL-адресов, для которых антивирус запретил загрузку вредоносных программ, либо путем полного прекращения доступа к URL-адресу, либо путем удаления загруженного файла. Результаты варьируются в широких пределах, но самые лучшие инструменты безопасности управляют 90% и более.

Тестирование обнаружения фишинга

Зачем прибегать к сложным троянам для кражи данных, когда можно просто обмануть людей, чтобы они отказались от своих паролей? Это мышление злоумышленников, которые создают и управляют фишинговыми сайтами. Эти мошеннические сайты имитируют банки и другие конфиденциальные сайты. Если вы введете свои учетные данные для входа, вы только что раздали ключи от королевства. А фишинг не зависит от платформы; он работает в любой операционной системе, которая поддерживает работу в Интернете.

Эти поддельные веб-сайты обычно попадают в черный список вскоре после их создания, поэтому для тестирования мы используем только самые новые фишинговые URL-адреса. Мы собираем их с фишинг-ориентированных сайтов, отдавая предпочтение тем, которые были объявлены мошенническими, но еще не подтверждены. Это заставляет программы безопасности использовать анализ в реальном времени, а не полагаться на простые чёрные списки.

Для этого теста мы используем четыре виртуальные машины, одну на тестируемый продукт, и одну на каждой, использующую защиту от фишинга, встроенную в Chrome, Firefox и Microsoft Edge. Небольшая утилита запускает каждый URL в четырех браузерах. Если какой-либо из них возвращает сообщение об ошибке, мы отбрасываем этот URL. Если полученная страница не пытается активно имитировать другой сайт или не пытается получить данные об имени пользователя и пароле, мы отказываемся от этого. В остальном мы записываем, обнаружил ли каждый продукт мошенничество.

Во многих случаях тестируемый продукт не может работать так же хорошо, как встроенная защита в одном или нескольких браузерах.

Тестирование фильтрации спама

В наши дни учетные записи электронной почты для большинства потребителей избавляются от спама от поставщика электронной почты или с помощью утилиты, работающей на сервере электронной почты. На самом деле, потребность в фильтрации спама неуклонно сокращается. Австрийская тестовая лаборатория AV-Comparatives несколько лет назад проверила функциональность антиспама, обнаружив, что даже один только Microsoft Outlook блокировал почти 90 процентов спама, и большинство комплектов работали лучше, а некоторые - намного лучше. Лаборатория даже не обещает продолжить тестирование спам-фильтров, ориентированных на потребителя, отметив, что «несколько поставщиков думают об удалении функции защиты от спама из своих продуктов для защиты потребителей».

В прошлом мы проводили собственные тесты на антиспам, используя реальную учетную запись, которая получает как спам, так и действительную почту. Процесс загрузки тысяч сообщений и ручного анализа содержимого папки «Входящие» и спама занял больше времени и усилий, чем любой другой практический тест. Расходовать максимальное усилие на элемент минимальной важности больше не имеет смысла.

Есть все еще важные пункты, чтобы сообщить о фильтре спама набора. Какие почтовые клиенты он поддерживает? Можете ли вы использовать его с неподдерживаемым клиентом? Он ограничен учетными записями электронной почты POP3 или также обрабатывает IMAP, Exchange или даже электронную почту через Интернет? В дальнейшем мы внимательно рассмотрим антиспамовые возможности каждого пакета, но больше не будем загружать и анализировать тысячи электронных писем.

Тестирование производительности Security Suite

Когда ваш пакет безопасности пристально следит за атаками вредоносных программ, защищается от сетевых вторжений, не позволяет вашему браузеру посещать опасные веб-сайты и т. Д., Он явно использует некоторые ресурсы вашей системы и другие ресурсы для выполнения своей работы. Несколько лет назад комплекты безопасности приобрели репутацию того, что поглощают столько системных ресурсов, что это влияет на использование вашего компьютера. В наши дни дела обстоят намного лучше, но мы по-прежнему проводим несколько простых тестов, чтобы понять влияние каждого пакета на производительность системы.

Программное обеспечение безопасности должно загружаться как можно раньше в процессе загрузки, чтобы оно не обнаружило вредоносное ПО, уже находящееся под контролем. Но пользователи не хотят ждать дольше, чем необходимо, чтобы начать использовать Windows после перезагрузки. Наш тестовый скрипт запускается сразу после загрузки и начинает просить Windows сообщать об уровне загрузки процессора раз в секунду. Через 10 секунд подряд с использованием ЦП не более 5 процентов система объявляет систему готовой к использованию. Вычитая начало процесса загрузки (как сообщает Windows), мы знаем, сколько времени занял процесс загрузки. Мы запускаем много повторений этого теста и сравниваем среднее значение со средним числом повторений, когда комплекта не было.

По правде говоря, вы, вероятно, перезагружаетесь не чаще одного раза в день. Пакет безопасности, который замедлял ежедневные файловые операции, может оказать более существенное влияние на вашу деятельность. Чтобы проверить такой тип замедления, мы рассчитываем сценарий, который перемещает и копирует большую коллекцию файлов от большого к огромному между дисками. Усредняя несколько запусков без набора и несколько запусков с активным набором безопасности, мы можем определить, насколько набор замедлил эти действия с файлами. Аналогичный сценарий измеряет влияние пакета на сценарий, который архивирует и распаковывает один и тот же набор файлов.

Среднее замедление в этих трех тестах комплектами с очень легким касанием может составлять менее 1 процента. На другом конце спектра очень мало люксов в среднем на 25 процентов или даже больше. Вы могли бы фактически заметить воздействие более жестких наборов.

Тестирование защиты брандмауэра

Определить успех брандмауэра не так просто, потому что разные поставщики имеют разные представления о том, что должен делать брандмауэр. Тем не менее, есть ряд тестов, которые мы можем применить к большинству из них.

Обычно брандмауэр выполняет две задачи: защищает компьютер от внешних атак и гарантирует, что программы не используют сетевое соединение. Для проверки защиты от атак мы используем физический компьютер, который подключается через порт DMZ маршрутизатора. Это дает эффект компьютера, подключенного напрямую к Интернету. Это важно для тестирования, потому что компьютер, подключенный через маршрутизатор, практически невидим для Интернета в целом. Мы попали в тестовую систему с помощью сканирования портов и других веб-тестов. В большинстве случаев мы обнаруживаем, что межсетевой экран полностью скрывает тестовую систему от этих атак, переводя все порты в невидимый режим.

Встроенный брандмауэр Windows обрабатывает все порты, поэтому этот тест является лишь базовым. Но даже здесь существуют разные мнения. Разработчики Касперского не видят никакой ценности в краже портов, если порты закрыты и брандмауэр активно предотвращает атаки.

Управление программой в самых ранних личных брандмауэрах было чрезвычайно практическим. Каждый раз, когда неизвестная программа пыталась получить доступ к сети, брандмауэр выдавал запрос, спрашивавший пользователя, разрешать ли ему доступ. Этот подход не очень эффективен, так как пользователь обычно не знает, какое действие является правильным. Большинство просто позволит все. Другие будут нажимать «Блокировать» каждый раз, пока не сломают какую-то важную программу; после этого они позволяют все. Мы выполняем практическую проверку этой функциональности, используя крошечную утилиту браузера, закодированную в час, которая всегда будет считаться неизвестной программой.

Некоторые вредоносные программы пытаются обойти этот вид простого управления программой, манипулируя или маскируясь под доверенные программы. Когда мы сталкиваемся с брандмауэром старой школы, мы проверяем его навыки с помощью утилит, называемых тестами на утечку. Эти программы используют те же методы, чтобы обойти управление программой, но без какой-либо вредоносной нагрузки. Мы находим все меньше и меньше тестов на утечку, которые все еще работают в современных версиях Windows.

На другом конце спектра лучшие межсетевые экраны автоматически настраивают сетевые разрешения для известных хороших программ, устраняют известные плохие программы и усиливают наблюдение за неизвестными. Если неизвестная программа пытается установить подозрительное соединение, в этот момент включается брандмауэр, чтобы остановить его.

Программное обеспечение не является и не может быть идеальным, поэтому злоумышленники усердно работают, чтобы найти бреши в безопасности в популярных операционных системах, браузерах и приложениях. Они изобретают эксплойты, чтобы поставить под угрозу безопасность системы, используя любые найденные уязвимости. Естественно, создатель эксплуатируемого продукта выпускает исправление безопасности как можно скорее, но пока вы фактически не примените это исправление, вы уязвимы.

Самые умные брандмауэры перехватывают эти атаки эксплойтов на уровне сети, поэтому они даже не достигают вашего компьютера. Даже для тех, кто не сканирует на сетевом уровне, во многих случаях антивирусный компонент уничтожает вредоносные программы эксплойта. Мы используем инструмент проникновения CORE Impact, чтобы поразить каждую тестовую систему примерно 30 недавними эксплойтами и зафиксировать, насколько хорошо защитный продукт отразил их.

Наконец, мы запускаем проверку работоспособности, чтобы увидеть, может ли вредоносный кодер легко отключить защиту. Мы ищем в реестре переключатель включения / выключения и проверяем, можно ли его использовать для отключения защиты (хотя прошло уже много лет с тех пор, как мы обнаружили продукт, уязвимый для этой атаки). Мы пытаемся завершить процессы безопасности с помощью диспетчера задач. И мы проверяем, можно ли остановить или отключить основные службы Windows для продукта.

Тестирование родительского контроля

Родительский контроль и мониторинг охватывает широкий спектр программ и функций. Типичная утилита родительского контроля защищает детей от нежелательных сайтов, контролирует их использование в Интернете и позволяет родителям определять, когда и в течение какого времени детям разрешено пользоваться Интернетом каждый день. Другие функции варьируются от ограничения контактов в чате до патрулирования постов в Facebook на опасные темы.

Мы всегда выполняем проверку работоспособности, чтобы убедиться, что фильтр содержимого действительно работает. Как оказалось, найти порно сайты для тестирования оснастки. Просто о любой URL, состоящей из размера прилагательного и имени, обычно покрытая части тела уже порносайт. Очень немногие продукты не проходят этот тест.

Мы используем небольшую встроенную утилиту браузера, чтобы убедиться, что фильтрация контента не зависит от браузера. Мы запускаем сетевую команду из трех слов (нет, мы ее здесь не публикуем), которая отключает некоторые простые фильтры содержимого. И мы проверяем, можем ли мы обойти фильтр, используя безопасный анонимный прокси-сайт.

Установление временных ограничений на использование компьютера или Интернета для детей эффективно только в том случае, если дети не могут вмешиваться в хронометраж. Мы проверяем, что функция планирования времени работает, затем попробуйте уклониться от нее, сбросив системную дату и время. Лучшие продукты не полагаются на системные часы для их даты и времени.

После этого это просто вопрос тестирования функций, которые, как утверждает программа, имеют. Если это обещает возможность блокировать использование определенных программ, мы задействуем эту функцию и попытаемся сломать ее, переместив, скопировав или переименовав программу. Если он говорит, что удаляет плохие слова из электронной почты или мгновенных сообщений, мы добавляем случайное слово в черный список и проверяем, что оно не будет отправлено. Если он заявляет, что может ограничить контакты для обмена мгновенными сообщениями, мы устанавливаем диалог между двумя нашими учетными записями, а затем блокируем одну из них. Независимо от того, какую программу обещает контроль или контроль, мы делаем все возможное, чтобы проверить ее.

Интерпретация лабораторных тестов антивируса

У нас нет ресурсов для проведения исчерпывающих антивирусных тестов, проводимых независимыми лабораториями по всему миру, поэтому мы внимательно следим за их результатами. Мы следим за двумя лабораториями, которые выдают сертификаты, и четырьмя лабораториями, которые регулярно публикуют результаты тестов с оценками, используя их результаты для информирования наших обзоров.

Лаборатории ICSA и West Coast Labs предлагают широкий спектр сертификационных тестов безопасности. Мы специально следуем их сертификатам на обнаружение и удаление вредоносных программ. Поставщики систем безопасности платят за тестирование своих продуктов, и этот процесс включает помощь лабораторий для устранения проблем, препятствующих сертификации. Здесь мы рассматриваем тот факт, что лаборатория нашла продукт достаточно значимым для тестирования, и поставщик был готов заплатить за тестирование.

Базирующийся в Магдебурге, Германия, Институт AV-Test постоянно проводит антивирусные программы с помощью различных тестов. Мы сосредоточены на тесте, состоящем из трех частей, который оценивает до 6 баллов в каждой из трех категорий: защита, производительность и удобство использования. Чтобы получить сертификацию, продукт должен заработать в общей сложности 10 баллов без нулей. В этом тесте самые лучшие продукты получают 18 очков.

Чтобы проверить защиту, исследователи подвергают каждый продукт эталонному набору AV-Test из более чем 100 000 образцов и нескольким тысячам чрезвычайно распространенных образцов. Продукты получают кредиты за предотвращение заражения на любом этапе, будь то блокирование доступа к URL-адресу вредоносного хостинга, обнаружение вредоносного ПО с помощью сигнатур или предотвращение запуска вредоносного ПО. Лучшие продукты часто достигают 100-процентного успеха в этом тесте.

Производительность важна - если антивирус заметно снижает производительность системы, некоторые пользователи отключат ее. Исследователи AV-Test измеряют разницу во времени, требуемую для выполнения 13 общих системных действий с наличием и отсутствием продукта безопасности. Среди этих действий - загрузка файлов из Интернета, копирование файлов как локально, так и по сети, а также запуск общих программ. Усредняя многократные прогоны, они могут определить, насколько сильно влияет каждый продукт.

Юзабилити-тест не обязательно то, что вы думаете. Это не имеет ничего общего с простотой использования или дизайна пользовательского интерфейса. Скорее, он измеряет проблемы юзабилити, возникающие, когда антивирусная программа ошибочно отмечает легитимную программу или веб-сайт как вредоносную или подозрительную. Исследователи активно устанавливают и запускают постоянно меняющуюся коллекцию популярных программ, отмечая любое странное поведение антивируса. Отдельный тест только для проверки проверяет, чтобы антивирус не идентифицировал ни один из более чем 600 000 законных файлов как вредоносное ПО.

Мы собираем результаты четырех (ранее пяти) из множества тестов, регулярно выпускаемых AV-Comparatives, который базируется в Австрии и тесно сотрудничает с Университетом Инсбрука. Средства безопасности, прошедшие тестирование, получают стандартную сертификацию; те, кто не прошел, обозначаются как просто протестированные. Если программа выходит за рамки необходимого минимума, она может получить сертификацию Advanced или Advanced +.

Тест на обнаружение файлов AV-Comparatives - это простой статический тест, который проверяет каждый антивирус на наличие около 100 000 образцов вредоносных программ, а тест на ложные срабатывания проверяет точность. А тест производительности, как и тест AV-Test, измеряет любое влияние на производительность системы. Ранее мы включали эвристический / поведенческий тест; этот тест был отброшен.

Мы считаем, что динамический тест на полный продукт AV-Comparatives является наиболее значимым. Этот тест нацелен на то, чтобы максимально точно имитировать взаимодействие с пользователем, позволяя всем компонентам продукта безопасности принимать меры против вредоносных программ. Наконец, исправительный тест начинается с набора вредоносных программ, которые, как известно, обнаруживают все протестированные продукты, и бросают вызов продуктам безопасности для восстановления зараженной системы, полностью удаляя вредоносное ПО.

Если AV-Test и AV-Comparatives обычно включают от 20 до 24 продуктов в тестирование, SE Labs обычно сообщает не более 10. Это во многом из-за характера теста этой лаборатории. Исследователи фиксируют реальные веб-сайты, на которых размещаются вредоносные программы, и используют технику воспроизведения, чтобы каждый продукт сталкивался с одной и той же потерей загрузки или другой веб-атакой. Это очень реалистично, но сложно.

Программа, которая полностью блокирует одну из этих атак, зарабатывает три очка. Если он предпринял действия после начала атаки, но сумел удалить все исполняемые следы, это стоит двух очков. И если он просто прекратил атаку без полной очистки, он все равно получает одно очко. В случае неудачного запуска вредоносной программы в тестовой системе тестируемый продукт теряет пять баллов. Из-за этого некоторые продукты фактически получили оценку ниже нуля.

В отдельном тесте исследователи оценивают, насколько хорошо каждый продукт воздерживается от ошибочной идентификации действующего программного обеспечения как вредоносного, взвешивания результатов на основе распространенности каждой действующей программы и степени влияния ложной положительной идентификации. Они объединяют результаты этих двух испытаний и сертифицируют продукты на одном из пяти уровней: AAA, AA, A, B и C.

• Лучшие комплекты безопасности на 2019 г. Лучшие комплекты безопасности на 2019 г.
• Лучшая антивирусная защита на 2019 год Лучшая антивирусная защита на 2019 год
• Лучшая бесплатная антивирусная защита на 2019 год Лучшая бесплатная антивирусная защита на 2019 год

Некоторое время мы использовали поток образцов, предоставленных MRG-Effitas, в нашем практическом тесте на блокировку вредоносных URL. Эта лаборатория также публикует квартальные результаты двух конкретных тестов, которые мы выполняем. Тест 360 Оценка и сертификация имитирует реальную защиту от текущих вредоносных программ, аналогично динамическому реальному тесту, используемому AV-Comparatives. Продукт, полностью предотвращающий заражение образцом, получает сертификацию 1-го уровня. Сертификация уровня 2 означает, что по крайней мере некоторые образцы вредоносных программ внедрили файлы и другие следы в тестовой системе, но эти следы были устранены к моменту следующей перезагрузки. Сертификация онлайн-банкинга специально проверяет защиту от финансовых вредоносных программ и ботнетов.

Составить общее резюме лабораторных результатов непросто, поскольку не все лаборатории тестируют одну и ту же коллекцию программ. Мы разработали систему, которая нормализует оценки каждой лаборатории до значения от 0 до 10. Наша сводная таблица результатов лаборатории сообщает среднее значение этих оценок, количество лабораторных испытаний и количество полученных сертификатов. Если только одна лаборатория включает продукт в тестирование, мы считаем, что этого недостаточно для совокупной оценки.

Возможно, вы заметили, что этот список методов тестирования не охватывает виртуальные частные сети или VPN. Тестирование VPN сильно отличается от тестирования любой другой части пакета безопасности, поэтому мы предоставили отдельное объяснение того, как мы тестируем сервисы VPN.