Тестовая лаборатория Anti-Malware.ru провела первый в своей истории «Тест фаерволов на защиту от внутренних атак», по методике схожий с тестами Proactive Security Suites Challenge от компании Difinex (www.matousec.com), известной читателям блога и новостных лент Agnitum. Стоит отметить, что в тестах Difinex продукты, выпускаемые нашей компанией, уже многие годы показывают превосходные результаты.
Принимая во внимание трудоемкость и сложность тестирования, проведенного коллегами из Anti-Malware.ru, мы считаем нужным обратить внимание на некоторые неточности методологии, критериев оценки и общую закрытость тестирования.
I. Закрытость инструментов тестирования
К сожалению, лаборатория Anti-Malware.ru не предоставила пользователям и производителям ПО тестовые утилиты из «теста фаерволов». Таким образом, пользователи не могут проверить опубликованные результаты, а производители – внести изменения в свой продукт и повысить его безопасность. Открытость подобных тестирований – это общемировая практика. Например, та же лаборатория Difinex предоставляет утилиты тестирования в открытом доступе. Не совсем понятны причины, по которым политикой Anti-Malware.ru является закрытость этих утилит для пользователей и производителей. Заметим, что в отличие от «вирусных коллекций», доступ к таким утилитам не является опасным для широких масс, как и не является преследуемым по законодательству РФ их производство и распространение.
II. Критерии оценки
По нашему мнению, методология тестирования должна быть прописана более четко – непонятен критерий «частичного вывода из строя функционала защиты».
В частности:
- В 5 случаях отключение тестовой утилитой некоторых компонентов продукта было оценено как прохождение теста с начислением баллов.
- Интерфейс продукта также является неотъемлемой частью функционала защиты. Однако в 20 случаях, когда интерфейс тестируемого продукта был отключен тестовой утилитой, таким продуктам были начислены баллы.
Таким образом, по нашему мнению, 25 оценок выглядят спорными.
III. Отсутствие проверки на ложные срабатывания
Есть три подхода к защите ПК, характерные для разных типов производителей:
- политика «тотальной блокировки» потенциальных угроз или похожих на угрозы действий приложений (так часто делают нишевые разработчики защитных решений, включая лидеров теста),
- политика «не навреди» и принцип максимального разрешения, характерные для наиболее массовых решений,
- сбалансированная политика – принцип безусловной блокировки явных угроз и предоставление выбора действий пользователю, если действие похоже на подозрительное.
Первый подход наиболее безопасен и продукт его использующий будет выигрывать в тестах. Для начинающих пользователей лучше всего работает второй подход. Мы придерживаемся третьего. Надо заметить, что если в методологию тестирования добавить тестирование на ложные срабатывание (блокировку «хороших» приложений, совершающих действия подозрительного характера), то результаты могут измениться очень сильно и лидеры легко могут превратиться в аутсайдеров. С нашей точки зрения, в данном тесте проверка на такие ложные срабатывания нужна.
IV. Особые замечания по отдельным продуктам
При тестировании продукта DefenseWall были созданы «особые» условия – все тестовые утилиты запускались с внешнего носителя. Как известно, большинство продуктов класса Internet Security более тщательно проверяет любые файлы, запускаемые с внешних носителей, и с высокой вероятностью блокирует запуск, в том числе, и тестовых утилит. Но для описываемого продукта было сделано исключение, объясненное в методологии иной концепцией защиты, и его результат в стандартных условиях становится «100%», что выглядит недостоверным.
V. Выводы и рекомендации
Обобщим нашу оценку итогов «теста фаерволов на защиту от внутренних атак»:
- В будущем, до предварительного формирования, публикации и открытого обсуждения методологии экспертным сообществом мы не рекомендуем спешить с тестированием.
- Недопустимо создавать «особые условия» для разных продуктов-участников.
- Нужно дополнительно проверять продукты на ложные срабатывания на «чистых» файлах.
- Крайне желательно предоставить доступ к тестовым утилитам сообществу активных пользователей и разработчикам защитного ПО.
ЗАКЛЮЧЕНИЕ
Надеемся, что наши разъяснения помогут оценить ситуацию пользователям, которые привыкли внимательно анализировать результаты тестов. Нам также хотелось бы верить, что данные предложения будут конструктивно восприняты и помогут организаторам тестов и инженерам Anti-Malware.ru при следующих тестированиях.
