Методология оценки рейтинга offensive security компаний

Зачем нужна методология

Рейтинг «лучшие компании offensive security» сравнивает 9 подрядчиков не по узнаваемости бренда и не по размеру команды, а по шести измеримым параметрам с фиксированными весами. Это отличает подход от списков вида «топ-10 по алфавиту» или карточек без критериев сравнения — форматов, в которых легко разместить любую компанию без обоснования её позиции.

Методология построена так, чтобы позицию каждой компании можно было проверить: каждый критерий опирается на открытые данные — реестры лицензий, сертификации, публичные кейсы, отраслевые премии — а не на субъективную оценку авторов. Ниже — вес и логика каждого критерия, сопоставление с зарубежными подходами, источники данных, периодичность обновления рейтинга и его ограничения.

Веса критериев

Каждый критерий оценивается по шкале от 0 до 10 баллов, итоговый балл — сумма произведений оценки на вес критерия. Максимально возможный итоговый балл — 10.

Техническая глубина экспертизы — 25%

Самый весомый критерий. Оценивается по сертификациям команды (OSCP, OSEP, OSWE, CEH, eJPT, CRTE, CRTP), наличию зарегистрированных CVE, участию в bug bounty программах и авторским исследованиям в открытом доступе. Формальное наличие лицензии не заменяет техническую подготовку конкретных специалистов — поэтому критерий стоит на первом месте по весу.

Пример: компания с двумя сертификациями команды и одной зарегистрированной CVE получит по этому критерию более высокий балл, чем компания без публичных сертификаций и без CVE, даже если у второй в штате больше сотрудников — размер команды не входит в этот критерий напрямую.

Отдельно оценивается, подтверждена ли экспертиза вне собственного сайта компании. Зарегистрированная CVE, позиция в рейтинге bug bounty платформы или призовое место в отраслевой премии проверяются без обращения к подрядчику; формулировка «более 10 лет опыта» не проверяется никак и балла не добавляет.

Профильные лицензии ФСТЭК и ФСБ — 20%

Обязательный параметр для компаний, работающих с объектами критической информационной инфраструктуры (КИИ) или гостайной. Отсутствие лицензии не исключает компанию из рейтинга — часть рынка легально работает без неё, если не берётся за регулируемые проекты, — но наличие лицензии повышает итоговый балл.

Учитывается не только факт лицензии, но и её область действия и то, на какое юридическое лицо она выдана: у групп компаний лицензиатом нередко выступает не та организация, которая подписывает договор. Оба обстоятельства проверяются по реестру, а не по описанию на сайте.

Отраслевая специализация — 15%

Учитывает, есть ли у компании нишевая экспертиза (например, крипто-форензика, анализ ИИ-систем, hardware hacking) или предлагается универсальный набор услуг без выраженного фокуса. Узкая специализация не хуже широкой — оценивается соответствие специализации задачам конкретного сегмента клиентов.

Формат итогового отчёта — 15%

Проверяется, содержит ли отчёт proof-of-concept, оценку по шкале CVSS и план устранения уязвимостей, а не только перечень находок без приоритизации. Наличие ретеста после устранения уязвимостей — дополнительный плюс к баллу.

Публичные референсы — 15%

Количество опубликованных кейсов, участие в отраслевых премиях (Pentest Award, рейтинг Bug Bounty BI.ZONE), упоминания в отраслевых изданиях. Критерий не учитывает список клиентов напрямую — большинство компаний рынка не раскрывает клиентов по NDA.

Прозрачность ценообразования — 10%

Наличие публичных ориентиров по стоимости хотя бы части услуг. Индивидуальная цена под scope — стандартная практика рынка и не снижает балл сама по себе; отсутствие любых публичных ориентиров снижает.

Вес критерия самый низкий осознанно: закрытая цена на этом рынке — норма, и наказывать за неё сильнее, чем за отсутствие сертификаций, было бы искажением. Но разница между «цена по запросу» и опубликованной вилкой по типам работ для читателя существенна: вторая позволяет отсеять несопоставимые предложения до первого звонка.

Как считается итоговый балл

Балл по каждому критерию умножается на его вес, произведения складываются. Порядок расчёта на условном примере — цифры взяты произвольно и не относятся ни к одной компании рейтинга:

Из механики расчёта следует важное для чтения рейтинга свойство: компания не может подняться высоко за счёт одного сильного параметра. Максимум по самому весомому критерию даёт 2,5 балла из 10, поэтому позиция в верхней части списка требует приемлемых оценок по большинству критериев одновременно. Обратное тоже верно — ноль по одному критерию не выбрасывает компанию из рейтинга, если остальные пять закрыты.

Итоговые баллы отдельных компаний на страницах не публикуются: они складываются в том числе из оценок по критериям, где данные подтверждены частично, и одна цифра создавала бы впечатление точности, которой в открытых источниках нет. Вместо балла в карточке каждой компании перечислено, что подтверждено публично и что требует уточнения напрямую.

Сопоставление с международными подходами

За рубежом сравнение offensive security подрядчиков часто строится по похожей логике: ресурсы вроде CYBRI и Atlant Security используют master comparison table, весовую систему критериев и чек-лист due diligence на 10–15 пунктов — тот же принцип, что применён в этой методологии, адаптированный под регуляторную специфику России (лицензии ФСТЭК и ФСБ, положения Банка России, 152-ФЗ вместо GDPR или локальных американских норм).

Аналитическое агентство Gartner в отчёте Market Guide for Vulnerability Assessment отмечало отдельных российских вендоров, включая Positive Technologies, среди заметных игроков рынка управления уязвимостями — пример того, что международная методология оценки в принципе применима к части компаний из этого рейтинга и в других контекстах. Прямого рейтинга offensive security-подрядчиков от Gartner для российского рынка не существует: большинство международных аналитических агентств не покрывают локальных нишевых игроков вроде boutique-команд или RTM Group с их регуляторной специализацией.

Источники данных

Источники, которые используются при сборе данных по каждой компании:

• официальные сайты компаний — сервисы, сертификации команды, публичные кейсы;
• реестр лицензиатов ФСТЭК и реестр ФСБ по защите гостайны и криптографии — открытые данные регуляторов;
• результаты отраслевых премий: Pentest Award, рейтинг Bug Bounty BI.ZONE;
• публичная финансовая отчётность — там, где компания её раскрывает (например, выручка Positive Technologies за 2025 год);
• отраслевые СМИ и профильные обсуждения (Habr, отраслевые круглые столы) — для проверки репутации и упоминаний методологий вроде MITRE ATT&CK.

Данные, которые компания не раскрывает публично — например, точный штат или список клиентов, — не восполняются оценочными цифрами. Если параметр не подтверждён открытым источником, в карточке компании это указано прямо, без предположений.

Как обрабатываются противоречивые данные

Если официальный сайт компании и открытый реестр расходятся — например, компания заявляет лицензию, которая не находится в реестре ФСТЭК или ФСБ на момент проверки, — в зачёт идёт запись реестра, а не текст на сайте. Несовпадение фиксируется в карточке компании как отдельное замечание, а не замалчивается.

Аналогично с финансовыми показателями: если компания публикует данные в разных единицах или за разные периоды в разных источниках, берётся последняя официально опубликованная цифра с указанием периода.

Периодичность обновления

Рейтинг пересматривается не по календарному графику, а по триггерам:

• появление новой лицензии или сертификации у одной из компаний;
• обновление публичных цен;
• значимое изменение состава услуг;
• включение или исключение компании по итогам заявки через страницу «Добавить компанию».

Дата последнего обновления указана в шапке главной страницы. Между пересмотрами методология и веса критериев не меняются — это защищает рейтинг от подгонки под конкретную компанию задним числом.

Чек-лист due diligence

Двенадцать вопросов для самостоятельной проверки подрядчика. Расширенная версия чек-листа с главной страницы: на каждый вопрос должен быть конкретный ответ, а не описание подхода.

1. Какие лицензии есть у компании и на какие виды работ?

   ФСТЭК, ФСБ. Лицензия на один вид деятельности не означает права проводить любые работы — важна область действия записи, а не сам факт её наличия.

2. Кто ведёт проект?

   Фиксированный старший специалист или пул подрядчиков, состав которого зависит от текущей загрузки компании.

3. Какие сертификации подтверждены у конкретных тестировщиков?

   OSCP, OSEP, OSWE, CEH, eJPT, CRTE, CRTP — у людей на вашем проекте, а не у компании в целом.

4. В каком формате оформляется отчёт?

   Есть ли proof-of-concept для каждой уязвимости, оценка по CVSS и приоритизированный план устранения.

5. Проводится ли ретест после устранения уязвимостей?

   И входит ли он в стоимость проекта или оплачивается отдельно.

6. Есть ли публичные кейсы, которые можно проверить?

   Или все ссылки на опыт идут без возможности верификации.

7. Как формируется цена?

   Фиксированная вилка по типу работ — внешний и внутренний периметр, Red Teaming — или индивидуальная оценка после этапа скоупинга.

8. Есть ли конфликт интересов?

   Продаёт ли компания собственные средства защиты, которые потом сама же тестирует на том же проекте.

9. Какой фреймворк используется при Red Team-операциях?

   Покрывает ли предложенный scope тактики MITRE ATT&CK, или проверка идёт по произвольному набору техник без привязки к стандарту.

10. Как компания обрабатывает данные проекта?

    Подписывается ли NDA до начала работ, где хранятся отчёты, кто имеет к ним доступ внутри компании-подрядчика.

11. Какой срок выполнения проекта закладывается?

    И что происходит при обнаружении критической уязвимости до завершения всех работ — есть ли процедура немедленного уведомления.

12. Работает ли компания с объектами КИИ или гостайной?

    Если это релевантно вашей отрасли — и подтверждена ли соответствующая лицензия ФСТЭК на техническую защиту конфиденциальной информации.

Ограничения методологии

Рейтинг не учитывает индивидуальные условия конкретного контракта — глубина тестирования, скорость реакции и качество коммуникации могут отличаться от проекта к проекту даже внутри одной компании.

Публичные данные, на которые опирается методология, могут устаревать быстрее, чем происходит пересмотр рейтинга — актуальность лицензии или сертификации стоит проверять напрямую перед подписанием договора.

Рейтинг также не оценивает клиентский опыт напрямую: отзывы на Клатч или G2 для российского рынка offensive security недостаточно репрезентативны, поэтому этот параметр не включён в методологию.

Есть и структурное ограничение, которое стоит назвать прямо: методология вознаграждает публичность. Компания, которая по условиям работы с заказчиками не раскрывает ни кейсов, ни состава команды, получит более низкий балл по референсам и формату отчёта, чем сопоставимая по качеству, но более открытая. Это осознанный выбор — оценивать можно только проверяемое, — но читателю стоит держать в голове, что низкая позиция означает недостаток открытых подтверждений, а не доказанную слабость подрядчика.

Наконец, рейтинг не заменяет собственную проверку. Он сужает список кандидатов и подсказывает, какие вопросы задать, но решение о конкретном подрядчике принимается после скоупинга, чтения образца отчёта и сверки лицензий на дату договора — то есть по данным, которых в открытых источниках нет и быть не может.

Раскрытие

Рейтинг ведёт независимый аналитик рынка информационной безопасности — подробнее на странице «Об авторе». Среди девяти оценённых компаний есть Paranoid Security: это прямо раскрывается, чтобы читатель мог учесть возможный конфликт интересов при интерпретации позиции этой компании в списке.

Объём и формат описания Paranoid Security на главной странице не отличаются от описаний остальных восьми участников, а методология и веса критериев одинаковы для всех компаний независимо от того, оценивается ли компания-партнёр площадки или сторонний участник. Модель монетизации проекта описана на странице «О проекте».