Шкала доказанности Секьюритики
Каждое утверждение об эффективности на портале несёт уровень доказанности. Уровень указывается рядом с каждым источником; итоговый уровень карты — по самому сильному источнику ядра утверждения. Если утверждение опирается только на уровни C–D, это написано прямо в карте. Заявление вендора и полевое исследование не равны — и не должны выглядеть одинаково.
Aполевые контролируемые исследования
Критерии. Эксперимент или квазиэксперимент с контрольной группой в реальных условиях, опубликованная методология, независимость авторов от продаваемого решения.
Примеры. RCT по security awareness; контролируемые эксперименты по парольным политикам (серия CMU — с оговоркой о лабораторной валидности).
Bкрупные наблюдательные данные
Критерии. Телеметрия на больших выборках с опубликованной методологией; рецензируемые наблюдательные исследования.
Примеры. Google/NYU/UCSD 2019 по аутентификации; Verizon DBIR; исследования на данных Azure AD.
Cэкспертный консенсус
Критерии. Согласованная позиция сообщества, стандарты, методические документы регуляторов; механизм правдоподобен, количественных полевых данных нет.
Примеры. NIST SP 800-63, CIS Controls, рекомендации CISA, методики ФСТЭК.
Dзаявления без методологии
Критерии. Маркетинговые цифры вендоров, пресс-релизы, утверждения без раскрытия данных и методов.
Примеры. «Продукт блокирует 99% атак» без методологии; «MFA блокирует 99,9% атак» (Microsoft, 2019) — до публикации методологии в 2023.
Почему в ИБ почти нет уровня A
Контролируемые полевые исследования эффективности защитных мер — редкость: организации несравнимы, противник адаптируется к опубликованным мерам, ущерб измеряется по-разному. Поэтому потолок большинства «доказанных» мер — уровень B (вендорская телеметрия с конфликтом интересов), а большинства общепринятых — уровень C. Портал считает честную констатацию «полевых измерений не существует» более ценной, чем имитацию точности.