De acuerdo a lo dicho en la entrega anterior, las “metamétricas” son para las métricas, lo que “metadata” es para los datos, en otras palabras, metamétricas son información sobre métricas y en su mayoría proporcionan una base objetiva para diseñar y seleccionar métricas que vale la pena medir, analizar, reportar y utilizar. En esta segunda parte del artículo se revisarán algunos ejemplos y se harán algunas conclusiones al respecto.

A continuación se muestra un ejemplo de análisis de una métrica utilizando el método pragmático:  

Métrica: proporción de cuentas de usuarios de cómputo inactivas deshabilitadas de acuerdo con las políticas (inactive user accounts disabled).

Para calcular esta métrica, primero se debe verificar cuántas cuentas de usuario inactivas hubo en total en el sistema, y luego cuántas de ellas fueron deshabilitadas como debió ser de acuerdo con la política de la organización dentro del periodo de reporte (ej. este cuartal). Contabilizar las cuentas inactivas es tedioso si eso implica además verificar manualmente registros de actividad mantenidos por los sistemas de TI individuales, pero es más sencillo si las verificaciones pueden realizarse corriendo scripts sobre un número limitado de sistemas de autenticación de usuarios de red compartidas/centralizadas (como domain servers for Windows domains), en cuyo caso, esto se convierte en una medida de cumplimiento relativamente sencilla, directa y útil.     

En un ejercicio de la gerencia se podrían determinar los siguientes números PRAGMÁTICOS para esta métrica:

.

P          R          A          G         M        A          T          I           C          Puntuación

68        56        74        76        73        64        64        52        75        67%

.

Los puntajes o índices resultantes de la metodología PRAGMÁTICA son relativamente uniformes, en otras palabras, la métrica no es particularmente contundente ni débil en ningún factor. La gerencia parece tener cierta preocupación sobre su Relevancia respecto a la seguridad de información, ya que es una métrica técnica muy angosta, y también sobre el factor de Independencia, ya que aquellos que serían los indicados para estar midiendo y reportando la métrica tienen intereses privados en cuanto a esta. Por otro lado, consideran el hecho de que se trata de una métrica Genuina (lista para ser verificada o auditada si fuera necesario) y Costo-efectiva, siendo el caso de que la institución tenga un sistema centralizado para la administración de cuentas de usuario. El deshabilitar cuentas de cómputo cuando los empleados dejan la organización es un control de seguridad de TI básico. Si no se está dando de modo confiable, probablemente existen incidentes aún más serios con el proceso de administración de usuarios y, de hecho, con los controles de seguridad de información en general; en otras palabras, la métrica puede tomarse como un burdo indicador de la situación general de la seguridad de información en la organización. Esto disparó la puntuación respecto a qué tan Significativa (Meaningful) es la métrica.

Además, el rango de mejora de la métrica específica es también un indicador de la extensión con la que la gerencia de la organización está administrando, controlando o influenciando la seguridad de información en la organización en general: si el esfuerzo de incrementar la proporción de la desactivación de cuentas inactivas toma varios meses, digamos de 10% (pésimo) a 30% (pobre), esto significa algo peor que si la misma mejora sucede en el curso de días o semanas, o si la métrica alcanza 75% o más durante el mismo periodo.

Hablando de periodos, la frecuencia con la que la métrica es reportada es otro parámetro de medición que la gerencia puede ajustar. Es factible, por ejemplo, pedir actualizaciones más frecuentes sobre la métrica, mientras que el control está siendo atendido para ser mejorado (tal vez una vez por mes), y entonces cambiar por cada tres meses, o según sea necesario para una mejora suficiente. Otra opción podría ser el reportar cada cuatrimestre a la gerencia, pero dando seguimiento y reportando mes a mes o hasta semanalmente a los gerentes operacionales, quienes estén trabajando para mejorar la administración de las cuentas de usuario.

 

Otro ejemplo: retorno sobre la inversión (ROI).

ROI es una medida contable bastante utilizada por la gerencia. Es un medio para evaluar el valor neto (beneficios menos costos) de una inversión, muy común pero, ¿es en realidad una buena métrica de seguridad?

Existen situaciones patentes en algunas organizaciones en las cuales el ROI debe ser bueno, ya que aparece con frecuencia en casos de negocio, propuestas, o requerimientos de presupuesto, para justificar los proyectos o iniciativas corporativas. Y sin embargo, algunos prefieren otras métricas financieras, tales como el rango interno de retorno (internal rate of return, IRR).

Si la gerencia pusiera ROI como una métrica a ser evaluada por el método PRAGMÁTICO, podría surgir que esta métrica de seguridad es relativamente mediocre:

.

P          R          A          G         M        A          T          I           C          Puntuación

65        72        25        25        88        50        44        60        90        58%

.

ROI es una métrica Costo-efectiva (su cálculo toma solo una o dos horas) lo cual es presuntamente Significativo (Meaningful) para la audiencia para la cual está dirigida, ej. la gerencia, pero su puntuación no es tan buena en los criterios restantes.

No es muy Predictiva de los resultados de la seguridad. “Tirarle dinero a la seguridad” no son tiros muy efectivos para estar seguro, mientras que algunas empresas pichicatas parecen sobrevivir con el gasto mínimo en seguridad. 

Los puntajes bajos en Precisión (Accuracy), Accionable y Genuina, reflejan una preocupación sobre el uso de esta métrica como una herramienta de soporte para la toma de decisiones. ROI es normalmente utilizada en forma aislada para justificar proyectos individuales que alguien ya ha elegido, en efecto, más que para comparar una gama de posibles inversiones, incluyendo varias combinaciones y permutaciones (administración del portafolio), lo cual quiere decir que un proyecto de seguridad dado podría tener un ROI positivo, pero una variedad de otras inversiones de seguridad, que no se encuentran sobre la mesa, podrían tener aún mejores retornos. Hasta con la asistencia técnica del departamento de finanzas para obtener la aritmética correcta, los análisis de ROI para inversiones de seguridad requieren numerosas suposiciones, en particular con respecto al ahorro proyectado a través de la mitigación de riesgos de seguridad, reduciendo la probabilidad o impacto de los incidentes de seguridad.

El puntaje de Oportunidad (Timeliness) sufre en este ejemplo, dado que la métrica se mide y se reporta, con frecuencia, previo al inicio de un proyecto o de una iniciativa, algunos meses o años antes de ser completado. Si la organización estuviera utilizando ValIT (ahora inmerso en COBIT 5), estaría rastreando costos y beneficios actuales versus los proyectados, actualizando y refinando de manera continua el caso de negocio y los cálculos de ROI. Pero para efectos de este ejemplo, se asume que la organización está utilizando el ROI y el caso de negocio como un intento de evaluar sus finanzas.

Una tabla de evaluación de métricas se vería así:

Ejemplo de métrica

P

R

A

G

M

A

T

I

C

Puntuación

Metamétrica

96

91

99

92

88

94

89

79

95

91%

Madurez de la administración de activos

90

95

70

80

90

85

90

85

90

86%

Madurez de cumplimiento

90

95

70

80

90

85

90

85

90

86%

Madurez de la seguridad física

90

95

70

80

90

85

90

85

90

86%

Gasto de continuidad del negocio

75

92

20

82

95

70

70

70

70

72%

Ley de Benford

84

30

53

95

11

98

62

98

23

62%

Cobertura de controles

87

89

65

40

74

35

46

40

30

56%

Homogeneidad

67

70

40

59

67

50

33

65

45

55%

Estatus de la matriz de control de acceso

70

50

60

60

88

25

40

20

40

50%

Licencias de software no contabilizadas/identificadas

1

1

90

84

1

70

50

81

30

45%

Conteo de accesos no autorizados/inválidos

61

78

33

16

33

0

44

35

33

37%

.

Las métricas de seguridad pragmáticas explican:

  • Por qué la seguridad de información es vital y sin embargo es tan difícil llevarla a cabo correctamente, al igual que la administración del riesgo en general;
  • Por qué las métricas significativas son necesarias para administrar cualquier cosa en forma sistemática y racional, en lugar de apoyarse solo en suposiciones, experiencia e instinto;
  • Quién necesita métricas de seguridad; quiénes son las audiencias, consumidores, y usuarios de métricas;
  • Cómo se mide hoy la seguridad de información, considerando enfoques sugeridos y utilizados en otras instituciones;
  • Cómo identificar y desarrollar métricas de seguridad potenciales (o candidatas), incluyendo algunas fuentes menos convencionales;
  • Cómo evaluar y medir métricas de seguridad potenciales utilizando el método pragmático.

Finalmente, un CISO estaría muy satisfecho de contar con una herramienta que le permita contar con métricas de seguridad prácticas, claras y sencillas de manejar. Será indispensable primero saber el statu quo,  el por qué y el cómo de las métricas de seguridad. También es importante tener conocimientos de los diferentes métodos, conceptos, propósito y la audiencia para las métricas de seguridad. Después habrá que conocer los puntos precisos que haya que medir y dónde puede uno encontrarlos. 

Contando con métricas y con una herramienta práctica para quienes requieren puntos de referencia de cómo “medir la seguridad”, solo resta el cómo diseñar un sistema de medición de la seguridad de la información utilizando este método. Tan sencillo como conocer los puntos de referencia que deben ser considerados, y cómo integrar la información para crear un sistema fácil de manejar y a la medida de la organización. Esta herramienta, además del conocimiento de buenos ejemplos de métricas, y de información suficiente para crear un sistema de métricas de seguridad a la medida de cualquier institución individual, sería un estándar muy valioso.

.

Conclusión

Importante es determinar cómo la organización puede identificar las métricas de seguridad que vale la pena utilizar, y cómo se pueden evaluar los méritos de una métrica. A la fecha, el enfoque común ha sido informal y subjetivo. Por el contrario, el método pragmático permite medir y evaluar una métrica en forma estructurada; obliga a analizar la métrica en detalle.

¿Qué hay de los analistas que reciben las métricas? ¿Se entregan las métricas de seguridad que uno piensa que son importantes, o se hace un esfuerzo por encontrar lo que la audiencia o el cliente quiere? y, si es así, ¿cómo se elabora dicha discusión?, ¿qué se hace para lograr distraer el tiempo de trabajo del responsable del negocio o de la entidad con la que se quiere trabajar para que se dedique a explicar sus necesidades?

Se requiere un método pragmático, económico y fácil de implementar, de tal forma que un gerente de seguridad ocupado pueda ponerlo en práctica a la brevedad.

¿Por qué no, tratar de evitar que la única métrica estratégica en la organización sea aquella para soportar el incremento de presupuestos?

[email protected]

 

Fuentes documentales:

Libros

  • W. Krag Brotby y Gary Hinson; “Pragmatic Security Metrics, Applying Metametrics to Information Security”, por, CRC Press, Enero, 2013.
  • W. Krag Brotby “Information Security Management Metrics” (Métricas de administración de seguridad de información), 2009.
  • Douglas Hubbard; “How to Measure Anything” (Cómo medir cualquier cosa), 2009.
  • Andrew Jaquith, “Security Metrics: Replacing Fear, Uncertainty and Doubt” (Métricas de seguridad: reemplazando miedo, incertidumbre y duda).

Artículos

Sitios Web:

 

Para ver la primera parte de este artículo, haga click aquí