Un terremoto en las Métricas de Evaluación

Descubra la poca fiabilidad que tienen las métricas de evaluación de sistemas cuando no se adoptan las precauciones adecuadas.

¿Cuántas veces hemos oído la frase “El Drawdown aparece mañana”? Se repite tanto, que hasta nos la creemos, permítanme la licencia de adjuntarle otra frase también muy repetida “Tu sistema está sobreoptimizado”, que generalmente viene de la mano, con la primera frase, quizás lo común sea tener Sistemas sobreoptimizados entonces claro que aparecerá mañana.

El Drawdown es una sucesión de pérdidas agrupadas en un subconjunto de operaciones.
Se trata de una anomalía estadística que, simplemente, aparece tarde o temprano.

Lo realmente importante en un sistema de trading, es la distribución de frecuencia en las operaciones y especialmente la distribución de excursiones adversas ya que son muy útiles para evaluar el riesgo. Puede ver unos ejemplos en estos gráficos:

En un Sistema de Trading con esperanza matemática positiva y componiendo capital, la ganancia crece linealmente en términos porcentuales. Siempre que la granularidad (tamaño mínimo) nos lo permita, en Acciones la granularidad es mucho más fina que con Futuros.

El Drawdown crece Conforme a la Raíz Cuadrada del Tiempo si la ganancia media es Cero, Proporcionalmente al Logaritmo del Tiempo si la ganancia media es Positiva y Proporcionalmente al Tiempo si la ganancia media es negativa.

Cuando nos referimos al tiempo, hablamos de la longitud del periodo prueba y es por este motivo que los Sistemas de Trading se degradan y requieren de revisiones periódicas de mantenimiento.

Puede abundar en materia de Drawdown en Este pdf

Operar un sistema sobreoptimizado es muy peligroso ya que la ganancia media puede ser negativa en ese caso el Drawdown crece proporcionalmente al tiempo, es la peor situación.

Ponga especial énfasis en evitar el Overfit, utilice 3 o 4 parámetros sencillos al diseñar sus Sistemas de Trading y seleccione las zonas robustas aunque no sean los mejores resultados.

El Problema

Hay diversas formas de gestionar el capital a Lote Fijo, Riesgo Fijo, Fixed Fractional, y Fixed Ratio entre otras, dado que el problema que pretendo mostrar se observa mejor en términos porcentuales usaremos una pequeña fracción fija de la cuenta y compondremos capital, dado que aporta un mejor comportamiento y estabilidad en los informes de resultados. El uso de Lote fijo o Capital fijo no es una buena opción para evaluar y optimizar Sistemas de Trading.

Si enumeramos todas las métricas que usamos para analizar el desempeño en las operaciones, nos encontramos que muchas de ellas incorporan de forma directa o indirecta medidas del riesgo que corremos al operar el Sistema en cuestión y se incorporan habitualmente en el divisor de las formulas con el objetivo de minimizar el temido riesgo. Otras métricas incorporan medidas derivadas de las ganancias como por ejemplo la Ganancia Media junto con otras medidas de riesgo, tomaremos como ejemplo el Profit Factor por seleccionar uno sencillo.

Profit Factor = Ganancias Totales / Perdidas Totales

Dicho esto, quiero alertar a los lectores de las implicaciones que tienen mezclar unas medidas expuestas a los efectos del apalancamiento asimétrico y otras que no lo están, como es el caso del Drawdown o los derivados de las perdidas.

Para simplificar diremos que una secuencia de pérdidas del 33.3% se recupera ganando un 50% y una secuencia de pérdidas del 50% se recupera duplicando la cuenta, algo difícilmente alcanzable sin asumir riesgos excesivos.

Tal como vemos en el gráfico anterior, el porcentaje de ganancia necesario para recuperar una secuencia de pérdidas se dispara al superar el 10% del capital. Es a partir de este importante punto de inflexión, donde casi todas las métricas que usan las ganancias se desvirtúan y pierden su razón de ser al distanciarse exponencialmente la recuperación necesaria frente a la ganancia promedio. Como he mencionado anteriormente, la ganancia porcentual crece de forma lineal componiendo capital y siempre desde el supuesto ideal en el que la ventaja estadística que aprovecha nuestro Sistema de Trading se mantenga intacta, cosa que no ocurre habitualmente.

Las implicaciones

En este artículo, vamos a repasar algunas implicaciones de tener una sucesión pérdidas acumuladas superior al 10% de la cuenta y especialmente si un Sistema de Trading supera este punto crítico durante una simulación, ya que ocurren varios efectos colaterales que hay que tener en cuenta.

Durante una optimización, los juegos de parámetros evaluados que superen el punto crítico, verán sus métricas desvirtuadas en las estadísticas. También es probable que la zona robusta de los parámetros se mueva, se represente inestable o incluso desaparezca. Esto implica que podemos desechar un buen Sistema de Trading, por no haber usado un dimensionamiento de posición adecuado.

Ahora repasemos un caso típico: ¿Qué ocurre si operamos un Sistema usando un posicionamiento fijo o a lote fijo? Resulta que cuando entramos en pérdidas, estamos implícitamente tomando un riesgo mayor, lo que acentúa el Drawdown. Si adicionalmente tenemos la mala suerte de operar con Acciones al contado, adicionalmente perdemos poder de compra al no disponer de apalancamiento, lo que finalmente nos llevará sin remedio a una perdida irrecuperable. El apalancamiento es necesario para hacer Trading, pero un uso inadecuado, es muy peligroso.

Durante las optimizaciones de parámetros, en cada Drawdown que aparezca no deben superar el punto crítico, de lo contrario, las estadísticas de buena parte de las combinaciones evaluadas, se deterioran por el efecto indeseado del apalancamiento asimétrico y se hunden más Drawdown tras Drawdown resultando en valores casi siempre mucho peores.

Explicación sencilla del problema

Dicho de otra forma, por si no ha quedado claro: No debemos sobrepasar el punto donde una sucesión de pérdidas que suman X% del capital, ya no es compensada por una sucesión de Ganancias que suman X% y  esto ocurre peligrosamente a partir del 10% de pérdida acumulada. Con el siguiente Ejemplo se entenderá mejor:

La diferencia en el Profit Factor refleja que un riesgo excesivo altera el resultado de la métrica.

La solución

Con el problema identificado, la solución es fácil, tan sólo hay que cambiar la forma de dimensionamiento de posición (Recomiendo Fixed Fractional) y bajar el riesgo porcentual por operación hasta no supera el punto crítico, lo que se traduce en tomar posiciones más pequeñas. Si no puede bajar el riesgo porcentual, quizás sea porque la simulación se ha realizado con poco capital y no permite tener la granularidad necesaria. Recuerde que el objetivo es evaluar adecuadamente un sistema.

Como recomendación les animo a usar la volatilidad a la hora de calcular el dimensionamiento de la posición, se transforman radicalmente los resultados de los Sistemas de Trading y gracias a ello nuestras operaciones aparecen indirectamente expresadas en múltiplos del riesgo.

Cuidado con el método de Montecarlo

Como colofón de evaluación del riesgo, es habitual realizar una prueba de Montecarlo para determinar el Máximo Drawdown. Ésta es una prueba importante que genera curvas de capital aleatoriamente usando operaciones mezcladas de la simulación, pero hay que tener mucho cuidado al realizarla. Si generamos excesivas curvas de capital, lejos de ser realistas vamos a ser muy pesimistas y seguramente terminemos desechando el Sistema aun siendo muy bueno.

Parándonos a pensar las implicaciones de realizar un número excesivo de curvas de capital  aleatorias,  existen varios casos extremos como que todas las operaciones perdedoras aparezcan al inicio de la operativa o totalmente agrupadas, son posibilidades innegables, ¡Téngalas en cuenta! Si adicionalmente disponemos de pocas operaciones para mezclar, tendremos la seguridad total que aparecerán los casos más desfavorables y por supuesto poco realistas.

Consejos

Si es usted un Trader de Sistemas Automáticos al que le preocupa la ventaja que poseen sus Sistemas, le animo a explorar ratios más avanzados como el Ulcer Index en sustitución del Máximo Drawdown, también le resultará interesante el Ulcer Performance Index, se trata de un ratio que no penaliza la volatilidad del capital cuando es favorable, como ocurre con el ratio de Sharpe. Quizás es el momento de resucitar viejos sistemas que creíamos estropeados.

Si es usted un Trader Manual o Discrecional que opera “Sistemas” de libros o de cursos quiero alertarle de que la ventaja ha podido desaparecer y puede que simplemente gane por suerte. Le recuerdo que los sistemas se deterioran con el tiempo y que los mercados cambian porque los participantes y las condiciones cambian. El trading automático le libera de los grilletes de los gráficos, le aporta confianza y control del riesgo. Usted solo tiene que supervisar y en contadas ocasiones hacer correcciones, le animo a pasarse a la operativa Automática, disfrutará mucho más y se sentirá más confortable gracias a la consistencia de las operaciones.

El trading es una industria muy seria, en la que hay que operar con una fuerte y robusta ventaja estadística, para ello hay que analizarla regularmente y poner en duda todos los supuestos. Se hace necesario un enfoque profesional para ganar consistentemente al mercado, unos lo llaman suerte, nosotros lo llamamos trabajo, constancia y control del riesgo.

Si te ha gustado el artículo te invito a visitar la
zona gratuita de la web
y ver los 5 vídeos gratuitos donde puedes
aprender nuevas técnicas de trading