Selección de modelos

La selección de modelos es la tarea de seleccionar un modelo entre varios candidatos sobre la base de un criterio de rendimiento para elegir el mejor. En el contexto del aprendizaje automático y, más generalmente, del análisis estadístico, esto puede referirse a la selección de un modelo estadístico a partir de un conjunto de modelos candidatos, dados unos datos. En los casos más sencillos, se considera un conjunto de datos preexistente. Sin embargo, la tarea también puede implicar el diseño de experimentos de modo que la información recogida sea adecuada para el problema de la selección de modelos. Dados varios modelos candidatos de similar capacidad predictiva o explicativa, el modelo más simple es, con mayor probabilidad, la mejor opción (navaja de Ockham).

Konishi y Kitagawa (2008, p. 75) señalan que «la mayoría de los problemas de la inferencia estadística pueden considerarse problemas relacionados con la modelización estadística». De forma similar, Cox (2006, p. 197) afirmó que «el modo en que se realiza la traducción de un problema conceptual a un modelo estadístico suele ser la parte más crítica de un análisis».

La selección de modelos también puede referirse al problema de seleccionar unos pocos modelos representativos a partir de un gran conjunto de modelos computacionales con el propósito de tomar decisiones u optimizar bajo incertidumbre.

En el aprendizaje automático, los enfoques algorítmicos para la selección de modelos incluyen la selección de características, la optimización de hiperparámetros y la teoría del aprendizaje estadístico.

Introducción

El ciclo de observación científica

En sus formas más básicas, la selección de modelos es una de las tareas fundamentales de la investigación científica. Determinar el principio que explica una serie de observaciones suele estar vinculado directamente a un modelo matemático que predice dichas observaciones. Por ejemplo, cuando Galileo realizó sus experimentos con el plano inclinado, demostró que el movimiento de las esferas se ajustaba a la parábola predicha por su modelo^{[cita requerida]}.

Entre el número innumerable de posibles mecanismos y procesos que podrían haber producido los datos, ¿cómo se puede empezar a elegir el mejor modelo? El enfoque matemático habitual toma decisiones dentro de un conjunto de modelos candidatos; este conjunto debe ser seleccionado por el investigador. A menudo se utilizan modelos sencillos, como polinomios, al menos inicialmente^{[cita requerida]}. Burnham y Anderson (2002) enfatizan a lo largo de su obra la importancia de elegir modelos basados en principios científicos sólidos, como la comprensión de los procesos o mecanismos fenomenológicos (por ejemplo, reacciones químicas) subyacentes a los datos.

Una vez elegido el conjunto de modelos candidatos, el análisis estadístico permite seleccionar el mejor de ellos. Lo que se entiende por mejor resulta controvertido. Una buena técnica de selección de modelos equilibrará la bondad de ajuste con la simplicidad. Los modelos más complejos podrán adaptar mejor su forma para ajustarse a los datos (por ejemplo, un polinomio de quinto grado puede ajustarse exactamente a seis puntos), pero los parámetros adicionales pueden no representar nada útil (quizá esos seis puntos están simplemente distribuidos al azar alrededor de una línea recta). La bondad de ajuste se determina generalmente mediante un enfoque de razón de verosimilitud, o una aproximación de este, lo que conduce a una prueba de chi-cuadrado. La complejidad se mide por lo general contando el número de parámetros del modelo.

Las técnicas de selección de modelos pueden considerarse estimadores de alguna cantidad física, como la probabilidad de que el modelo produzca los datos dados. El sesgo y la varianza son medidas importantes de la calidad de este estimador; también se suele considerar la eficiencia.

Un ejemplo típico de selección de modelos es el ajuste de curvas, donde, dado un conjunto de puntos y otros conocimientos previos (por ejemplo, que los puntos son resultado de muestras i.i.d.), se debe seleccionar una curva que describa la función que generó dichos puntos.

Dos orientaciones en la selección de modelos

Existen dos objetivos principales en la inferencia y el aprendizaje a partir de datos. Uno es para el descubrimiento científico, también llamado inferencia estadística, la comprensión del mecanismo subyacente que genera los datos y la interpretación de la naturaleza de estos. Otro objetivo del aprendizaje a partir de datos es la predicción de observaciones futuras o no observadas, denominada predicción estadística. En el segundo objetivo, al científico de datos no le preocupa necesariamente una descripción probabilística precisa de los datos. Por supuesto, también es posible tener interés en ambas orientaciones.

En consonancia con estos dos objetivos diferentes, la selección de modelos también puede tomar dos direcciones: la selección de modelos para la inferencia y la selección de modelos para la predicción. La primera orientación consiste en identificar el mejor modelo para los datos, el cual proporcione preferiblemente una caracterización confiable de las fuentes de incertidumbre para la interpretación científica. Para este objetivo, es sumamente importante que el modelo seleccionado no sea excesivamente sensible al tamaño de la muestra. En consecuencia, una noción adecuada para evaluar la selección de modelos es la consistencia de la selección, lo que significa que el candidato más robusto será seleccionado de manera consistente si se dispone de suficientes muestras de datos.

La segunda orientación consiste en elegir un modelo como un instrumento para ofrecer un excelente rendimiento predictivo. Para este último propósito, sin embargo, el modelo seleccionado puede ser simplemente un ganador afortunado entre unos pocos competidores muy cercanos y, aun así, el rendimiento predictivo puede ser el mejor posible. De ser así, la selección del modelo es adecuada para el segundo objetivo (predicción), pero el uso del modelo seleccionado para obtener explicaciones e interpretaciones puede ser muy poco confiable y engañoso. Además, en el caso de modelos muy complejos seleccionados de esta manera, incluso las predicciones pueden resultar poco razonables ante datos solo ligeramente diferentes de aquellos con los que se realizó la selección.

Métodos para ayudar a elegir el conjunto de modelos candidatos

• Transformación de datos (estadística)
• Análisis exploratorio de datos
• Especificación de modelos
• Método científico

Criterios

A continuación se presenta una lista de criterios para la selección de modelos. Los criterios de información más utilizados son (i) el criterio de información de Akaike y (ii) el factor de Bayes y/o el criterio de información bayesiano (que en cierta medida se aproxima al factor de Bayes); véase Stoica y Selen (2004) para una revisión.

• Criterio de información de Akaike (AIC), una medida de la bondad de ajuste de un modelo estadístico estimado.
• Factor de Bayes
• Criterio de información bayesiano (BIC), también conocido como criterio de información de Schwarz, un criterio estadístico para la selección de modelos.
• Criterio puente (BC, por sus siglas en inglés: Bridge criterion), un criterio estadístico capaz de alcanzar un mejor rendimiento entre el AIC y el BIC con independencia de la idoneidad de la especificación del modelo.
• Validación cruzada
• Criterio de información de la desvianza (DIC), otro criterio de selección de modelos de orientación bayesiana.
• Tasa de falso descubrimiento
• Criterio de información focalizado (FIC, por sus siglas en inglés), un criterio de selección que clasifica los modelos estadísticos según su eficacia para un parámetro de interés determinado.
• Criterio de información de Hannan-Quinn, una alternativa a los criterios de Akaike y bayesiano.
• Criterio de información de Kashyap (KIC), una potente alternativa al AIC y BIC, ya que utiliza la matriz de información de Fisher.
• Prueba de la razón de verosimilitud
• [[C_p de Mallows|C_p de Mallows]]
• Longitud de descripción mínima
• Longitud de mensaje mínima (MML)
• Estadístico PRESS, también conocido como criterio PRESS.
• Criterio de cuasi-información (QIC), para la selección de modelos donde la log-verosimilitud se sustituye por la cuasi-log-verosimilitud (p. ej., ecuaciones de estimación generalizadas).
• Minimización del riesgo estructural
• Regresión paso a paso
• Criterio de información de Watanabe-Akaike (WAIC), también llamado criterio de información ampliamente aplicable.
• Criterio de información bayesiano extendido (EBIC), una extensión del criterio de información bayesiano (BIC) habitual para modelos con espacios de parámetros de alta dimensión.
• Criterio de información de Fisher extendido (EFIC), un criterio de selección de modelos para modelos de regresión lineal.
• Criterio del mínimo restringido (CMC), un método frecuentista para la selección de modelos de regresión basado en las siguientes observaciones geométricas: en el espacio vectorial de parámetros del modelo completo, cada vector representa un modelo. Existe una bola centrada en el vector de parámetros verdadero del modelo completo en la que el modelo verdadero es el modelo más pequeño (en norma $L_{0}$). A medida que el tamaño de la muestra tiende a infinito, el estimador de máxima verosimilitud (MLE) para el vector de parámetros verdadero converge hacia este y, por lo tanto, atrae la región de confianza decreciente de la razón de verosimilitud hacia el vector verdadero. La región de confianza estará dentro de la bola con una probabilidad que tiende a uno. El CMC selecciona el modelo más pequeño dentro de esta región. Cuando la región captura el vector de parámetros verdadero, la selección del CMC es el modelo verdadero. Por lo tanto, la probabilidad de que la selección del CMC sea el modelo verdadero es mayor o igual que el nivel de confianza.

Entre estos criterios, la validación cruzada suele ser el más preciso y, computacionalmente, el más costoso para los problemas de aprendizaje supervisado.^{[cita requerida]}

Burnham y Anderson (2002, §6.3) señalan lo siguiente:

Existe una variedad de métodos de selección de modelos. Sin embargo, desde el punto de vista del rendimiento estadístico de un método y del contexto previsto para su uso, solo existen dos clases distintas de métodos: los que se han denominado eficientes y los consistentes. (...) Bajo el paradigma frecuentista para la selección de modelos, por lo general se cuenta con tres enfoques principales: (I) optimización de algunos criterios de selección, (II) pruebas de hipótesis y (III) métodos ad hoc.

Véase también

• Todos los modelos son falsos
• Análisis de hipótesis competidoras
• Aprendizaje automático automatizado (AutoML)
• Dilema de sesgo-varianza
• Selección de características
• Paradoja de Freedman
• Búsqueda en rejilla
• Análisis de identificabilidad
• Identificación de modelos
• Navaja de Ockham
• Diseño óptimo
• Problema de identificación de parámetros
• Modelización científica
• Validación de modelos estadísticos
• Paradoja de Stein

Referencias

• Aho, K.; Derryberry, D.; Peterson, T. (2014). «Model selection for ecologists: the worldviews of AIC and BIC». Ecology 95 (3): 631-636. Bibcode:2014Ecol...95..631A. PMID 24804445. doi:10.1890/13-1452.1. 
• Akaike, H. (1994). «Implications of informational point of view on the development of statistical science». Proceedings of the First US/JAPAN Conference on The Frontiers of Statistical Modeling: An Informational Approach—Volume 3. Kluwer Academic Publishers. pp. 27-38. 
• Anderson, D.R. (2008). Model Based Inference in the Life Sciences. Springer. ISBN 9780387740751. 
• Ando, T. (2010). Bayesian Model Selection and Statistical Modeling. CRC Press. ISBN 9781439836156. 
• Breiman, L. (2001). «Statistical modeling: the two cultures». Statistical Science 16: 199-231. doi:10.1214/ss/1009213726. 
• Burnham, K.P.; Anderson, D.R. (2002). Model Selection and Multimodel Inference: A Practical Information-Theoretic Approach. Springer-Verlag. ISBN 0-387-95364-7. 
• Chamberlin, T.C. (1890). «The method of multiple working hypotheses». Science 15 (366): 92-6. Bibcode:1890Sci....15R..92.. PMID 17782687. doi:10.1126/science.ns-15.366.92. 
• Claeskens, G. (2016). «Statistical model choice». Annual Review of Statistics and Its Application 3 (1): 233-256. Bibcode:2016AnRSA...3..233C. doi:10.1146/annurev-statistics-041715-033413. 
• Claeskens, G.; Hjort, N.L. (2008). Model Selection and Model Averaging. Cambridge University Press. ISBN 9781139471800. 
• Cox, D.R. (2006). Principles of Statistical Inference. Cambridge University Press. 
• Ding, J.; Tarokh, V.; Yang, Y. (2018). «Model Selection Techniques - An Overview». IEEE Signal Processing Magazine 35 (6): 16-34. Bibcode:2018ISPM...35f..16D. S2CID 53035396. arXiv:1810.09583. doi:10.1109/MSP.2018.2867638. 
• Kashyap, R.L. (1982). «Optimal choice of AR and MA parts in autoregressive moving average models». IEEE Transactions on Pattern Analysis and Machine Intelligence (IEEE). PAMI-4 (2): 99-104. PMID 21869012. doi:10.1109/TPAMI.1982.4767213. 
• Konishi, S.; Kitagawa, G. (2008). Information Criteria and Statistical Modeling. Springer. ISBN 9780387718866. 
• Lahiri, P. (2001). Model Selection. Institute of Mathematical Statistics. 
• Leeb, H.; Pötscher, B. M. (2009). «Model Selection». Handbook of Financial Time Series. Springer. pp. 889-925. ISBN 978-3-540-71296-1. doi:10.1007/978-3-540-71296-1. 
• Lukacs, P. M.; Thompson, W. L.; Kendall, W. L.; Gould, W. R.; Doherty, P. F. Jr.; Burnham, K. P.; Anderson, D. R. (2007). «Concerns regarding a call for pluralism of information theory and hypothesis testing». Journal of Applied Ecology 44 (2): 456-460. doi:10.1111/j.1365-2664.2006.01267.x. 
• McQuarrie, Allan D. R.; Tsai, Chih-Ling (1998). Regression and Time Series Model Selection. Singapur: World Scientific. ISBN 981-02-3242-X. 
• Massart, P. (2007). Concentration Inequalities and Model Selection. Springer. 
• Massart, P. (2014). «A non-asymptotic walk in probability and statistics». Past, Present, and Future of Statistical Science. Chapman & Hall. pp. 309-321. ISBN 9781482204988. 
• Navarro, D. J. (2019). «Between the Devil and the Deep Blue Sea: Tensions between scientific judgement and statistical model selection». Computational Brain & Behavior 2: 28-34. doi:10.1007/s42113-018-0019-z. 
• Resende, Paulo Angelo Alves; Dorea, Chang Chung Yu (2016). «Model identification using the Efficient Determination Criterion». Journal of Multivariate Analysis 150: 229-244. arXiv:1409.7441. doi:10.1016/j.jmva.2016.06.002. 
• Shmueli, G. (2010). «To explain or to predict?». Statistical Science 25 (3): 289-310. doi:10.1214/10-STS330. 
• Stoica, P.; Selen, Y. (2004). «Model-order selection: a review of information criterion rules». IEEE Signal Processing Magazine 21 (4): 36-47. doi:10.1109/MSP.2004.1311138. 
• Wit, E.; van den Heuvel, E.; Romeijn, J.-W. (2012). «'All models are wrong...': an introduction to model uncertainty». Statistica Neerlandica 66 (3): 217-236. doi:10.1111/j.1467-9574.2012.00530.x. 
• Wit, E.; McCullagh, P. (2001). «The extendibility of statistical models». Algebraic Methods in Statistics and Probability. pp. 327-340. 
• Wójtowicz, Anna; Bigaj, Tomasz (2016). «Justification, confirmation, and the problem of mutually exclusive hypotheses». Uncovering Facts and Values. Brill Publishers. pp. 122-143. ISBN 9789004312654. doi:10.1163/9789004312654_009. 
• Owrang, Arash; Jansson, Magnus (2018). «A Model Selection Criterion for High-Dimensional Linear Regression». IEEE Transactions on Signal Processing 66 (13): 3436-3446. doi:10.1109/TSP.2018.2821628. 
• B. Gohain, Prakash; Jansson, Magnus (2022). «Scale-Invariant and consistent Bayesian information criterion for order selection in linear regression models». Signal Processing 196. doi:10.1016/j.sigpro.2022.108499.