Sistema Preciso e Interpretable de Credit Scoring
Integración de Algoritmos y Técnicas de Interpretabilidad
- En esta sección encontrarás el mi plan de tesis de la maestría en Data Science.
- Accede al contenido del curso “Plan de tesis” de la maestría aquí
Introducción
Planteamiento del problema
El sistema financiero desempeña un papel fundamental en la economía de cualquier país, ya que facilita la movilización de recursos y su asignación eficiente hacia las actividades productivas. A través de diversas instituciones y mercados, el sistema financiero canaliza el ahorro de los individuos y empresas hacia inversiones que promueven el crecimiento económico y la estabilidad. La confianza y la eficiencia en el sistema financiero son esenciales para mantener el flujo continuo de recursos y, por ende, el desarrollo sostenido de la economía.
Dentro del sistema financiero, el crédito se erige como uno de los componentes más importantes. Proporciona a las empresas y a los consumidores los recursos necesarios para invertir, crecer y cubrir sus necesidades financieras a corto y largo plazo. El acceso adecuado al crédito fomenta el emprendimiento, la expansión de negocios y la mejora del bienestar general.
Sin embargo, la concesión de crédito conlleva riesgos, especialmente el riesgo de impago, que puede tener consecuencias graves para las instituciones financieras y, en última instancia, para la estabilidad económica general. En este contexto, un sistema de credit scoring preciso e interpretable es crucial. La precisión en la predicción del riesgo de impago permite a las instituciones financieras tomar decisiones informadas sobre la concesión de crédito, minimizando el riesgo de pérdidas y optimizando la asignación de recursos. Además, la interpretabilidad del modelo es esencial para cumplir con los estándares regulatorios y para generar confianza tanto en los reguladores como en los usuarios del sistema financiero. Los reguladores, como la Superintendencia de Banca, Seguros y AFP, requieren que los modelos de credit scoring sean transparentes y explicables para asegurar que las decisiones de crédito se tomen de manera justa y adecuada.
A nivel internacional, tanto la Autoridad Bancaria Europea (EBA, por sus siglas en inglés) como la Comisión para el Mercado Financiero (CMF) subrayan la importancia de modelos de evaluación crediticia precisos y transparentes. En 2021 la CMF (2021) destaca en su “Discussion Paper on Machine Learning for IRB Models” la necesidad de integrar efectivamente modelos de aprendizaje automático en los modelos de IRB para calcular los requisitos de capital y asegurar una evaluación precisa del riesgo crediticio. Por su parte, también en 2021 la EBA (2021) requiere que cada calificación de riesgo esté respaldada por criterios y atributos detallados para explicar la diferenciación de riesgo entre los deudores, garantizando la transparencia y equidad en las decisiones de crédito.
Propósito de la investigación
Objetivo principal
Desarrollar un sistema de credit scoring que prediga de manera precisa el riesgo de impago de obligaciones crediticias, cumpliendo con el estándar de interpretabilidad requerido por la Superintendencia de Banca, Seguros y AFP como ente regulador, con el propósito de optimizar la asignación de recursos para las instituciones financieras, esto mediante la integración de algoritmos de aprendizaje automático supervisados y no supervisados (k-means y Kohonen), así como técnicas de interpretabilidad post hoc (LIME y SHAP values).
Objetivos secundarios
- Segmentar mediante algoritmos de k-means y Kohonen la base de datos de clientes con el fin de mejorar la precisión predictiva de los modelos supervisados a emplear.
- Identificar y seleccionar modelos supervisados con hiperparámetros óptimos para su posterior aplicación en el proceso de modelado.
- Implementar técnicas de interpretabilidad LIME y SHAP values con el objetivo de cumplir con los requisitos establecidos por el ente regulador.
- Evaluar tanto el rendimiento predictivo, mediante las métricas de accuracy, AUC y F1-score, como la interpretabilidad de los modelos para determinar cuál ofrece la mejor eficacia en ambos aspectos.
- Plantear los pasos de implementación del sistema de credit scoring para ser usado por las entidades financieras.
Pregunta de investigación
¿Cuáles es el sistema de credit scoring que garantiza una predicción precisa del riesgo de impago de obligaciones crediticias, al mismo tiempo que cumple con los estándares de interpretabilidad establecidos por la Superintendencia de Banca, Seguros y AFP, con el fin de mejorar la asignación de recursos para las instituciones financieras?
Hipótesis de investigación
Mediante la integración de algoritmos de aprendizaje no supervisados y supervisados junto a técnicas de interpretabilidad post hoc se identificarán los sistemas de credit scoring que garanticen una predicción precisa del riesgo de impago de obligaciones crediticias, al mismo tiempo que cumplan con los estándares de interpretabilidad establecidos por la Superintendencia de Banca, Seguros y AFP, con el fin de mejorar la asignación de recursos para las instituciones financieras.
Importancia de la tesis
Esta investigación busca integrar algoritmos de aprendizaje no supervisado, supervisado y de interpretabilidad para superar los desafíos de predicción y explicabilidad en la credit scoring. Así, este documento toma relevancia en los siguientes aspectos:
Desde el punto de vista académico, la presente investigación contribuye al avance del conocimiento en el campo de la evaluación de riesgo crediticio mediante propuestas de sistemas de credit scoring que integren algoritmos supervisados, no supervisados y técnicas de interpretabilidad post hoc. Investigaciones anteriores se centraron en integrar algoritmos supervisados y técnicas de interpretabilidad o en integrar algoritmos no supervisados y supervisados, mas no la conjunción de estas tres técnicas.
Desde el punto de vista social, estos sistemas de credit scoring reducen el riesgo de sobreendeudamiento de individuos y familias al mejorar la precisión en la evaluación del riesgo de impago. Además, fomenta la inclusión financiera al facilitar el acceso al crédito a segmentos de la población previamente excluidos debido a evaluaciones de riesgo inexactas.
Desde el punto de vista empresarial, mejora la eficiencia operativa de las instituciones financieras al optimizar la asignación de recursos y reducir las pérdidas por incumplimiento.
Desde el punto de vista regulatorio, propone una adaptación a las regulaciones de entes supervisores como la Superintendencia de Banca, Seguros y AFP, garantizando el cumplimiento de estándares de interpretabilidad en los modelos de credit scoring.
Por último, desde el punto de vista económico, esta investigación presenta un impacto positivo en la estabilidad financiera al reducir los riesgos asociados a la concesión de créditos. A su vez, genera un aumento en la rentabilidad de las instituciones financieras al tomar decisiones de crédito más informadas y precisas.
Revisión de literatura
El estudio de sistemas de credit scoring es un tema ampliamente abordado en la literatura. Debido a las regulaciones en este sector, los algoritmos más usados en estos sistemas son los de índole estadística como regresión logística o árboles de decisión. Sin embargo, Del Pilar (2021) señala que los modelos de machine learning, específicamente los modelos de caja negra, pueden superar a las metodologías clásicas en la predicción del incumplimiento crediticio ofreciendo mejores métricas de desempeño.
Una de las razones de estos mejores desempeños de predicción se debe a la integración de algoritmos de aprendizaje no supervisado y supervisado (Bao et al., 2019). Bao analiza cómo la agrupación de datos puede contribuir a mejorar la capacidad de clasificación de los modelos de riesgos crediticios. Compara la efectividad de los modelos no agrupados con la de los modelos agrupados utilizando los algoritmos de k-means y Kohonen.
En este sector, la interpretabilidad representa uno de los mayores desafíos respecto a otros sectores, dado que se requiere brindar explicaciones del resultado de aprobación o denegación de crédito a un cliente (EBA, 2021). Así, para el cumplimiento de esta regulación bajo el uso de modelos de machine learning, las técnicas de interpretabilidad más usadas son Local Interpretable Model-Agnostic Explanations (LIME), SHapley Additive exPlanations (SHAP), aunque según (Sanmartín González, 2023) también se usan Anchors y Gráficos de Expectativa Condicional Individual (ICE).
En cuento a los algoritmos de predicción de caja negra más usadas, destacan los de Extreme Gradient Boosting (XGBoost), Redes Neuronales y Random Forest (Del Pilar, 2021; Dessain et al., 2023). De estos modelos, Del Pilar (2021) manifiesta que el modelo de Random Forest mostró resultados superiores en las métricas de desempeño.
Las métricas de desempeño más usadas referidas a los algoritmos de agrupación son el índice de Silueta y la distorsión (Bao et al., 2019), las referidas a la predicción son el área bajo la curva ROC (AUCROC), F1-score y accuracy (Del Pilar, 2021; Sanmartín González, 2023). Respecto a las métricas de interpretabilidad, Sanmartín González (2023) señala que se requiere medir las métricas de cobertura, complejidad de la regla y estabilidad.
Una última consideración en investigaciones sobre credit scoring es el desbalanceo de la variable objetivo, dado que gran parte de los registros son aceptaciones de crédito y una pequeña parte son rechazos de crédito. Chen et al. (2024) demuestra que el desbalanceo de clases tiene un efecto adverso significativo en la estabilidad de los métodos de interpretación LIME y SHAP. A medida que aumenta el desbalanceo de datos, las interpretaciones generadas por estos métodos se vuelven menos estables, lo que indica una disminución en la confiabilidad de las explicaciones proporcionadas por modelos de machine learning en conjuntos de datos altamente desbalanceados.
Metodología
Metodología
Para el desarrollo de esta investigación se empleará la metodología CRISP-DM (Cross-Industry Standard Process for Data Mining), que es una metodología ampliamente utilizada en proyectos de minería de datos y aprendizaje automático. Esta metodología proporciona un marco estructurado y flexible para abordar problemas de datos complejos y se compone de seis fases principales: Comprensión del Negocio, Comprensión de los Datos, Preparación de los Datos, Modelado, Evaluación y Despliegue.
Población de estudio
La población de estudio de esta investigación estará compuesta por clientes, se considerarán individuos y no empresas, que soliciten crédito a instituciones financieras. Se considerarán diferentes perfiles de clientes, abarcando diversas características demográficas, financieras y de comportamiento crediticio.
Descripción de los datos
Los datos utilizados en esta investigación consisten en una muestra de información crediticia proporcionada por una entidad financiera que se mantiene en el anonimato. Esta muestra incluye registros de clientes que han solicitado créditos durante un período de tiempo específico que abarca los últimos tres años.
Los datos recopilados contienen una variedad de variables relevantes para la evaluación del riesgo crediticio referidas a información demográfica (edad, género, estado civil, nivel educativo, entre otros.), financiera (ingresos, deudas, historial crediticio, entre otros.), de características del crédito (tipo de préstamo, monto solicitado, plazo, tasa de interés, entre otros.) y de comportamiento crediticio (pagos realizados, fechas de vencimiento, montos pendientes, entre otros).
Es importante destacar que los datos serán previamente anonimizados y despersonalizados para garantizar la privacidad y confidencialidad de los individuos.
Análisis para la preparación de los datos
Antes de proceder con el desarrollo del sistema de credit scoring, se llevará a cabo un exhaustivo análisis para la preparación de los datos. Este análisis comprenderá dos etapas principales: la identificación de problemas en los datos e ingeniería de variables para abordar dichos problemas.
Para identificar posibles problemas en los datos, se realizarán diversas exploraciones y análisis descriptivos, incluyendo detección de valores atípicos, manejo de datos faltantes. Por otra parte, para la evaluación de la calidad de los datos se revisarán las características y la consistencia de los datos para identificar posibles errores o inconsistencias en la codificación de variables, registros duplicados o incoherencias en los datos.
Una vez identificados los problemas en los datos, se aplicará técnicas de ingeniería de variables para la creación de nuevas variables derivadas a partir de las características originales, con el objetivo de capturar mejor la información relevante y mejorar la capacidad predictiva del modelo. Esto incluirá la creación de variables categóricas, transformaciones logarítmicas, normalizaciones y otras técnicas de transformación de datos.
Modelamiento
En esta etapa del proceso de investigación, se emplearán diversas técnicas de modelado con el objetivo de desarrollar un sistema de credit scoring preciso y confiable. Estas técnicas se seleccionaron cuidadosamente con el fin de maximizar la capacidad predictiva del modelo y garantizar su interpretabilidad, cumpliendo así con los estándares establecidos por la Superintendencia de Banca, Seguros y AFP.
Entre los algoritmos de aprendizaje supervisado a usar están: Extreme Gradient Boosting, Redes Neuronales y Random Forest, para entrenar modelos predictivos basados en las características de los clientes y préstamos.
También se emplearán algoritmos de aprendizaje no supervisado, específicamente k-means y Kohonen, para la segmentación de clientes según su comportamiento financiero y crediticio. Estos algoritmos permitirán identificar grupos homogéneos de clientes con características similares, lo que facilitará la personalización de las estrategias de crédito y la gestión del riesgo.
Por último, se aplicarán técnicas de interpretabilidad post hoc, como LIME (Local Interpretable Model-agnostic Explanations) y SHAP (SHapley Additive exPlanations), para comprender y explicar las decisiones tomadas por los modelos de machine learning. Estas técnicas proporcionarán información sobre cómo las características individuales de los clientes influyen en la asignación de puntajes de crédito, ayudando a cumplir con el requisito de interpretabilidad exigido por las regulaciones financieras.
Evaluación de modelos
Dado que el sistema de credit scoring propuesto será una integración de algoritmos no supervisados, supervisados y técnicas de interpretabilidad, se requiere métricas de evaluación para cada una de estas. Se usarán el índice de Silueta y la distorsión para evaluar los algoritmos de agrupamiento, área bajo la curva ROC, F1-score y accuracy para evaluar los algoritmos de predicción y, por último, métricas de cobertura, complejidad de la regla y estabilidad para evaluar la interpretabilidad de los modelos.
Plan de trabajo
