Hace un tiempo, como profesora de programación, hice una ponencia en un banco y como ya ha pasado un tiempo más que razonable, comparto una serie de puntos que gustaron en dicha ponencia, esperando que os resulten igual o más de interesantes.
En la primera parte resolveremos 3 grandes cuestiones y al final de todo veremos un caso práctico de éxito real.
¿En qué consiste el Big Data? Su importancia, desafíos y gobernabilidad
Vamos a desgranar en que consiste, empezando por contestar las 4 principales cuestiones:
- ¿Qué es el Big Data?
- ¿Por qué el Big Data es tan importante?
- Desafíos de la Calidad de Datos en Big Data
- Cómo Construir un Plan de Data Governance en Big Data
Abróchate el cinturón, que vienen curvas. Al lio...
¿Qué es el Big Data?
Big Data es un término que describe el gran volumen de datos, tanto estructurados como no estructurados, que llegan principalmente debido a la digitalización de la información. Aunque no es la cantidad de datos lo que es importante. Lo que importa con el Big Data es lo que se puede hacer con los datos como obtener mejores decisiones y movimientos de negocios estratégicos. Lo importante es la información que se obtiene a través de los datos, no el volumen que se tenga.
Cuando hablamos de Big Data nos referimos a conjuntos cuyo tamaño (volumen, 50 Terabytes en adelante), complejidad (variabilidad, datos no estructurados) y velocidad de crecimiento (velocidad) dificultan su captura, gestión, procesamiento o análisis mediante tecnologías y herramientas convencionales.
¿Por qué el Big Data es tan importante?
El análisis de Big Data ayuda a las compañías a aprovechar sus datos y utilizarlos para identificar nuevas oportunidades, mejora de las decisiones tomadas y genera ventaja competitiva. Eso, a su vez, conduce a movimientos de negocios más inteligentes, operaciones más eficientes, mayores ganancias y clientes más satisfechos. Las empresas que tienen más éxito en Big Data consiguen valor de la siguiente forma:
- Reducción de coste: El análisis basado en la nube, aporta importantes ventajas en términos de costes cuando se trata de almacenar grandes cantidades de datos, además de identificar maneras más eficientes de hacer negocios.
- Más rapidez y mejor toma de decisiones. Con la velocidad de tecnologías como Hadoop o Spark y la analítica en memoria, combinada con la capacidad de analizar nuevas fuentes de datos (como Python, R o SAS), las empresas pueden analizar la información inmediatamente y tomar decisiones basadas en lo que han aprendido.
- Nuevos productos y servicios. Con la capacidad de medir las necesidades de los clientes y la satisfacción a través del análisis, viene el poder de dar a los clientes lo que quieren. Con la analítica de Big Data, más empresas están creando nuevos productos para satisfacer las necesidades de los clientes.
Genial, ya hemos entendido que es eso del Big Data, y por qué es importante su uso, ya que ofrece unas grandes ventajas. Ahora ya estamos preparad@s para pasar al siguiente nivel.
Desafíos de la Calidad de Datos en Big Data
Como todo punto de tecnología y avance, tiene unos desafíos y retos asociados que hay que lograr superar para alcanzar la meta de la manera más exitosa posible.
Hay dos aspectos importantes, el primero es la calidad de los datos y el segundo reto será construir un Gobierno de datos para cumplir con la seguridad y la parte legal.
El primer punto es imprescindible para que los datos aporten información y solución a los problemas que se tienen en la Analítica Avanzada. El segundo aspecto, que es tan importante que se podría desglosar a su vez en Seguridad de los datos y la trazabilidad de la información y por último el aspecto legal para que no se incurra en ninguna vulnerabilidad.
En el próximo artículo, explicaremos la metodología del Big Data y en la última parte veremos un caso de éxito aplicado en un Modelo de Credit Scoring. Si no puedes esperar más o bien quieres resolver dudas similares, siempre puedes contratarme ;)
La Metodología del Big Data
La aplicación de estas técnicas conlleva el desarrollo de un proceso compuesto por distintas fases que se realizan de manera iterativa.
El desarrollo de esta metodología se ve condicionada por los objetivos, el historial y, principalmente, por los datos disponibles externos: inclusión de información no convencional: internet, redes, disponibilidad pública, …
Adicionalmente, se requerirá un conocimiento específico de herramientas estadísticas, conocimiento del negocio, entre otras. Con el propósito de determinar las variables relevantes y los métodos de modelización más apropiados.
Por cierto, me encanta esta imagen y flujo, porque cualquiera podría pensar que soy el último monigote, pero no, el papel de un data scientist (o analista de datos en español sencillo) es que soy la bombillita. Porque aunque la IA es muy prometedora, aún no ha llegado a este punto.
El monigote, es el que "actúa" es decir, las personas que trabajan en áreas de negocio, que son los que toman la última decisión, normalmente asesorados por el conocimiento y los datos de la bombilla, perdón del experto en datos.
Técnicas y herramientas estadísticas de machine learning
Este es un punto clave en el que se requieren conocimientos de estadística (conocimientos avanzados, pero que a su vez se necesita un dominio de los conocimientos básicos). Para el caso de éxito se analizaron dos algoritmos principalmente: Redes Neuronales y Gradient Boosting. Vamos a ver en qué consisten cada una.
- Redes Neuronales: Consisten en unidades de procesamiento que intercambian datos o información. Se utilizan para reconocer patrones. Tienen capacidad de aprender y mejorar su funcionamiento.
- Gradient Boosting: Estructura en forma de árbol que representa un conjunto de decisiones. Estas decisiones generan reglas para la clasificación de un conjunto de datos.
Dirás llegado este punto: <<Dolores, todo esto está muy bien, pero ¿cuál es su aplicación práctica?>> Esperaba que hicieras esa pregunta, directa al grano, pues vamos a ver justo la Aplicación del Big Data, en concreto en Banca.
Por ejemplo, en la estimación de la Renta, esto es, la predicción de los distintos niveles de renta de los clientes que tiene una empresa bancaria. Analizamos en detalle el siguiente diagrama:
Ahora para que me reconozcáis más fácilmente me he pintado como "minera", ya que durante muchos años (y sigue siendo así) se llama esa parte "data mining" o lo que es lo mismo mineria de datos. Que básicamente es que pico mucho tiempo para extraer algo de valor (como el minero que está muchas horas hasta extraer esa pepita de oro o piedra preciosa).
Además de este ejemplo de aplicación práctica, hay muchas pero muchas más aplicaciones en banca, algunas ideas más de usabilidad:
- Venta Cruzada, mejora de la eficiencia comercial ofreciendo productos/servicios adecuados a las necesidades del cliente.
- Detección de fuga, mejora del scoring de abandono para cada cliente.
- Fraude, sistema de alertas de distinto nivel en función del riesgo que se desea asumir.
En el siguiente artículo veremos el Caso de Éxito de un Modelo de Credit Scoring, ya que tenemos todas las bases para poder entender toda la información.
Dentro de las formaciones que doy, puedo preparar desde niveles muy básicos a dar soporte a consultas más complejas para resolver este tipo de problemas. Si tienes cualquier duda, puedes contactarme y proponerme ese reto que tienes en la cabeza.
Caso de Éxito en Banca usando un Modelo de Credit Scoring aplicando Big Data
El primer aspecto para la predicción de los niveles de renta de los clientes, contábamos con cuatro pilares que son:
- Ingresos: Conocimiento del gestor, IRPF, importe económico recibido de nóminas, pensiones, etc.
- Capacidad de gasto: Importe gastado en tarjetas, en comercios, gastos de recibos domiciliados, suscripciones, etc.
- Capacidad de ahorro: variación de los saldos de cuenta corriente o ahorro, variación en los planes de pensiones, fondos, renta variable, etc.
- Características sociodemográficas (sociales, económicas y geográficas): datos geográficos (donde vive), datos de la actividad económica (sector donde trabaja), etc.
Con toda esta información, y después de mucho trabajo donde se necesitan conocimientos tanto de programación como de estadística, se llegan a unos valores de probabilidad de pertenecer a un grupo de renta.
Digamos que estos son las fuentes tradicionales para realizar un credit scoring "convencional" y el proyecto consistía en desarrollar e implementar un modelo de credit scoring, utilizando tanto fuentes tradicionales como alternativas y aplicando modelos de machine learning para la mejora de la predicción.
Para ello se ampliaron las principales fuentes de información y las principales que se seleccionaron fueron las siguientes:
- Información Convencional: nóminas, IRPF, tarjeta de crédito, préstamos y la información del cliente del CRM/ERP.
- Información NO Convencional: esta a su vez de subdividido en dos:
- Información Pública: redes sociales (Facebook, LinkedIn, etc.) y información contenida en internet.
- Información proveniente de cuentas bancarias de otras entidades (con su previa autorización del usuario y su consentimiento expreso).
Se planteó una solución tecnológica Big Data, para elaborar el modelo de Credit Scoring, desarrollando el siguiente proceso:
Idea Clave: La parte de la iteración y la conexión es la más compleja de diseñar para que todo el flujo del dato funcione en perfecta sincronía y se pueda iterar y mejorar el modelo cada vez. Para lograr esto, se necesita una buena tecnología y como norma, la que se puede trabajar en la nube suele ofrecer mejoras para facilitar el objetivo deseado.
Entonces el Business Case consiguió los siguientes hitos:
- Se observó que, gracias al aumento de información externa disponible acerca del cliente, se puede disminuir la zona de exclusión, obteniéndose resultados positivos.
- Hubo tres aspectos clave para la definición del éxito:
- Objetivo: Aceptar un 10% más de las 30.000 solicitudes que se reciben por mes. Previo al estudio, se admiten 3.000 solicitudes.
- Préstamo Francés: donde el importe fueron 7.000 €, la duración de 7 años y el interés del 5%.
- Intereses Generados: 3.15 millones de euros de margen de interés.
Hasta aquí este articulo que ha llegado a su fin con un final feliz. Ya sabes que, además de trabajar diariamente con datos, puedo ayudarte a mejorar tanto aspectos de programación para potenciar esos análisis con datos, en la parte de que algoritmos matemáticos o de machine learning aplicar y en la parte de la visualización del dato. Cualquier cuestión puedes consultarme para lograr esos retos y objetivos que tienes.
