Para entender este importante aspecto clave para entender la Data Mining, es bueno centrarse en 2 importantes puntos:
1- Entender qué es el Data Mining
2- Conocer el ciclo de vida del Data Mining
Dicho esto, vamos al lío...
Primer paso: Entender qué es el Data Mining
Data Mining (Minería de Datos o DM) es el análisis e interpretación de grandes volúmenes de datos para descubrir relaciones o patrones significativos (útiles) y reglas de decisión, por medio de procesos automáticos o semiautomáticos.
Su finalidad es permitir al analista encontrar una solución útil al problema planteado a través de una comprensión de los datos existentes llamado MÉTODO INDUCTIVO
Los datos, tal cual se almacenan no suelen proporcionar beneficios directos. Su valor real reside en la información que podamos extraer de ellos: información que nos ayude a tomar decisiones o a entender los fenómenos que nos rodean.
Segundo paso: Conocer el Ciclo del Data Mining
El DM es un proceso interactivo e iterativo, que involucra numerosos pasos e incluye muchas decisiones que deben ser tomadas por el analista, y que se estructura en las siguientes etapas:
1- Comprensión del problema, comprensión de los datos, estructura de la información. Definición del objetivo realista. En esta fase nos debemos plantear unas expectativas de resultados.
>> Idea clave: Orientación de resultados a negocio.
2- Creación del conjunto de datos objetivo: consiste en la selección del conjunto de datos, o del subconjunto de variables o muestra de datos, sobre los cuales se va a realizar el estudio.
>> Idea clave:Programación y ETL (normalmente un SQL o similar).
3- Limpieza y procesamiento de los datos: Se compone de operaciones como: recolección de la información necesaria sobre la cual se va a realizar el proceso, decidir las estrategias sobre la forma en que se van a manejar los campos de los datos no disponibles, estimación del tiempo de la información y sus posibles cambios.
>> Idea clave: Creación de insights, KPIs y ETLs de mineria (normalmente SAS o R)
4- Reducción de los datos y proyección: Encontrar las características más significativas para representar los datos, dependiendo del objetivo del proceso. En este paso se pueden utilizar métodos de transformación para reducir el número efectivo de variables a ser consideradas o para encontrar otras representaciones de los datos.
>> Idea clave: Aplicación de estadística y conocimientos de programación para hacerlo eficiente.
5- Elección del algoritmo: selección del método o métodos a ser utilizado para buscar los patrones en los datos. Incluye además la decisión sobre qué modelos y parámetros pueden ser los más apropiados, utilizando para ello métodos de clasificación, de agrupación, GLM, regresión logística, etc.
>> Idea clave: conocimiento elevado de estadística y programación para hacerlo eficiente (SAS, R studio o Python).
6- Interpretación y evaluación. Dependiendo de los resultados, a veces se hace necesario regresar a uno de los pasos anteriores para llegar a tener un conocimiento real y profundo de los datos y de los resultados obtenidos.
>> Idea clave: Orientación de resultados a negocio y analítica de resultados estadísticos.
7- Consolidación del conocimiento descubierto: consiste en la incorporación de este conocimiento al funcionamiento del sistema, o simplemente información a las partes interesadas.
>> Idea clave: Visualización del dato y storytelling del dato para trasladar el conocimiento a negocio.
Idea clave para el éxito: Todos los pasos son importantes para el éxito, hay que dedicar a cada punto del ciclo del data mining lo que se necesita y si algún aspecto fallara se iterará y repetirá tantas veces como sea necesario.
Espero que este artículo te haya resultado útil, entretenido y ameno en este mundo de entender más y adentrarse en el mar de conocimiento de los datos. Recuerda que siempre me puedes consultar, ya que me dedico profesionalmente y quizás contratar una sesión de consultoría.
