Graceliano Lagarejo Cordoba
Enis Emir Mena Cordoba
Jhucelo Andres Mosquera Amaya
Minería de
datos
El término
es una palabra de moda, y es frecuentemente mal utilizado para referirse a
cualquier forma de datos a gran escala o procesamiento de la información, ademas se ha generalizado a cualquier
tipo de sistema de apoyo informático, incluyendo la inteligencia
artificial, aprendizaje automático y la inteligencia empresarial. En el uso de
la palabra, el término clave es el descubrimiento, comúnmente se define como
"la detección de algo nuevo". Incluso
el popular libro "La minería de datos: sistema de prácticas herramientas
de aprendizaje y técnicas con Java" (que cubre todo el material de
aprendizaje automático) originalmente iba a ser llamado simplemente "la
máquina de aprendizaje práctico", y el término "minería de
datos" se añadió por razones de marketing. A menudo, los términos más
generales en el análisis de datos",
o "análisis" cuando se refiere a los métodos actuales, la inteligencia artificial y aprendizaje automático, son más apropiados.
La tarea de
minería de datos real es el análisis automático o semi-automático de grandes
cantidades de datos para extraer patrones interesantes hasta ahora
desconocidos, como los grupos de registros de datos (análisis clúster),
registros poco usuales (la detección de anomalías) y dependencias (minería por
reglas de asociación). Esto generalmente implica el uso de técnicas de bases de
datos como los índices espaciales. Estos patrones pueden entonces ser vistos
como una especie de resumen de los datos de entrada, y pueden ser utilizados en
el análisis adicional o, por ejemplo, en la máquina de aprendizaje y análisis
predictivo. Ni la recolección de datos, preparación de datos, ni la
interpretación de los resultados y la información son parte de la etapa de minería
de datos, pero que pertenecen a todo el proceso KDD como pasos adicionales
Los términos
relacionados con la obtención de datos, la pesca de datos y espionaje de los
datos se refieren a la utilización de métodos de minería de datos a las partes
de la muestra de un conjunto de datos de población más grandes establecidas que
son demasiado pequeñas para las
inferencias estadísticas fiables que se hizo acerca de la validez de cualquier
patrón descubierto. Estos métodos pueden, sin embargo, ser utilizados en la
creación de nuevas hipótesis que se prueban contra poblaciones de datos más
grandes.
Proceso de minería datos
Un proceso típico
de minería de datos consta de los siguientes pasos generales:
Selección del conjunto de datos, tanto en lo que se refiere a las variable objetivos (aquellas que se quiere predecir, calcular o inferir), como a
las variables independientes (las que sirven para hacer el cálculo o proceso), como
posiblemente al muestreo de los registros disponibles.
1.
Análisis de las propiedades de los
datos, en especial son los histogramas, diagramas de dispersión, presencia de valores atípicos y ausencia de datos
(valores nulos).
2.
Transformación
del conjunto de datos de entrada, aquí se realizará
de diversas formas en función del análisis previo, con el objetivo de
prepararlo para aplicar la técnica de minería de datos que mejor se adapte a
los datos y al problema, a este paso también se le conoce como reprocesamiento de los datos.
3.
Seleccionar y aplicar la técnica de minería de datos, aquí se construye
el modelo predictivo, de clasificación o segmentación.
4.
Extracción de conocimiento, en esta mediante una técnica de minería de datos, se obtiene un modelo
de conocimiento, que representa patrones de comportamiento observados en los
valores de las variables del problema o relaciones de asociación entre dichas
variables. También pueden usarse varias técnicas a la vez para generar
distintos modelos, aunque generalmente cada técnica obliga a un preprocesador
diferente de los datos.
5.
Interpretación y evaluación de datos, una vez obtenido el modelo, se debe proceder a su validación
comprobando que las conclusiones que arroja son válidas y suficientemente
satisfactorias. En el caso de haber obtenido varios modelos mediante el uso de
distintas técnicas, se deben comparar los modelos en busca de aquel que se
ajuste mejor al problema. Si ninguno de los modelos alcanza los resultados
esperados, debe alterarse alguno de los pasos anteriores para generar nuevos
modelos.
Tradicionalmente,
las técnicas de minería de datos se aplicaban sobre información contenida
en almacenes de datos. De hecho, muchas grandes empresas e instituciones han creado y
alimentan bases de datos especialmente diseñadas para proyectos de minería de
datos en las que centralizan información potencialmente útil de todas sus áreas
de negocio. No obstante, actualmente está cobrando una importancia cada vez
mayor la minería de datos desestructurados como información contenida en ficheros
de texto, en Internet
Protocolo de un proyecto de minería
de datos
Un proyecto de
minería de datos tiene varias fases
necesarias que son, esencialmente:
·
Comprensión del negocio y del
problema que se quiere resolver.
·
Determinación, obtención y limpieza
de los datos necesarios.
·
Creación de modelos matemáticos.
·
Validación, comunicación de los
resultados obtenidos.
·
Integración si procede, de los
resultados en un sistema transaccional o similar.
La relación entre
todas estas fases sólo es lineal sobre el papel. En realidad, es mucho más
compleja y esconde toda una jerarquía de subfases. A través de la experiencia
acumulada en proyectos de minería de datos se han ido desarrollando metodologías que
permiten gestionar esta complejidad de una manera más o menos uniforme.
Técnica de minería de datos
Como ya se ha
comentado, las técnicas de la minería de datos provienen de la inteligencia artificial y de la estadística, dichas técnicas, no son más que algoritmos, más o menos sofisticados que se
aplican sobre un conjunto de datos para obtener unos resultados.
Las técnicas más representativas son:
·
Redes neuronales.- Son un paradigma de aprendizaje y procesamiento
automático inspirado en la forma en que funciona
el sistema nervioso de los animales. Se trata de un sistema de interconexión de neuronas en una red que colabora para producir un estímulo de salida.
·
Regresión lineal.- Es la más utilizada para formar relaciones entre
datos. Rápida y eficaz pero insuficiente en espacios multidimensionales donde
puedan relacionarse más de 2 variables.
·
Árboles de decisión.- Un árbol de decisión es un modelo de predicción
utilizado en el ámbito de la inteligencia artificial, dada una base de datos se construyen
estos diagramas de construcciones lógicas, muy similares a los sistemas de
predicción basados en reglas, que sirven para representar y categorizar una
serie de condiciones que suceden de forma sucesiva, para la resolución de un
problema.
·
Modelos estadísticos.- Es una expresión
simbólica en forma de igualdad o ecuación que se emplea en todos los diseños
experimentales y en la regresión para indicar los diferentes factores que
modifican la variable de respuesta.
·
Agrupamiento
o Clustering.- Es un procedimiento de agrupación de una serie de vectores según
criterios habitualmente de distancia; se tratará de disponer los vectores de
entrada de forma que estén más cercanos aquellos que tengan características
comunes.
. Reglas de asociación.- Se utilizan para
descubrir hechos que ocurren en común dentro de un determinado conjunto de
datos.
Ejemplo
de uso de la minería de datos
Negocios
La minería
de datos puede contribuir significativamente en las aplicaciones de administración empresaria basada en
la relación con el cliente. En lugar de
contactar con el cliente de forma indiscriminada a través de un centro de
llamadas o enviando cartas, sólo se contactará con aquellos que se perciba que
tienen una mayor probabilidad de responder positivamente a una determinada
oferta o promoción.
En lugar de
crear modelos para predecir qué clientes pueden cambiar, la empresa podría
construir modelos separados para cada región o para cada tipo de cliente.
También puede querer determinar qué clientes van a ser rentables durante una ventana de tiempo (una quincena,
un mes,) y sólo enviar las ofertas a las personas que es probable que sean
rentables. Para mantener esta cantidad de
modelos, es necesario gestionar las versiones de cada modelo y pasar a una
minería de datos lo más automatizada posible.
Patrones de fuga
Un ejemplo
más habitual es el de la detección de patrones de fuga. En muchas industrias
como la banca, las telecomunicaciones, entre otra existe un comprensible
interés en detectar cuanto antes aquellos clientes que puedan estar pensando en
rescindir sus contratos para, posiblemente, pasarse a la competencia. A estos
clientes y en función de su valor se les
podrían hacer ofertas personalizadas, ofrecer promociones especiales, etc. con
el objetivo último de retenerlos. La minería de datos ayuda a determinar qué
clientes son los más proclives a darse de baja estudiando sus patrones de
comportamiento y comparándolos con muestras de clientes que, efectivamente, se
dieron de baja en el pasado.
Recursos humanos
La minería de datos también puede ser
útil para los departamentos de recursos humanos en la identificación de las características de sus empleados de
mayor éxito. La información obtenida puede ayudar a la contratación de
personal, centrándose en los esfuerzos de sus empleados y los resultados
obtenidos por éstos. Además, la ayuda ofrecida por las aplicaciones para Dirección estratégica en una
empresa se traducen en la obtención de ventajas a nivel corporativo, tales como
mejorar el margen de beneficios o compartir objetivos; y en la mejora de las
decisiones operativas, tales como desarrollo de planes de producción o gestión de mano de obra.
Comportamiento en Internet
También es
un área en boga el del análisis del comportamiento de los visitantes sobre todo, cuando son clientes potenciales en
una página de Internet. O la utilización de la información obtenida por medios más o menos legítimos sobre
ellos para ofrecerles propaganda adaptada específicamente a su perfil. O para,
una vez que adquieren un determinado producto, saber inmediatamente qué otro
ofrecerle teniendo en cuenta la información histórica disponible acerca de los
clientes que han comprado el primero.
Ciencia e Ingeniería
En los
últimos años la minería de datos se está utilizando ampliamente en diversas
áreas relacionadas con la ciencia y la ingeniería. Algunos ejemplos de aplicación en estos campos son:
Genética
Se trata de
saber cómo los cambios en la secuencia de ADN de un individuo afectan al riesgo
de desarrollar enfermedades comunes (como por ejemplo el cáncer). Esto es muy importante para ayudar a mejorar el
diagnóstico, prevención y tratamiento de las enfermedades. La técnica de
minería de datos que se utiliza para realizar esta tarea se conoce como "reducción de dimensionalidad
multifactorial".
Minería de datos y otras disciplinas análogas
Suscita cierta
polémica el definir las fronteras existentes entre la minería de datos y las
disciplinas análogas, como pueden serlo la estadística, la inteligencia
artificial, entre otras. Hay quienes sostienen que la minería de datos no es
sino estadística envuelta en una jerga de negocios que la
conviertan en un producto vendible. Otros, en cambio, encuentran en ella una
serie de problemas y métodos específicos que la hacen distinta de otras
disciplinas.
El hecho es que, en
la práctica la totalidad de los modelos y algoritmos de uso general en minería
de datos redes neuronales, árboles de regresión y clasificación, modelos logísticos, análisis de
componentes principales, gozan de una tradición relativamente larga en otros
campos.
De la informática
toma las siguientes técnicas:
·
Algoritmos genéticos: Son métodos numéricos de optimización, en los que
aquella variable o variables que se pretenden optimizar junto con las variables
de estudio constituyen un segmento de información. Aquellas configuraciones de
las variables de análisis que obtengan mejores valores para la variable de
respuesta, corresponderán a segmentos con mayor capacidad reproductiva. A
través de la reproducción, los mejores segmentos perduran y su proporción crece
de generación en generación. Se puede además introducir elementos aleatorios
para la modificación de las variables. Al cabo de cierto número de iteraciones,
la población estará constituida por buenas soluciones al problema de
optimización, pues las malas soluciones han ido descartándose, iteración tras
iteración.
·
Inteligencia Artificial: Mediante un
sistema informático que simula un sistema inteligente, se procede al análisis
de los datos disponibles. Entre los sistemas de Inteligencia Artificial se
encuadrarían los Sistemas Expertos y las Redes Neuronales.
·
Sistemas Expertos: Son sistemas que han sido creados a partir de
reglas prácticas extraídas del conocimiento de expertos. Principalmente a base
de inferencias o de causa-efecto.
·
Redes neuronales: Genéricamente, son
métodos de proceso numérico en paralelo, en el que las variables interactúan mediante transformaciones lineales
o no lineales, hasta obtener unas salidas. Estas salidas se contrastan con los
que tenían que haber salido, basándose en unos datos de prueba, dando lugar a
un proceso de retroalimentación mediante el cual la red se reconfigura, hasta
obtener un modelo adecuado.
Minería de datos basada en teoría de la información
Todas las
herramientas tradicionales de minería de datos asumen que los datos que usarán
para construir los modelos contienen la información necesaria para lograr el
propósito buscado: obtener suficiente conocimiento que pueda ser aplicado al negocio (o problema) para obtener un beneficio
(o solución).
El
inconveniente es que esto no es necesariamente cierto. Además, existe otro problema
mayor aún. Una vez construido el modelo no es posible conocer si el mismo ha
capturado toda la información disponible en los datos. Por esta razón la
práctica común es realizar varios modelos con distintos parámetros para ver si
alguno logra mejores resultados.
Un enfoque
relativamente nuevo al análisis de datos soluciona estos problemas haciendo que
la práctica de la minería de datos se parezca más a una ciencia que a un arte.
APORTES
En (1948 Claude Shannon) publicó un trabajo llamado “Una teoría matemática de la
comunicación”. Posteriormente ésta pasó a llamarse Teoría de la información y sentó las bases de la comunicación y la codificación de
la información. (Shannon) propuso una manera de medir la cantidad de
información a ser expresada en bits.
En (1999 Dorian Pyle) publicó un libro llamado “Data Preparation for Data Mining” en el que propone una manera de
usar la Teoría de la Información para analizar datos. En este nuevo enfoque,
una base de datos es un canal que transmite información. Por un lado está el
mundo real que captura datos generados por el negocio. Por el otro están todas
las situaciones y problemas importantes del negocio. Y la información fluye
desde el mundo real y a través de los datos, hasta la problemática del negocio.
Con esta
perspectiva y usando la Teoría de la información, es posible medir la cantidad de información disponible
en los datos y qué porción de la misma podrá utilizarse para resolver la
problemática del negocio. Como un ejemplo práctico, podría encontrarse que los
datos contienen un 65% de la información necesaria para predecir qué cliente
rescindirán sus contratos. De esta manera, si el modelo final es capaz de hacer
predicciones con un 60% de acierto, se puede asegurar que la herramienta que
generó el modelo hizo un buen trabajo capturando la información disponible.
Una vez que
las variables son procesadas con el fin de crear el mapa de información y luego
seleccionadas aquellas que aportan la mayor información, la elección de la
herramienta que se usará para crear el modelo deja de tener importancia, ya que
el mayor trabajo fue realizado en los pasos previos.
Tendencias
La Minería
de Datos ha sufrido transformaciones en los últimos años de acuerdo con cambios
tecnológicos, de estrategias de marketing, la extensión de los modelos de
compra en línea. Los más importantes de ellos son:
·
La importancia que han cobrado
los datos no estructurados (texto,
páginas de Internet, etc.).
·
La necesidad de integrar los
algoritmos y resultados obtenidos en sistemas operacionales, portales de
Internet
·
La exigencia de que los procesos
funcionen prácticamente en línea (por
ejemplo, en casos de fraude con una tarjeta de crédito).
·
Los tiempos de respuesta. El gran volumen de datos que hay que procesar en muchos casos para
obtener un modelo válido es un inconveniente; esto implica grandes cantidades de tiempo de proceso y hay problemas que
requieren una respuesta en tiempo real.
RELACION CON LA INGENIERIA CIVIL
Cuando hablamos de ingeniería civil, hablamos de; como materializar
algo plasmado en un papel (plano o idea), teniendo en cuenta cómo se va a
utilizar y la resistencia que debe tener. El ing. Civil o el ing. En sistema usan
se imaginación (ingenio) para crear estructuras (virtuales o físicas) para
facilitar algo en la sociedad.
Ejemplo: la minería de datos es la forma en que podemos procesar
grandes cantidades de información y como la podemos utilizarla de tal manera
que al procesarla quede clara y concisa
una forma de aplicar la minería de datos a la ingeniería civil, podría ser cuando buscamos información acerca de un tipo de suelo para hacer un construcción en el, o de un tipo de estructura para construirla o para modificarla.
Conclusión
Este trabajo nos sirve para todo un proceso de aprendizaje amplio y provechoso, el cual será de gran utilidad en nuestro camino, nos dejó mucha información aprendida, por que la minería de datos es un tema muy amplio que nos sirve para adquirir nuevos conocimientos.
Seria bueno que orgaizaran mejor la informacion.
ResponderBorrarbueno
ResponderBorrarmuy bueno el dominio de su tema espero que sigan asi
ResponderBorrar