Kategoriak: All - metodología - interdisciplinariedad - big data - adaptabilidad

arabera Edisson Camilo Sanchez Osorio 9 days ago

7

Actividad

Un proyecto de ciencia de datos implica una serie de actividades organizadas con un inicio y un fin definido, buscando siempre un objetivo claro. La estructura del proyecto es adaptable y se planifica considerando los recursos limitados disponibles.

Actividad

Elaborado por:Edisson Camilo Sanchez Osorio

¿Cómo se estructura un proyecto de ciencia de datos?

Actividad

Anticipando los Riesgos o Limitaciones

Seguridad de la Información
Falta de Reproductividad de los Modelos
Versiones sin control
Conocimiento Adquirido del Negocio
Entrega de Informaciòn
Limpieza de Datos

Estableciendo una Metodología

Proyecto y Data+Info Resiliente
Data Science Edge

Se divide en 4 Cuadrantes

Mejorar

Construir

Diseñar

Evaluar

Incluye Big Data y Actividades de Ciencia de Datos

Basado en el Modelo CRISP-DM

Toward Data Mining Engineering

Busca ampliar la metodología CRISP-DM

Ingeniería Exhaustiva buscando ejecución Exhaustiva

Los desafíos relacionados con el equipo quedan sin explorar

Muy entrelazado a la ingeniería de Software

Big Data Management Canvas

Inteligencia empresarial

Analítica Rápida

Creación de Valor atreves de los datos

Consta de 5 Fases

Efectividad de los datos

Inteligencia de los datos

Interacción con los datos

Análisis de datos

Preparación de los datos

Integral
Agile Delivery Framework

Asertiva al Cambio

Colaboración con el cliente

Orientado al Aprendizaje

Fácil adaptabilidad

Dominio DS Lifecycle

Enfoque logístico

Permite colaboración multidisciplinaria

Acepta las iteraciones

Microsoft TDSP

Buscar garantizar la infraestructura y recursos

Calidad de los Datos

Enfoque en la toma de decisiones

Definición del ciclo de vida

Retroalimentación y ajustes continuos

Limitado a servicios de Microsoft

Estructura de proyecto estandarizada

RAMSYS

Enfoque Top-Dowm

Documentación y Trazabilidad

Flexibilidad y Adaptabilidad

Integra tecnologías Emergentes

Iterativa e incremental

Establece una Bodega de Información

Herramientas Web

Definición de Roles

Colaboración remota

Enfocado en proyectos rápidos

Proyecto Resiliente
Foundational Methodology for Data Science

Consta de 10 Etapas

Retroalimentación

Evaluación

Modelado

Comprensión de Datos

Recopilación de Datos

Requisito de Datos

Enfoque analítico

Comprensión de Negocio

CRISP-DM

Propone 6 Fases

Fase VI Despliegue

Revisar el Proyecto

Producir el Informe Final

Planificar el monitoreo y mantenimiento

Planificación del despliegue

Fase V Evaluación

Busca de Mejoras del Modelo

Analizar el desempeño del modelo

Determinar próximos pasos

Revisar el Proceso

Evaluar Resultados del Modelo

Fase IV Modelado

Selección de los algoritmos mas apropiados

Evaluar el Modelo

Construir el Modelo

Generar Diseño de pruebas

Seleccionar Técnicas de Modelado

Fase III Preparación de Datos

Formatear Datos

Integrar Datos

Construir Datos

Limpiar Datos

Seleccionar los Datos

Fase II Comprensión de Datos

Verificar la Calidad de los Datos

Explorar los Datos

Descubrir los Datos

Recolectar datos Iniciales

Fase I Comprensión del Negocio

Crear el plan del Proyecto

Establecer objetivos de Minería de Datos

Evaluar la situación

Determinar objetivos del negocio

AI Ops

No Ofrece pautas de Roles

Se centra en la implementación y puesta en marcha

Analytics Canvas

Difícil escalar

Ayuda al diseño conceptual del proyecto

Propone 4 Etapas

Fuente de Datos

Pools de Datos

Uso Analítico

Big Data Ideation Assessment and Implementation

Pasa por alto los problemas relacionados con el equipo y la gestión de datos

Distinción entre la perspectiva que prioriza los negocios y los datos

Big Data Managing Framework

Consta de 3 Fases

Implementación

Análisis de Datos

Trabajo preliminar estàtico

Se Enfoca en aspectos de gestión de cambios

Capacitación de Personas

Equipos Multifuncionales

No se enfoca en la validación de los modelos implementados

Proyecto y Equipo Resiliente
Systematic Research on Big Data

No Define Roles

Enfoque sistemático y centrado en la investigación

Metodología mas cercana al mundo académico

Agile Data Science Lifecycle

Fundamental Documentar

Describir el Proceso

Descubrir y seguir el camino hacia un producto

Sube y Baja por la pirámide de valor de los datos

Importante escuchar los datos

Prototipos de experimentos sobre tareas de ejecuciòn

Enviar resultados intermedios

Iterar,iterar,iterar

Agilidad en la practica de la ciencia de datos

EMC Data Analytics Lifecycle

Descubrimiento de Datos

Puesta en Marcha

Comunicación del resultado

Construcción del Modelo

Probar continuamente si el equipo ha logrado avanzar

Controla el trabajo prematuro

Iterativos

Concentrar el trabajo inicio y fin del proyecto

Preparación de Datos

Planificación del Modelo

Equipo y Data+Info Resiliente
Data Science WorkFlow

Ejecución del análisis

Difusión de los resultados

Interpretar los Datos

Centrado en la investigación

Preparación de datos

Development Workflows For Data Scientists

Sigue una Estructura

Comunicación de Resultados

Despliegue en Producción

Documentar

Probar

Modelar Datos

Explorar Datos

Obtener Datos

Examinar trabajos anteriores

Plantear una pregunta inicial

El gran reto es comprender los objetivos empresariales

Se sugiere 2 equipos, 1 para construir modelos y el otro para evaluarlo, complemetamente separados

Documentar es Fundamental

Equipo Resiliente
MIDST

Algunas Características

Tecnologías Emergentes

Privacidad de Datos

Evaluación continua

Documentación detallada

Apoya en la toma de decisiones

Escalable y Flexible

Ciclo iterativo

Integra ciencias de datos, tecnología y procesos de negocio

Coordinación estigmática

Mejorar la coordinación de equipo

Calidad de Datos

Colaboración Multidisciplinaria

Conociendo sus Desafíos

Gestión de Datos e Información
Inversión de Infraestructura
Seguridad y Privacidad de Datos
Sin Datos de Validación
Baja calidad de Datos
Retención y acumulación de conocimientos
Falta de Preproducción de los proyectos
Gestión de Proyectos
Proyecto no Utilizado por la empresa
Entregar algo equivocado
Énfasis sesgado en cuestiones técnicas
Es difícil establecer plazos realistas
Establecer expectativas adecuadas
Objetivos Comerciales Inciertos
Bajo Nivel de Madurez del Proceos
Gestión de Equipos
Construir Equipo Multidisciplinarios
No confiar únicamente en los científicos de datos líder
Falta de Personas con habilidades analíticas
Modelos de Gobernanza Ineficientes
Falta de Comunicación transparente
Problemas de Elaboración de Equipos
Mala Coordinaciòn

¿Qué es la Ciencia de Datos?

Datos No Estructurados
Datos Estructurados
Métodos y Técnicas Científicas
Matemáticas
Multidisciplinario
Datos Complejos
Aprendizaje Automático
Minería de Datos
Estadística
Ingeniería Empresarial
Intersección a la informaciòn

¿Qué es un Proyecto?

Adaptabilidad
Organización temporal
Riesgos e Incertidumbres
En busca de un cambio e Innovación
Estructura
Planificación
Interdisciplinariedad
Recursos Limitados
Busca un Objetivo
Temporalidad (Tiene un inicio y un Fin)