Generación de datos sintéticos

Generación de datos sintéticos

La generación de datos sintéticos para probar software de gestión tiene unas características singulares, que la separan de otros casos de uso con títulos similares pero ámbitos de aplicación muy diferentes.

Generar datos sintéticos para un fichero de pruebas en un entorno de Big Data probablemente tiene poca variación en tecnologías de persistencia afectadas y de tipos de datos, así como relaciones y dependencias entre ellos y, probablemente, tiene requiere un volumen enorme de datos generados.

Las aplicaciones de soporte al negocio tienen necesidades diferentes. El volumen de datos no es un problema. En cambio las estructuras (modelos de datos) son complejas. Las relaciones y dependencias entre los datos son muy numerosas. Y frecuentemente hay varias tecnologías de persistencia implicadas. Pensemos en el caso de la generación de un cliente sintético para probar un proceso de contratación de un nuevo producto. Intervienen las aplicaciones de CRM, facturación, cobros, provisión del servicio, etc. Cada una de ellas tiene una base de datos con una tecnología diferente, que alberga un modelo de datos de su aplicativo diferente y con relaciones de dependencias entre ellos.

Datos sintéticos generados por icaria TDM en un repositorio interno y disponibles para autoservicio

Datos sintéticos generados por icaria TDM en un repositorio interno y disponibles para autoservicio

Datos sintéticos para probar aplicaciones de negocios

La generación de datos sintéticos de icaria TDM se adapta perfectamente al caso de uso definido por las necesidades de las aplicaciones de negocio. Puede generar una estructura de datos compleja y coherente para varias aplicaciones a al vez, soportadas por diferentes tecnologías de bases de datos y que requieren datos que mantenga la integridad referencial de la información.

Principios de funcionamiento

La idea esencial del motor de generación de datos sintéticos de icaria TDM es la siguiente: partir de una estructura de datos coherente, creada por las propias aplicaciones, que ofrezca la integridad estructural que se necesita, en el dominio de datos relevante para las pruebas que consumirán los datos, y reglas de generación de datos sintéticos que modificarán los atributos necesarios para que los datos sintéticos obtenidos puedan convivir simultáneamente con el original en un mismo entorno de pruebas.

El objetivo no es generar un millón de registros en la tabla de clientes.

El objetivo es generar clientes, con sus cuentas, contratos, movimientos, servicios, facturas, reclamaciones, etc. para varias aplicaciones a la vez, con diferentes tecnologías de bases de datos, manteniendo la coherencia de los datos de forma que puedan ser utilizados en pruebas de procesos que afectan a varias aplicaciones (pruebas integradas).

Todo ello con unas especificaciones mínimas por parte del usuario de icaria TDM.

Para conseguir este objetivo, icaria TDM genera datos sintéticos a partir de los siguientes elementos:

  1. Un dominio de datos. Es el conjunto de tablas y relaciones de todas las aplicaciones involucradas en la prueba que consumirá los datos generados.
  2. Una instancia de los datos. Es un ejemplo de datos disponible en las bases de datos de las aplicaciones, posiblemente procedente del entorno de producción, entregado por icaria TDM mediante segmentación en un entorno previo, y modificado mediante los aplicativos para constituir un modelo perfecto, y después almacenado de nuevo en un repositorio interno de icaria TDM para preservarlo para usos futuros.
  3. Un conjunto de reglas de generación de datos sintéticos. icaria TDM ofrece un catálogo amplio de reglas de generación de datos sintéticos, que puede ser extendida fácilmente en una instalación específica. Estas reglas se aplican en los puntos necesarios de la estructura de datos, y son de dos tipos:
    • Reglas técnicas: generan atributos de carácter técnico, como identificadores únicos
    • Reglas funcionales: proporcionan valores para atributos con sentido funcional, como el nombre del cliente.
icaria TDM ofrece un completo catálogo de reglas de generación de datos sintéticos

icaria TDM ofrece un completo catálogo de reglas de generación de datos sintéticos

Proceso de generación de datos sintéticos

El proceso de generación de datos sintéticos de icaria TDM, una vez configurado por el Arquitecto de Datos, y puesto a disposición de los usuarios del portal de autoservicio, sigue los siguientes pasos:

  • Selección de la plantilla de datos. El usuario dispone de distintas plantillas en función de los datos que necesite generar. Estas plantillas cubren un dominio de datos - el cliente, con sus cuentas, contratos, servicios, por ejemplo - para varias aplicaciones simultáneamente.
  • Elección del modelo. El usuario elige qué estructura de datos reales servirá de modelo para la generación de las copias sintéticas.
  • Elección del repositorio. Finalmente, el usuario decidirá el número y almacén de las copias sintéticas. Habitualmente, las copias sintéticas se generan en un repositorio interno de icaria TDM, de forma que sean preservadas y puedan entregarse mediante autoservicio en cualquier entorno de aplicación tantas veces como lo requieran las pruebas.
Resumen del proceso de generación de datos sintéticos antes de la ejecución

Resumen del proceso de generación de datos sintéticos antes de la ejecución

Compartir
magnifiercrossmenuchevron-down