I dati Sintetici: AI per le aziende

A cura di Davide Delle Cave, Search & Observability Business Line Manager di S2E

Dati sintetici: cosa sono e come vengono generati

I dati sintetici sono informazioni prodotte artificialmente piuttosto che generate da eventi reali. Sono creati in modo algoritmico e vengono utilizzati come sostituto di set di dati di prova e di dati di produzione o operativi, per convalidare modelli matematici e per addestrare modelli di apprendimento automatico (ML). Mentre la raccolta di dati di alta qualità dal mondo reale è difficile, costosa e richiede molto tempo, la tecnologia dei dati sintetici consente agli utenti di generare rapidamente, in modo facile e digitalmente, i dati nella quantità desiderata, personalizzata per le loro esigenze specifiche.

Il processo di generazione dei dati sintetici varia in base agli strumenti e agli algoritmi utilizzati e al caso d'uso specifico. Di seguito sono riportate tre tecniche comuni, utilizzate per la creazione di dati sintetici:

• Estrazione di numeri da una distribuzione. La selezione casuale di numeri da una distribuzione è un metodo comune per creare dati sintetici e, sebbene questo metodo non sia in grado di catturare le intuizioni dei dati reali, può produrre una distribuzione che assomiglia molto ai dati reali.

• Modellazione basata su agenti. Questa tecnica di simulazione prevede la creazione di agenti unici che comunicano tra loro, il risultato della interazione simulata produce un modello sintetico di quello reale.   Questi metodi sono particolarmente utili quando si esamina il modo in cui agenti diversi, come telefoni cellulari, persone o anche programmi informatici, interagiscono tra loro in un sistema complesso.

• Modelli generativi. Questi algoritmi possono generare dati sintetici che replicano le proprietà o le caratteristiche statistiche dei dati reali. I modelli generativi utilizzano un insieme di dati di addestramento per apprendere i modelli statistici e le relazioni presenti in essi e poi usano questa conoscenza per generare nuovi dati sintetici simili a quelli originali. Esempi di modelli sono i Generative Adversarial Networks (GAN) e i Variational Autoencoder (VAE). I modelli utilizzati sono simili a quelli usati per “i noti” Large Language Model (LLM). Ma i dati sintetici hanno obiettivo, struttura e interoperabilità differente dagli LLM.

FONTE: https://www.techtarget.com/searchcio/definition/synthetic-data 

S2E e Clearbox

In collaborazione con Clearbox AI, leader emergente nell’area dei Synthetic Data, offriamo soluzioni innovative e sicure e spesso indispensabili per l’analisi e la gestione dei dati. In contesti di regolamentazione (GDPR) o del nuovo AI Act i dati sintetici consentono di preservare la privacy e rispetto dell’individuo e delle organizzazioni estraendo dati che non hanno nessuna correlazioni con quelli originali ma sono comunque sufficienti per l’analisi diretta, per studiare fenomeni a eventi scarsi (come le frodi), per addestrare nuovi modelli o nell’ambito del testing. In particolare, nell’ambito del test automation e continuous testing non solo vengono generati i sistemi applicativi e ambienti di esecuzione per i test (Infrastructure as a Code) ma anche le basi dati sono caricate con dati sintetici (Data as a Code) fornendo ai team di Quality Assurance ogni qualvolta richiesto il corretto ambiente applicativo con i corretti dati per effettuare i test velocemente e di alta qualità. Un altro vantaggio è la riproducibilità dei dati sintetici, infatti, l’intero database sintetico può essere generato dai metadati; per cui è possibile rigenerare la base dati quando serve ed eliminarla dopo l’uso salvando così denaro e spazio disco.

Insieme a Clearbox AI, forniamo alle organizzazioni un supporto completo in un’area dell’AI Generativa in forte espansione e adozione. La nostra esperienza accelera la rapida messa a terra della piattaforma, ovvero nella sua gestione efficace e nella capacità di offrire consulenza sia sull’architettura dei dati sia sulla loro gestione operativa. Questo permette alle aziende di potenziare le proprie iniziative con i Synthetic Data, massimizzandone l’efficacia e l’efficienza.

Clearbox AI Enterprise Solution

È una soluzione proprietaria e agnostica che aiuta le aziende a lanciare progetti di AI e di Analytics attraverso la generazione di dati sintetici di alta qualità, che possono essere usati per l’analisi predittiva, il miglioramento dei processi aziendali o le previsioni di crescita. I dati sintetici permettono di superare i problemi di squilibrio e scarsità dei dati, generarli da zero o da fonti di dati strutturati come quelli provenienti da un database relazionale o da un data warehouse, accelerando lo sviluppo e migliorandone i modelli. Inoltre, la generazione sintetica è una tecnica di anonimizzazione conforme al GDPR che contribuisce a preservare la privacy e l’utilità dei dati originali, riducendone così i rischi associati alla loro condivisione, utilizzo e conservazione. Soluzione completamente dockerizzata, si installa on-premise o sul cloud.

Ambito di applicazione

I Synthetic Data trovano applicazione in settori critici come healthcare e finanza, dove la precisione, la riservatezza e il valore del dato è strategico per il successo dei nuovi prodotti. Per esempio, nell’ambito del testing, si superano le tecniche obsolete di masking. Nell’ambito del machine learning sono la scelta obbligata per allenare i modelli quando i dati sono scarsi. Visto che dati sintetici possono essere migliorati progressivamente nel tempo con nuovi dati reali, il valore aumenta ad un costo relativamente basso.

I vantaggi principali dell’uso dei Synthetic Data sono:

1. Aderenza alla normativa sulla privacy e sicurezza dei dati.
2. Abilitano lo studio di fenomeni rari o nuovi di cui si hanno pochi dati disponibili.
3. Democratizzazione e disponibilità dei dati all’interno dell’organizzazione superando i limiti di conservazione e riproducibilità.
4. Aumento della qualità del dato e riduzione del rischio di tutte le iniziative di monetizzazione basate sui dati.
5. La trasparenza del dato sintetico consente di sviluppare modelli basati su Explainable AI, utile nelle applicazioni che necessitano di documentazione e comprensione.
6. Generazione dei dati da algoritmi: “Data as a Code” si affianca alle pratiche di “Infrastructure as a Code”. In questo modo l’intero asset ICT è generato in modo programmatico riducendo i costi di setup.

Conclusioni

I dati sintetici rappresentano una tecnologia tra le più promettenti sul mercato e sono tra le principali risorse a disposizione delle aziende per migliorare i processi legati all’intelligenza artificiale e alla gestione del dato.