{"id":10950,"date":"2023-07-14T13:45:48","date_gmt":"2023-07-14T11:45:48","guid":{"rendered":"https:\/\/gis.oneteam.it\/?p=10950"},"modified":"2023-07-14T10:42:16","modified_gmt":"2023-07-14T08:42:16","slug":"gestire-i-dati-con-la-data-engineering-in-arcgis-pro","status":"publish","type":"post","link":"https:\/\/gis.oneteam.it\/index.php\/2023\/07\/14\/gestire-i-dati-con-la-data-engineering-in-arcgis-pro\/","title":{"rendered":"Gestire i dati con la Data Engineering in ArcGIS Pro"},"content":{"rendered":"

Ad ogni release di ArcGIS Pro vengono introdotte diverse novit\u00e0, tra le pi\u00f9 interessanti rilasciate in una delle ultime versioni per l\u2019Applicativo Desktop Esri (2.8)\u00a0c’\u00e8\u00a0la Data Engineering<\/strong>: una nuova modalit\u00e0 di gestione dati che incorpora alcune funzionalit\u00e0 gi\u00e0 presenti con novit\u00e0 che permettono di eseguire operazioni di data processing.<\/p>\n

Questa funzionalit\u00e0 \u00e8 disponibile con tutti i livelli di licenza di ArcGIS Pro ed \u00e8 compatibile sia con feature layer sia con\u00a0tabelle non geometriche.<\/p>\n

Vediamo pi\u00f9 nello specifico in cosa consiste!<\/p>\n

A cosa serve?<\/h2>\n

Le operazioni eseguibili con Data Engineering\u00a0sono riassumibili in tre macrogruppi:<\/p>\n

    \n
  1. l\u2019esplorazione dei campi<\/em> attraverso la visualizzazione di questi in una lista, nella quale \u00e8 possibile visualizzare il data type, cambiare agilmente la simbologia del layer e creare grafici in modo tale da valutare la presenza di pattern sia spaziali che non;<\/li>\n
  2. l\u2019interazione con le statistiche<\/em> ottenibili da ogni campo per valutarne la distribuzione;<\/li>\n
  3. la preparazione dei dati<\/em> attraverso processi di pulizia, costruzione, integrazione e formattazione.<\/li>\n<\/ol>\n

    Come utilizzarla?<\/h2>\n

    Selezionato un dato nel Contents Pane \u00e8 possibile aprire la Data Engineering in due modi differenti: dalla ribbon tab Data o dal men\u00f9 che si apre cliccando il tasto destro. Attivato il comando si aprir\u00e0 una finestra costituita a sua volta da due panel.<\/p>\n

    Nel panel di sinistra (Fields Panel<\/em>) si ricollegano tutte le operazioni eseguibili nel macrogruppo 1 e 3 del paragrafo precedente, ossia \u00e8 possibile esplorare i campi e preparare i dati. Nel panel di destra (Statistics Panel<\/em>) sono invece associate le operazioni dei gruppi 2 e 3: l\u2019interazione statistica e la preparazione dei dati.<\/p>\n

    Nell’immagine sottostante si pu\u00f2 vedere un esempio di come si mostrano i panel per uno shapefile poligonale rappresentante l’impronta degli edifici.<\/p>\n

    \"\"<\/a>
    Panel che si apre una volta selezionata la Data Engineering<\/figcaption><\/figure>\n

    Fields Panel<\/h4>\n

    Dal Fields Panel<\/em><\/a>, oltre a valutare il data type del campo grazie all\u2019icona presente di fianco al nome dello stesso, \u00e8 possibile creare grafici e cambiare la simbologia del layer. Di default il tipo di grafico e il tipo di classificazione per la simbologia sono funzione del data type (es: per campi di testo si hanno grafici a barre e simbologia a valori univoci, per campi numerici istogrammi e simbologia a scala di colori graduata). Queste operazioni sono di aiuto nell’identificazione dei possibili valori attribuibili ad un campo permettendone una discriminazione qualitativa in tempi molto ridotti attraverso un semplice click. Come riportato nell’immagine sottostante, abbiamo provato ad applicare una simbologia basata sull’altezza degli edifici e creare un grafico del campo per comprenderne la distribuzione.<\/p>\n

    \"\"<\/a>
    Modifica della simbologia e creazione di un grafico dal Fields Panel della Data Engineering<\/figcaption><\/figure>\n

    I grafici creati sono poi editabili ed esportabili; sono inoltre generabili anche in altri formati (boxplot, linee etc..) accendendo al men\u00f9 che si apre con il tasto destro una volta selezionato un campo. Con lo stesso metodo \u00e8 inoltre possibile creare grafici che permettono di analizzare due variabili contemporaneamente selezionando due campi, se questi sono di tipo numerico. Questa operazione permette di valutare la correlazione tra diverse variabili. Nell’immagine che segue abbiamo creato due grafici per valutare se ci fosse una relazione tra un campo e altri due. Uno dei due grafici consente di visualizzare la relazione tra l’altezza degli edifici e la loro area.<\/p>\n

    \"\"<\/a>
    Grafici per valutare la correlazione tra variabili<\/figcaption><\/figure>\n

    Statistics Panel<\/h4>\n

    Dallo Statistics Panel<\/em><\/a>\u00a0\u00e8 possibile valutare la qualit\u00e0 e la distribuzione dei valori per ogni campo. Selezionato uno, pi\u00f9 o tutti i campi nel Fields Panel<\/em> \u00e8 possibile importarli in questa finestra e calcolarne le statistiche cliccando il Calculate<\/em> button. Si possono poi filtrare i campi in base al data type selezionandoli e deselezionandoli dai pulsanti alla sinistra del Calculate button.<\/p>\n

    \"\"<\/a>
    Statistics Panel con le statistiche per i campi di una tabella<\/figcaption><\/figure>\n

    La tabella che ne deriva, contenente tutte le statistiche, \u00e8 esportabile dal men\u00f9 presente nel vertice in alto a destra del panel. Selezionando le singole celle della tabella, \u00e8 inoltre possibile eseguire diverse operazioni come la selezione di feature che rispettano determinati criteri rispetto ad una certa statistica (come ad esempio tutti i valori sotto la media, tutti i valori ricadenti nella deviazione standard, il valore modale etc..) o eseguire operazioni legate alla preparazione del dato (vedi paragrafo successivo) come standardizzazione\u00a0e\/o trasformazione\u00a0secondo diversi metodi e la creazione di nuovi campi tramite riclassificazione di quelli esistenti.<\/p>\n

    In figura \u00e8 riportata una selezione eseguita per gli outliers<\/em> del campo rappresentante l’altezza degli edifici, ovvero quei valori che risultano estremi\u00a0e statisticamente non affidabili.<\/p>\n

    \"\"<\/a>
    Operazione di selezione in funzione delle statistiche tramite lo Statistics Panel<\/figcaption><\/figure>\n

    Preparazione dei dati<\/h4>\n

    Le operazioni legate alla preparazione dei dati sono accessibili da entrambi i panel e dalla tab che si genera una volta attivata Data Engineering. I processi eseguibili in questa fase sono raggruppati in quattro classi:<\/p>\n