{"id":8862,"date":"2021-07-14T08:30:17","date_gmt":"2021-07-14T06:30:17","guid":{"rendered":"https:\/\/gis.oneteam.it\/?p=8862"},"modified":"2021-07-13T17:33:27","modified_gmt":"2021-07-13T15:33:27","slug":"notebook-per-estrarre-gli-attributi-da-un-popup-kml","status":"publish","type":"post","link":"https:\/\/gis.oneteam.it\/index.php\/2021\/07\/14\/notebook-per-estrarre-gli-attributi-da-un-popup-kml\/","title":{"rendered":"Notebook per estrarre gli attributi da un popup KML"},"content":{"rendered":"

La puntata di oggi del nostro blog sar\u00e0 rivolta a chi ha un p\u00f2 di dimestichezza con lo scripting<\/strong> ed ha interesse nell’eseguire automazioni. In questo caso non si tratta propriamente di automazioni perch\u00e9 con gli strumenti di Arcgis non sarebbe possibile eseguire l’operazione di estrazione degli attributi dal popup di un KML<\/strong>.<\/p>\n

Andremo a vedere come aggiungere librerie al nostro Python<\/strong> in modo da estendere le funzionalit\u00e0 ed utilizzeremo uno strumento molto comodo per chi \u00e8 alle prime armi o vuole eseguire in debug il proprio codice con un riscontro grafico dei risultati: il\u00a0Python Notebook<\/strong>. Questo strumento presente all’interno di ArcGIS PRO consente di creare un documento con testo, commenti, immagini e codice in maniera user-friendly. Spesso si \u00e8 spaventati dall’interfaccia di scrittura ed esecuzione degli script, il Notebook vuole superare questo scoglio eseguendo un ambiente interattivo di Python (denominato IPython<\/em>) basato sul framework Jupyter<\/em>.<\/p>\n

Il debug \u00e8 l’esecuzione del nostro codice riga per riga cos\u00ec da soffermarsi a vedere i risultati parziali e indagare meglio i possibili errori.<\/em><\/p><\/blockquote>\n

Il Problema: Estrarre gli attributi da un KML<\/h1>\n

Partiamo identificando il problema che ci ha fatto sviluppare uno script. Ci \u00e8 stato consegnato un KMZ (archivio compresso di file KML) con diverse geometrie e un popup con degli attributi. Il formato KML\/KMZ \u00e8 utilizzato da Google per mostrare dati geografici via web, non \u00e8 un formato nativo GIS anche se, come vedremo, pu\u00f2 essere letto e convertito.<\/p>\n

\"\"<\/a><\/p>\n

Attraverso la nuova versione di Google Earth web possiamo aprire il file e vedere com’\u00e8 strutturato. Come anticipato in precedenza, questo file pu\u00f2 essere aperto e convertito in Arcgis PRO tramite il comando “KML to Layer”, l’unico problema \u00e8 che gli attributi del popup che vediamo in figura vengono trasferiti come file HTML essendo un formato di interscambio ideato per il web. Riportiamo un estratto a titolo d’esempio:<\/p>\n

\n
<html xmlns:fo=”http:\/\/www.w3.org\/1999\/XSL\/Format” xmlns:msxsl=”urn:schemas-microsoft-com:xslt”>
\n<head>
\n<META http-equiv=”Content-Type” content=”text\/html”>
\n<meta http-equiv=”content-type” content=”text\/html; charset=UTF-8″>
\n<\/head>
\n<body style=”margin:0px 0px 0px 0px;overflow:auto;background:#FFFFFF;”>
\n<table style=”font-family:Arial,Verdana,Times;font-size:12px;text-align:left;width:100%;border-collapse:collapse;padding:3px 3px 3px 3px”>
\n<tr style=”text-align:center;font-weight:bold;background:#9CBCE2″>
\n<td>2<\/td>
\n<\/tr>
\n<tr>
\n<td>
\n<table style=”font-family:Arial,Verdana,Times;font-size:12px;text-align:left;width:100%;border-spacing:0px; padding:3px 3px 3px 3px”>
\n<tr>
\n<td>numero<\/span><\/td>
\n<td>2<\/span><\/td>
\n<\/tr>
\n<tr bgcolor=”#D4E4F3″>
\n<td>indirizzo<\/span><\/td>
\n<td>Via Pasubio\/Fronte civ. 40<\/span><\/td>
\n<\/tr>
\n<tr>
\n<td>posizione_planimetria<\/span><\/td>
\n<td>SI<\/span><\/td>
\n<\/tr>
\n<tr bgcolor=”#D4E4F3″>
\n<td>tipo_botola<\/span><\/td>
\n<td>0<\/span><\/td>
\n<\/tr>
\n<\/table>
\n<\/td>
\n<\/tr>
\n<\/table>
\n<\/body>
\n<\/html><\/h6>\n<\/blockquote>\n

Come si pu\u00f2 vedere il popup viene composto attraverso dei TAG <td> dove viene riportato il nome dell’attributo (evidenziato in rosso) seguito dal relativo valore (in verde). Il nostro obiettivo sar\u00e0 quello di convertire questi TAG in campi della feature class e compilare gli attributi con il rispettivo valore.<\/p>\n

Aggiungere librerie a Python<\/h1>\n

Python \u00e8 il cervello di ArcGIS, ogni comando che eseguiamo da interfaccia grafica ha un codice equivalente che appartiene ad una libreria. La maggior parte dei comandi fanno parte della libreria arcpy<\/strong> sviluppata appositamente da ESRI. In realt\u00e0 Python offre molte pi\u00f9 funzioni di quelle proposte all’interno del software ArcGIS PRO ed \u00e8 possibile integrarle installando librerie esterne, nel nostro caso utilizzeremo Beautiful Soup\u00a0<\/a>un modulo sviluppato per riconoscere i TAG e classificarli, operazione che prende il nome di parsing<\/strong>.<\/p>\n

Per installare un nuovo modulo dobbiamo andare nella ribbon Project -> Python<\/em>, qui potremo vedere i pacchetti che sono gi\u00e0 presenti nella versione di Python attiva.<\/p>\n

E’ possibile utilizzare Jupiter Notebook con l’ambiente Python cos\u00ec come viene fornito con ArcGIS Pro, ma se vogliamo installare nuovi moduli esterni \u00e8 necessario clonare il nostro ambiente, anche per evitare che venga corrotto nella fase di installazione rendendo il programma inutilizzabile. Premendo “Manage Environments<\/em>” comparir\u00e0 una finestra che ci mostra gli ambienti presenti, se non avete mai fatto questa operazione avrete solamente l’ambiente di default denominato “arcgispro-py3” . Premendo il tasto “Clone”, con qualche minuto di attesa, verr\u00e0 creata una copia dell’ambiente che potremo attivare e modificare a nostro piacimento.<\/p>\n

\"\"<\/a><\/p>\n

Riavviato il software i nostri cambiamenti saranno effettivi e ritornando nella finestra del “Python Package Manager<\/em>” potremo installare il modulo desiderato avendo l’accortezza di verificare che il nostro nuovo ambiente clonato sia quello attivo. Sotto il bottone “Add Packages<\/em>” potremo cercare “beautifulsoap4<\/strong>” e procedere con l’installazione.<\/p>\n

Python Notebook<\/h1>\n

Come abbiamo gi\u00e0 visto in articoli precedenti<\/a>, in ArcGIS PRO \u00e8 possibile sviluppare ed eseguire script che automatizzano operazioni. Spesso per\u00f2 \u00e8 necessario installare un editor appropriato, collegarlo alla corretta versione di Python ed eseguirlo senza avere un riscontro grafico delle proprie istruzioni. Attraverso Notebook invece vengono superati tutti questi limiti perch\u00e8 abbiamo uno strumento interno al software che ci permette di scrivere del codice accompagnato da testo e immagini che lo descrivono, eseguirlo una riga per volta vedendo il risultato delle operazioni direttamente in mappa oltre che nella finestra Python.<\/p>\n

\"\"<\/a><\/p>\n

Per aprire un Notebook bisogna andare nella ribbon Analysis -> Python -> Python Notebook<\/em>. Nel catalog comparir\u00e0 una nuova cartella con all’interno il nostro file in formato .ipynb<\/em>. La creazione del nostro script sar\u00e0 molto semplice e guidata: premendo il tasto “+” o andando nella tab “Insert<\/em>” potremo aggiungere nuove celle al nostro documento e potremo scegliere se aggiungere una cella testuale (Markdown<\/em>) un titolo (Heading<\/em>) oppure del codice (Code<\/em>) scegliendo tra le opzioni nel men\u00f9 a tendina.<\/p>\n

Nel nostro caso ho aggiunto un titolo “Script: Add Field from KMZ<\/em>” con un testo che ricorda di eseguire il comando “KMZ to Layer<\/em>” prima dell’esecuzione dello script. In seguito ho inserito il codice di mio interesse partendo sempre dall’importazione dei moduli che andr\u00f2 ad utilizzare. Come possiamo vedere, oltre all’onnipresente modulo arcpy<\/em>, ho importato anche bs4<\/em> (beautifulsoap4) e itertools<\/em> (modulo di sistema gi\u00e0 presente) che andr\u00f2 a richiamare per utilizzare le loro funzioni.<\/p>\n

\u00a0Il Codice<\/h1>\n

Di seguito potete scaricare il notebook contenente il codice per poter replicare l’operazione esposta nell’articolo. Per caricare il file in ArcGIS PRO bisogna andare nella cartella “Notebooks<\/em>” all’interno del catalog, selezionarla con il tasto destro e scegliere “Add Notebook<\/em>”<\/p>\n

Field_KMZ<\/a><\/p>\n

Le prime righe del codice sono riservate all’importazione dei moduli contenenti le funzioni che saranno utilizzate nel codice. In seguito bisogna aggiungere il percorso al layer frutto della conversione del KML.<\/p>\n

Nel secondo blocco viene inizializzato il cursore e successivamente abbiamo due cicli:<\/p>\n

    \n
  1. Il primo ciclo \u00e8 eseguito su ogni record del nostro layer dove verr\u00e0 preso il campo PopupInfo contenente il codice HTML da scomporre. Attraverso il modulo di BeautifulSoap vengono riconosciuti e classificati tutti i tag<\/li>\n
  2. Il secondo ciclo invece \u00e8 eseguito su tutti i tag che vengono ritrovati all’interno del campo PopupInfo. Il primo tag \u00e8 il nome del campo mentre il seguente sar\u00e0 il contenuto, per questo motivo viene eseguito un ciclo con step di due elementi.<\/li>\n<\/ol>\n

    Per terminare viene aggiornato il cursore ed eliminato l’oggetto utilizzato per eseguire i cicli.<\/p>\n

    Conclusioni<\/h1>\n

    Jupyter Notebook \u00e8 stato creato per rendere pi\u00f9 semplice mostrare il proprio lavoro di programmazione e per consentire ad altri utenti di interpretare in maniera pi\u00f9 intuitiva il codice scritto. Questo strumento consente di combinare codice, commenti, contenuti multimediali e visualizzazioni in un documento interattivo che pu\u00f2 essere condiviso, riutilizzato e rielaborato. Notebook Jupyter \u00e8 la soluzione ideale per chi vuole scrivere script e testarli in tempo reale, visualizzare dati attraverso grafici o fare calcoli matematici. I risultati si possono esportare con pochi clic in diversi formati o essere inviati direttamente per e-mail.<\/p>\n","protected":false},"excerpt":{"rendered":"

    La puntata di oggi del nostro blog sar\u00e0 rivolta a chi ha un p\u00f2 di dimestichezza con lo scripting ed ha interesse nell’eseguire automazioni. In questo caso non si tratta propriamente di automazioni perch\u00e9 con gli strumenti di Arcgis non sarebbe possibile eseguire l’operazione di estrazione degli attributi dal popup di un KML. Andremo a…<\/p>\n","protected":false},"author":1,"featured_media":8884,"comment_status":"open","ping_status":"open","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[9,14,29],"tags":[688,81,758,343,344,470],"class_list":["post-8862","post","type-post","status-publish","format-standard","has-post-thumbnail","hentry","category-arcgis-pro","category-articoli-tecnici","category-python","tag-arcgis-notebooks","tag-arcgis-pro","tag-convertire","tag-kml","tag-kmz","tag-python"],"post_mailing_queue_ids":[],"_links":{"self":[{"href":"https:\/\/gis.oneteam.it\/index.php\/wp-json\/wp\/v2\/posts\/8862","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/gis.oneteam.it\/index.php\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/gis.oneteam.it\/index.php\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/gis.oneteam.it\/index.php\/wp-json\/wp\/v2\/users\/1"}],"replies":[{"embeddable":true,"href":"https:\/\/gis.oneteam.it\/index.php\/wp-json\/wp\/v2\/comments?post=8862"}],"version-history":[{"count":18,"href":"https:\/\/gis.oneteam.it\/index.php\/wp-json\/wp\/v2\/posts\/8862\/revisions"}],"predecessor-version":[{"id":8888,"href":"https:\/\/gis.oneteam.it\/index.php\/wp-json\/wp\/v2\/posts\/8862\/revisions\/8888"}],"wp:featuredmedia":[{"embeddable":true,"href":"https:\/\/gis.oneteam.it\/index.php\/wp-json\/wp\/v2\/media\/8884"}],"wp:attachment":[{"href":"https:\/\/gis.oneteam.it\/index.php\/wp-json\/wp\/v2\/media?parent=8862"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/gis.oneteam.it\/index.php\/wp-json\/wp\/v2\/categories?post=8862"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/gis.oneteam.it\/index.php\/wp-json\/wp\/v2\/tags?post=8862"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}