Přinášíme Vám případovou studii, která se zabývá otevřenými daty a jejich zpracováním v FME. Vychází z polské novely zákona o zeměměřičství a kartografii a „Protikrizového štítu 4.0“ – zákonu, který vstoupil v platnost a vedl k dostupnějším otevřeným datům.
Každý den používáme různé druhy dat – statistická data, geografická data atd. Všechna pocházejí z různých zdrojů a mají různé formáty podporované pouze vybranými systémy. Používání těchto údajů může být problematické, protože někdy je nutné podat žádost a zaplatit poplatky za přístup. Obvykle se jedná o technická data použitá pro geoprostorové analýzy nebo vývoj produktů GIS. Naštěstí je většina dat sdílena v rámci bezplatných otevřených licencí.
Kde najít otevřená data ke stažení?
Některá data jsou v Polsku již dlouhou dobu k dispozici zdarma. Obvykle pochází z míst, jako jsou místní samosprávy (vojvodství, provincie, okresy), geodetické a mapové služby nebo statistiky. Jak již bylo zmíněno dříve, kvantitativní nárůst otevřených dat je výsledkem nedávných změn právních předpisů. Cílem těchto změn je působit proti negativním účinkům pandemie COVID-19. Ortofotomapy a kontrolní body základní geodetické sítě jsou nyní bezplatně sdíleny díky „protikrizovému štítu“.
Jak stahovat otevřená data?
Většina otevřených datových služeb umožňuje jejich stahování klasickým způsobem. To znamená vybrat konkrétní databázi a oblast zájmu a poté stáhnout balíček, který umožňuje ukládání různých formátů dat. V dnešní době je však stále častější používání API těchto služeb.
Oba tyto přístupy mají své klady i zápory. První metodu se vyplatí použít, když jsou data stažena pouze jednou, pro konkrétní oblast a v případě, že je lze archivovat. Druhá metoda využívající API je univerzálnější. Umožňuje stahování dat pro různé oblasti a bez nutnosti jejich ukládání do počítače.
Které programy vám umožňují pracovat s otevřenými daty?
Nezáleží na tom, která otevřená datová služba se používá, jaká metoda se používá k jejímu stažení a jaký formát se používá k jejímu uložení. FME Platform umožňuje načítání lokálně uložených dat v jakémkoli formátu a také přímé stahování dat ze služeb na základě sdíleného API. V další části tohoto článku si ukážeme, jak používat FME pro přímé stahování otevřených dat, jako jsou ortofotomapy a údaje ze sčítání lidu.
Ortofotomapy – jak automaticky stahovat velké množství dat?
24. června ústředí geodézie a kartografie oznámilo, že si nyní každý může bez omezení stahovat základní geodetická síťová data a ortofotomapy. Ortofotomapa je kartografický průzkum vybrané oblasti pořízený fotografiemi zpracovanými v konkrétním souřadnicovém systému. Fotografie použité k vytvoření ortofotomapy jsou pořizovány z nadmořské výšky, například letecké snímky nebo fotografie dronů.
Pojďme použít rastrová data. Navštivte web Geoportálu a vyberte vrstvy „Data ke stažení“ a „Ortofotomapa“. Pro výběr dat budete mít dvě možnosti: podle aktuálnosti (ortofotomapa wg aktualności) a prostorového rozlišení (ortofotomapa wg rozdzielczości). Poté uvidíte index rozdělený na části mapy s odpovídajícím symbolem. Během výběru můžete vidět všechny dostupné ortofotomapy pro konkrétní bod, nebo spíše „bbox“, který hledá data:
Každá část dat má podrobný technický popis konkrétního zobrazení a odkaz na stahování dat, což je nejdůležitější funkce. Začátek dotazu na adresu URL je trvalý, ale následný odkaz na konkrétní úložiště se může lišit.
Začátek a symbol mapy by neměly způsobovat žádné problémy. Interní syntaxe zbytku úložiště však způsobí, že přesný odkaz pro stahování dat se zobrazí až po výběru konkrétních vyobrazení. Naštěstí je snadné najít dotaz, který vám umožní shromáždit všechna data do jednoho okna. „Analýzu“ týkající se služby GetFeatureInfo najdete na National Geoportal při analýze sekce „Síť“ v ovládání systému (klávesa F12 v prohlížeči). Zde je příklad.
Hlavní částí dotazu je správný odkaz na vrstvy (index mapových listů) a prostorový dotaz „bbox“. Může to vypadat, že označíte bod pouze při výběru listu na Geoportálu, ale algoritmus jej transformuje na obdélník nebo čtverec a podle něj provede prostorový dotaz. Ve výsledku získáte okno s odpověďmi.
Výše uvedené funkce lze implementovat do platformy FME. Urychluje automatické stahování dat o Polsku pomocí konkrétních parametrů, nejen aktuálnosti a prostorového rozlišení. Ve skriptu použitém pro tuto funkci jsme připravili následující možnosti:
- Výběr vlastního prostorového dotazu, takzvaného „bbox“, který je zahrnut v souřadnicích obdélníku nebo čtverce dotazu v systému z roku 1992 (EPSG: 2180) ve formátu „y_min, x_min, y_max, x_max“. Pokud hodnota zůstane prázdná, skript bude odkazovat na příkladná data z níže uvedeného popisu.
- Pomocí příkladného seznamu prostorových dotazů, které byly vygenerovány z dělících mřížek listů DMT (digitální model terénu) nebo ortofotomap, z centroidů konkrétních sekcí.
- Skript vám umožňuje současně zvolit rok/aktuálnost ortofotomapy a její rozlišení.
Hlavními částmi skriptu jsou dva dotazy HTTPCaller. V prvním kroku odkazují na výběr, který napodobuje geoportální dotaz, a ve druhém kroku odkazují na přímé stahování dat pomocí odkazu z úložiště opendata.geoportal.gov.pl.
Správná sada dotazu pomocí StringConcatenator je dalším aspektem:
Po obdržení výsledku vyhledejte požadované atributy pomocí regulárních výrazů a atributů vymazání. Nejužitečnějšími nástroji zde jsou StringSearcher a AttributeCreator s AttributeTrimmer.
Nakonec jsou vybrané ortofotomapy uloženy na místo souboru .fmw ve formátu TIFF spolu s úplným popisem atributů, které najdete na geoportálu. Údaje popisu jsou uloženy ve formátu CSV.
Skript představuje mnoho možností. Po chvíli si můžete všimnout, jak snadné je implementovat další parametry, jako je konkrétní symbol, typ barevného složení nebo přesný počet nahlášených prací. Je také snadné stáhnout si veškerá dostupná archivní data z „krabice“ bez filtrování. Musíte pouze smazat „Tester“ odpovědný za parametrizaci nebo úpravu kódu. Doporučujeme vám otestovat stahování dalších dostupných dat z Geoportálu, například BDOT10k, stejným způsobem.
Stáhněte si skript s ukázkovými daty zde (FME 2020.0, Build 20252).
Katastr nemovitostí – můžete automaticky stahovat údaje o pozemcích?
V době psaní tohoto článku dosud neexistuje plně otevřený soubor údajů o katastru nemovitostí. Neznamená to však, že nejsou k dispozici. V této části vám ukážeme, jak integrovat FME do:
Všechny výše uvedené služby mají jakousi otevřenou formu sdílení a stahování dat. Mají určitá omezení, například The Land Parcel Location Service zakazuje sklizeň. Po určitém počtu dotazů odeslaných z jedné adresy IP bude služba na několik hodin blokována. Několik tisíc dotazů však podobný problém nezpůsobuje. Totéž platí pro funkci „GetFeatureInfo“ pro národní integraci katastru nemovitostí. Národní integrace katastru nemovitostí a národní integrace nástrojů terénu vám mimo jiné umožňují stahování datového „bloku“ katastru nemovitostí. Můžete vybrat několik vrstev:
- Přesný identifikátor zásilky
- Číslo pozemku a okres
- Souřadnice
Výsledkem dotazu může být geometrie ve formátu WKB nebo WKT a popisné atributy:
Je snadné použít takový dotaz pomocí HTTPCalleru ke stažení požadovaných dat. Platforma FME vám také umožňuje využívat tyto služby. V připraveném skriptu je scénář, kde si pomocí WMS můžete stáhnout datový „blok“, který obsahuje pozemkový a majetkový rejstřík. Dále se pokusíte extrahovat geometrie balíků pomocí mapové algebry. Nakonec se centrody vytvořených pozemků používají k dotazování na službu Land Parcel Location Service (ULDK). Díky tomu získáte přesné geometrie balíků s popisnými atributy, jako jsou záznamy TERYT, číslo balíku nebo přesná lokalizace včetně administrativního rozdělení.
Nejprve je zkoumaná oblast extrahována z údajů Národního registru hranic a dočasně uložena v lokalizaci skriptu.
Tento typ dat lze rozdělit na budovy a pozemky pomocí metod mapové algebry. Data nebudou úplně přesná, ale mohou být dokonalá pro službu Land Parcel Location Service (ULDK). To je výsledek části skriptu „MŮŽEME NA TOM NĚCO VYDĚLAT – MAPOVÁ ALGEBRA“ spolu s centroidy:
Nakonec se centrodové souřadnice dostanou do služby Land Parcel Location Service (ULDK) pomocí HTTPCaller:
Nyní musí být odpověď služby rozdělena oddělovači a geometrie musí být extrahovány z atributu. V případě WKB byste měli pamatovat na změnu formátu pole z UTF-8 na binární formát. Výsledek bude odrážet výše uvedený předpoklad – přesné geometrie balíků s popisnými atributy pro zkoumanou oblast.
Skript FME je k dispozici zde. Doporučujeme vám to vyzkoušet!
Budoucnost otevřených dat
Další změny zákona o sdílení údajů jsou jen otázkou času. Způsob sdílení dat není problém, protože FME zaručuje, že pro jejich stažení lze použít jakékoli API nebo službu. I když jsou data sdílena pouze částečně, je možné tento problém vyřešit a získat uspokojivý výsledek, jak je ukázáno v příkladech výše.
Nyní je váš čas!
Pokud chcete ve svých projektech použít otevřená data, ale nevíte, jak na to s FME – kontaktujte nás! Rádi vám pomůžeme. Navštivte náš web FME a získejte další podrobnosti o integraci dat!
