La Comissió Europea està ajudant a abordar el desafiament de la reutilització de dades del sector públic (RISP) a nivell europeu amb un servici anomenat infraestructura de prova de big data
(BDTI) . La BDTI oferix a les administracions públiques un conjunt de ferramentes de codi obert convencionals per a l'emmagatzematge, processament i anàlisi de dades, allotjades en el núvol i de forma gratuïta. S'oferix als funcionaris de tots els nivells de govern a Europa perquè puguen executar de forma autònoma projectes pilot que demostren el valor que les dades poden aportar a la formulació de polítiques o l'administració. La societat civil, l'acadèmia i fins i tot el sector privat poden unir-se als projectes pilot, sempre que un organisme de l'administració pública estiga en el centre del cas d'ús.
Esta història de dades aprofundix en el servici BDTI i les seues capacitats. Després de presentar el servici i les seues característiques, un cas d'ús mostrarà la implementació pràctica i les capacitats de la plataforma. El cas d'ús demostra l'aplicació d'una varietat de ferramentes de codi obert, reutilitzant múltiples conjunts de dades obertes, complementats amb diversos conjunts de dades fictícies. Com la plataforma es basa en ferramentes de codi obert, esta història de dades oferix informació valuosa per a qualsevol persona interessada en la reutilització de programari i dades.
La Infraestructura de Proves de Big Data de la UE: què és i com funciona
La Infraestructura de Proves de Big Data de la UE , BDTI, es va crear en 2019, com a part de el Programa Europa Digital , que té com a objectiu accelerar la recuperació econòmica d'Europa i donar forma a la transformació digital de la societat i l'economia d'Europa, augmentant la fàcil disponibilitat, qualitat i usabilitat de les dades públiques. informació del sector en compliment dels requisits de la directiva europea de dades obertes .
El propòsit de la BDTI és fomentar la reutilització de les dades del sector públic i permetre un sector públic informat per les dades en els Estats membres de la UE. En proporcionar un entorn de prova d'anàlisi gratuïta amb ferramentes de codi obert, la BDTI permet a les administracions públiques crear prototips de solucions abans d'implementar-les a l'entorn de producció en les seues pròpies instal·lacions.
Les aplicacions BDTI s'oferixen com un servici en el núvol, la qual cosa permet als usuaris experimentar amb dades en un projecte pilot. Una vegada que finalitza el projecte, els usuaris poden portar-se el codi font i les dades per a continuar el treball utilitzant el núvol de la seua elecció o altres recursos. La plataforma consta de ferramentes de codi obert i la infraestructura de núvol necessari, que inclou màquines virtuals, clústers d'anàlisis, instal·lacions d'emmagatzematge i instal·lacions de xarxa. Per a obtindre més informació sobre les ferramentes disponibles, pot consultar la pàgina d'oferta de servicis .
Casos d'ús i casos d'èxit
Per a demostrar com funciona la plataforma i com usar-la, presenta diverses històries d'èxit de la vida real . La figura 1 proporciona una llista d'estes històries d'èxit. Per exemple, Eurostat i els seus socis van utilitzar el BDTI per a experimentar amb dades en el desenvolupament d'estadístiques oficials. En este projecte pilot, es van utilitzar dades obertes d'anuncis d'ocupació en línia per a proporcionar informació oportuna sobre els mercats laborals europeus.
Altres històries d'èxit de la vida real són la mineria de textos per part dels servicis de Salut de la ciutat de València, la optimització de la contractació pública per part de l'Agència Noruega de Digitalització , els esforços d'intercanvi de dades per part de l'European Blood Alliance i el treball per a facilitar la comprensió de l'impacte de Covid-19. sobre la ciutat de Florència .
A més, el lloc web de BDTI proporciona múltiples casos d'ús que mostren les capacitats de la plataforma, basats en dades obertes. Per exemple, el cas d'ús d'anàlisi de cerca es basa en el conjunt de dades obertes de CORDIS , i el cas d'ús d'anàlisi de codi baix funciona amb EMHIRES (sèrie temporal de generació de CAP DE BESTIAR d'alta resolució derivada de meteorologia europea per a escenaris presents i futurs) - conjunt de dades obert sobre generació d'energia solar.
En les següents seccions d'esta història de dades, presentem el cas d'ús fictici de 'gasto públic', que va ser desenvolupat amb finalitats de demostració per l'equip de BDTI per a mostrar com es poden aplicar les capacitats i ferramentes del servici per a generar informació valuosa a partir de les dades. El projecte està disponible com a codi obert en GitLab , el repositori de codi font obert i la plataforma de desenvolupament de programari col·laboratiu .
El cas d'ús del 'gasto públic'
El cas d'ús de 'gasto públic' desenvolupat per l'equip BDTI consta de tres etapes típiques d'un projecte de ciència de dades: (1) ingesta de dades; (2) visualització i anàlisi; i (3) presa de decisions (Figura 2). El subjecte del cas d'ús fictici és el municipi de Dublín. El cas d'ús de demostració es basa en dades obertes sempre que siga possible, complementats amb dades fictícies. Les dades de gasto públic de Dublín s'obtenen de data.smartdublin.ie . Les dades de trànsit històrics es recuperen de data.gov.ie , i el pronòstic del temps es recupera de open-meteo.com . Per contra, les dades de gasto públic utilitzats en este cas de demostració com a punt de referència són ficticis i es referixen a dos ciutats de referència fictícies, la ciutat A i la ciutat B. Les notes metodològiques d'esta història de dades brinden detalls sobre com accedir a la documentació completa sobre els conjunts de dades utilitzades.
En els passos 1 i 2 d'este cas d'ús de demostració, les ferramentes de BDTI s'utilitzen per a ingerir i visualitzar dades de gasto públic. El pas 3 utilitza l'aprenentatge automàtic per a crear una solució amb l'objectiu de reduir el gasto en enllumenat públic. Els següents paràgrafs proporcionen més explicacions de cada etapa.
Ingestió de dades
El primer pas del cas d'ús de demostració és la ingestió de dades de gasto públic. El desafiament específic que ha d'abordar-se es relaciona amb les factures d'energia, que solament estan disponibles en format PDF en el nostre escenari. Estes factures en PDF no llegibles per màquina han de transformar-se en dades que puguen processar-se fàcilment més avant.
Per a resoldre este desafiament, es construïx una solució utilitzant una ferramenta disponible en el BDTI. Esta ferramenta és un programari de codi obert que té una interfície visual intuïtiva i no requerix codificació, incloses les funcions de reconeixement òptic de caràcters. El reconeixement òptic de caràcters és una tecnologia que interpreta documents llegibles per humans i els transforma en dades llegibles per màquines.
La taula d'eixida es pot reutilitzar per a seguir processant i analitzant les dades. BDTI oferix una solució per a emmagatzemar les dades d'eixida en preparació per al següent pas en un sistema de base de dades relacional.
Visualització i anàlisi
Després de completar la ingestió de dades, el següent pas és visualitzar i analitzar les dades de gasto públic. Per a açò, utilitzem la ferramenta de codi obert sobre exploració i visualització de dades disponible en la BDTI.
El resultat és un tauler que visualitza les dades reals de gasto públic de Dublín, presentant la proporció de gasto per a cada categoria en relació amb el gasto total. Encara que esta informació és interessant en si mateixa, no ajuda a entendre si el gasto és alt o baix.
Per a brindar més context a les dades de gasto del govern de Dublín, vam crear una comparació del gasto de Dublín amb dos ciutats similars, però fictícies (ciutat de referència A i ciutat de referència B). Esta comparació revela que Dublín destina una part relativament important del seu pressupost a l'enllumenat públic. Este tipus d'avaluació comparativa no ens dirà directament on Dublin gasta massa o massa poc, però pot donar-nos pistes sobre què investigar més a fons.
Presa de decisions
El tercer i últim pas del cas d'ús té com a objectiu construir una solució per a la presa de decisions basada en dades sobre l'enllumenat públic en relació amb els nivells de trànsit esperats. Utilitzem tres ferramentes de codi obert disponibles en BDTI per a construir esta solució. Gràcies a esta combinació de ferramentes, podem construir una solució que ajude als funcionaris a aconseguir estalvis en l'enllumenat públic.
Per a arribar a una solució, primer entrenem un model d'aprenentatge automàtic que prediu el trànsit per a la setmana vinent. La ferramenta utilitzada per a açò es pot aplicar a la ciència de dades, el modelatge estadístic i més. El model d'aprenentatge automàtic que vam crear utilitza dades meteorològiques i de trànsit, la qual cosa requerix el processament de grans volums de dades. El BDTI està dissenyat per a processar grans dades, per la qual cosa ho ajudarà a processar conjunts de dades molt grans com estos.
Després d'entrenar i executar el model d'aprenentatge automàtic, les dades d'eixida s'emmagatzemen per a crear un tauler. El tauler permet als usuaris analitzar els estalvis que resulten d'apagar l'enllumenat públic si més no es necessita llum. Per a determinar quan i on es necessita menys il·luminació, usem els nivells de trànsit pronosticats com un indicador de l'activitat en un carrer. Quant menor siga l'activitat en un carrer, menor serà la necessitat d'il·luminació.
Font original de la notícia
- Intel·ligència Artificial i Blockchain
- Informació i dades del sector públic
