El flux s'importa a la instància Node-RED accedint a:
"Menú hamburguesa -> Import -> Clipboard" i marquem l'opció "Import to new flow".
Agraïr l'aportació desinteresada de l'Ajuntament d'Arenys de Munt amb aquest flux. En concret s'integren dades de dispositius dels fabricants DecentLab i Dragino.
Amb la col·laboració de Femprocomuns han fet un esforç d’adaptació important del flux per a que sigui reutilitzable per altres municipis i altres dispositius de diferents fabricants.
El flux està dividit en 5 etapes:
S'ha dissenyat modularment amb l'objectiu de homogeneïtzar els fluxos per afavorir la replicació i manteniment del codi.
Permet identificar quins són els nodes i variables específics per cada sensor i fabricant.
Autoria: xoic@femprocomuns.coop [2]
Documentació de la sessió de Formació, veure enllaç [4]
El flux utilitza l’API de Miniserver de Loxone per obtenir les dades actuals d’un sensor concret. Existeix un servei de núvol de Loxone que ofereix accés al Miniserver sense necessitat de conèixer la IP de Miniserver prèviament - només és necessari saber el ID de Miniserver.
Bàsicament, el flux segueix aquests passos:
Configuració de la connexió a Sentilo
Si fem un doble clic sobre el node "Publica a Sentilo", podem escollir una connexió a Sentilo de les existents o configurar una nova.
Alternativament, podem esborrar la connexió importada i crear o reutilitzar una connexió que ja tenim dins de la nostra instància de Node-RED.
Configuració dels sensors a importar
Dins dels nodes Function "Configuració dels sensors amb lectura horària" i "Configuració dels sensors amb lectura diària" hi ha una array javascript SENSORS.
Cada element de la array és una configuració de sensor amb les següents atributs:
Per exemple, la definició de sensor seria:
{
"lMiniserver":"504F94A050B0",
"lSensor":"08213ENS001_MV_BMC1_ENER",
"lUsr":"x",
"lPass":"x",
"sSensor":"08213ENS001_MV_BMC1_ENER"
}
El flux processarà tots els elements de la array SENSORS, si està activat el seu Inject Node (veure el següent apartat).
Programació periódica de l'execució
Dins del flux hi ha 2 injectors, cadascun pensat per planificar l’execució amb una freqüència different. Per defecte estan desactivats. Si volem activar la execució de cada hora, hem de accedir a la configuració d’Inject Node "Cada hora" i configurar-ho d’aquesta forma:
Desplegament del flux
Finalment publiquem les nostres canvis amb el botó "Deploy".
En cas d'incidència, podem activar els nodes "Debug" i revisar el contingut dels missatges en la pestanya log.
El flux d'integració de dades de Qualitat de l'Aire del portal de Dades Obertes de Catalunya permet consultar, decarregar i, posteriorment, publicar les dades d'estaciones de mesura de qualitat de l'aire en la plataforma Sentilo per a un grup d'ens determinat.
El fluxe consta de 4 parts:
Aquest fluxe fa servir la llibreria node-red-contrib-loop-processing, que caldrà tenir instal·lada prèviament:
El node principal del fluxe és el node que injecta la configuració necessària per al correcte funcionament, tant a nivell d'obtenció de les dades com de publicació.
Els camps que cal configurar en aquest node són:
:
ENS
: identificador de l'ensnomEstacio
: nom identificador de l'estació a la que es consultarà les dades (veieu la definició del servei per a més informació)prefixComponent
: el prefix que es farà servir per a crear el component al que s'annexaran els sensors de les dades obtingudes, el format final serà <prefixComponent>_AIR_QUALITY
(el sufix és configurable amb el paràmetre msg.sufixComponent)provider
: el proveïdor al qual pertany el component que rebrà les dadestoken
: token d'autorització del proveïdor per tal de poder crear el component, sensors i publicar les dadesFinalment, l'execució del fluxe està marcada per a que s'executi de forma automàtica cada dia a les 6:00 del matí, tot i que tambè és possible l'execució manual, fent click en aquest node, o bé configurar el mètode automàtic al mateix node:
El fluxe s'executa diàriament a les 6:00h del matí de forma automàtica, com ja em vist, o bé de forma manual (fent click al node d'inici). És totalment configurable segons les nostres necessitats.
L'execució itera tots els ens existents al llistat de configuració d'ens, per a cadascún, obté les dades de l'estació associada, verifica l'existència del component i els sensors a Sentilo i, si escau, publica les dades als sensors de la tipologia associada a cada contaminant.
En cas que el component / sensors no existeixin es creen prèviament a la publicacio de les dades (en aquest cas el fluxe farà una espera d'un minut abans de la publicació de les dades, per tal que el Catàleg de Sentilo pugui recarregar la caxé de components convenientment).
Les dades consultades sempre son les darreres obtingudes pel servei (dia anterior). En cas que el fluxe detecti que no existeixi el component, els sensors o bé que aquests no tinguin dades actualitzades, es demanarà pels darrers 30 dies, per tal de poder dispossar d'un històric de dades suficientment gran per a poder fer l'explotació de les mateixes.
Finalment el fluxe mostra per la barra de logs l'estat de finalització. Cal tenir els nodes de log actius.
Per defecte es mostren els següents logs:
API data url
: mostra la URL que es fa servir per demanar les dades de l'estació actualResultat crear sensors
: indica l'estat després d'haver creat els sensorsFinalitza error creació sensors
: informa la finalització de l'execució per error en crear sensorResultat publicar observations
: mostra el resultat de publicar les observacionsFinalitza error publicació observacions
: informa la finalització de l'execució per error en publicar observacionsLes dades apareixeran als sensors del component associat a l'ens.
Aquest és un exemple de configuració bàsica dels ens i les estaciones relacionades:
[
{
"ENS": "DIBA",
"nomEstacio": "Barcelona (Sants)",
"prefixComponent": "BARCELONA_SANTS",
"provider": "diba@POLLUTION_PROVIDER",
"token": "XXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXXX"
}
]
Aquesta configuració esdevindrà en una consulta a l'estació "Barcelona (Sants)", i publicarà les dades als sensors associats al component BARCELONA_SANTS_AIR_QUALITY del proveïdor diba@POLLUTION_PROVIDER. El token en aquest exemple és ocult, cal emplenar-lo amb les dades correctes.
Aquest és un exemple de configuració de contaminants, que relacionen la dada de l'estació amb la tipologia de sensors, que cal que existeixin prèviament a Sentilo (aquestes dades en format json estan configurades per defecte al node de configuració i només cal canviar-les si hi ha nous contaminants, o es vol canviar la relació entre contaminants i tipologies de sensors):
{
"1": {
"magnitud": "1",
"contaminant": "SO2",
"unitats": "µg/m3",
"typology": "air_quality_so2"
},
"6": {
"magnitud": "6",
"contaminant": "CO",
"unitats": "mg/m3",
"typology": "air_quality_co"
},
"7": {
"magnitud": "7",
"contaminant": "NO",
"unitats": "µg/m3",
"typology": "air_quality_no"
},
"8": {
"magnitud": "8",
"contaminant": "NO2",
"unitats": "µg/m3",
"typology": "air_quality_no2"
},
"9": {
"magnitud": "9",
"contaminant": "PM2.5",
"unitats": "µg/m3",
"typology": "air_quality_pm25"
},
"10": {
"magnitud": "10",
"contaminant": "PM10",
"unitats": "µg/m3",
"typology": "air_quality_pm10"
},
"12": {
"magnitud": "12",
"contaminant": "NOX",
"unitats": "µg/m3",
"typology": "air_quality_nox"
},
"14": {
"magnitud": "14",
"contaminant": "O3",
"unitats": "µg/m3",
"typology": "air_quality_o3"
},
"30": {
"magnitud": "30",
"contaminant": "C6H6",
"unitats": "µg/m3",
"typology": "air_quality_c6h6"
},
"65": {
"magnitud": "65",
"contaminant": "H2S",
"unitats": "µg/m3",
"typology": "air_pollutant"
}
}
Podeu consultar la descripció de serviei de dades obertes de Catalunya "Qualitat de l’aire als punts de mesurament automàtics de la Xarxa de Vigilància i Previsió de la Contaminació Atmosfèrica" a la següent url:
A més, la descripció de l'api que hem fet servir per a construir aquest fluxe la podeu trobar a:
La crida que el fluxe fa a l'api és del tipus:
https://analisi.transparenciacatalunya.cat/resource/tasf-thgu.json?nom_estacio=Manlleu&data=2023-04-13
on:
Per tal de fer una consulta online de forma visual, podeu fer servir aquesta utilitat:
L'actualització de Node-RED a la versió 2.2.2, també ha aportat actualitzacions d'alguns nodes, com és el cas dels de Sentilo, que passen de la versió v0.1.5 a la v0.5.1.
Per tal de poder continuar fent servir els nostres fluxes que utilitzen aquests nodes, caldrà fer una petita intervenció.
A continuació es detalla com cal actuar per tal d'adaptar els fluxes a la nova versió si és necessari.
Si recordem els nodes de la versió anterior, teníem la següent col·lecció:
que estava formada per 3 nodes funcionals i un de configuració del servidor (node intern):
La nova versió de nodes de Sentilo, la v0.5.1, ofereix els mateixos nodes funcionals, i el node de servidor. A part, s'ha introduït un nou node de subscripció:
un cop més tenim:
Com veiem, els nodes publish i retrieve mantenen la seva funcionalitat, i afegeixen una nova sortida informativa.
Per contra, els dos nodes de subscripció han canviat. El primer, subscribe with endpoint és l'equivalent a l'original de la versió anterior, mentres que el subscribe without endpoint és un node nou que afegeix una nova funcionalitat.
A continuació es mostra un conjunt d'imatges amb l'estructura funcional de cadascun d'ells, i com explotar la seva sortida:
Retrieve
Publish
Subscribe with endpoint
Subscribe without endpoint
En aquest darrer cas cal tenir en compte el node function anomenat Prepara subscripció que és l'encarregat d'injectar les dades de configuració del node de subscripció.
Per tal d'adaptar els nostres fluxes a la nova versió de Sentilo v0.5.1, cal seguir unes passes molt senzilles que tot seguit explicarem.
Prendrem com a referència el fluxe de test Meteocat Simple:
Com podem veure, el node publish està connectat a un node funcional que li prepara les dades a enviar (node Prepare Sentilo msg).
En arrencar la instància normalment detectarà que aquest node ha estat actualitzat, i el substituirà per la nova versió. En aquest cas no caldrà fer res més (si no fos així, només cal esborrar el node i tornar a insertar el node de la nova versió al seu lloc).
Per tant, ens trobem amb aquest escenari:
Un cop finalitzat aquest procediment, ja hauríem de poder tornar a fer servir el nostre fluxe normalment:
Un cop arranquem i entrem per primer cop a la nova instància de Node-RED, és molt probable que ens trobem amb aquest missatge per pantalla (en el cas que algun dels nostres fluxes estiguin fent servir un node de subscripció):
És un missatge totalment normal, i ens indica que, en algun dels nostres fluxes, estem fent servir un node que ja no existeix.
Ens trobarem una situació com aquesta:
En aquest cas, és el node subscribe que no existeix. Com ja hem dit abans, ha canviat de nom i ara hi ha dos tipus de node de subscripció.
El que correspon a la versió anterior de forma directa seria el subscribe with enpoint, que podríem substituir-lo sense més problemes, tot seguint les passes comentades anteriorment.
Per fer-ho, cal esborrar el node antic (marcat en vermell) i inserir el nou node, tot tornant a configurar les seves dades de connexió com s'ha explicat anteriorment.
Finalment, el fluxe quedaria així:
NOTA: les indicacions i errors ens avisen que cal configurar novament el node, ja que hem fet una substitució
Adjunt | Mida |
---|---|
Flux Meteocat [3] | 6.45 KB |
Flux Loxone [5] | 5.37 KB |
Flux Lorawan - sensors qualitat aire [1] | 29.64 KB |
Enllaços:
[1] https://smartregion.diba.cat/sites/smartregion.diba.cat/files/sensors_de_qualitat_de_laire.json_.txt
[2] mailto:xoic@femprocomuns.coop
[3] https://smartregion.diba.cat/sites/smartregion.diba.cat/files/meteocatsimple.json__0.txt
[4] https://smartregion.diba.cat/documents/sessio-4-exemple-practic-integracio-estacio-meteorologica-meteocat
[5] https://smartregion.diba.cat/sites/smartregion.diba.cat/files/flux-loxone-sentilo-node-red.json_.txt
[6] https://smartregion.diba.cat/sites/smartregion.diba.cat/files/userfiles/101/qualitat_aire.json_.txt
[7] https://analisi.transparenciacatalunya.cat/Medi-Ambient/Qualitat-de-l-aire-als-punts-de-mesurament-autom-t/tasf-thgu
[8] https://dev.socrata.com/foundry/analisi.transparenciacatalunya.cat/tasf-thgu
[9] https://analisi.transparenciacatalunya.cat/Medi-Ambient/Qualitat-de-l-aire-als-punts-de-mesurament-autom-t/tasf-thgu/explore