Si, Grafana legge anche da MySQL.

Se hai già quel flusso funzionante, è una buona soluzione.

Per il resto, se devi configurare da 0 un Rasp, con i docker è molto semplice ... credo che, così da occhio, non più di una 10ina o 20ina di righe di comandi dovrebbero bastare.

Se riesco provo ad iniziare a buttare giù una bozza.

Il problema di base però è un'altro: ognuno ha i suoi device, configurati in modello e numero diverso.

Diventa quindi quasi impossibile creare dei setup comuni per Grafana.

Ad esempio, Dolam ha solo 1 SDM e poi legge i dati dall'inverter. Già se gli passo il mio json della dashboard, non gli funzionerà se non in parte.
Solarbyte legge da Shelly, quindi ha un formato dati su Influx diverso dal mio.
Tu hai molti più device ...

Insomma ... qui si discute più dell'esperienza d'uso degli strumenti e si può impostare un setup comune del rasp, ma poi le configurazioni degli strumenti TEMO sia difficile standardizzarle ... vedremo ...

Per il momento vorrei lasciare tutto così sul rasp, più avanti vedremo. Il mio problema ora è configurare mysql, non so proprio da dove partire.
Questa è la schermata di configurazione sul software

"Ad esempio, Dolam ha solo 1 SDM e poi legge i dati dall'inverter."

vero in parte, 123solar e meterN sono configurati così ma ho anche un contatore SDM 230 sulla produzione che ovviamente attualmente non monitoro da remoto, quindi la tua soluzione per me va benissimo.

Ah, non hai ancora un MYSQL installato ... mmm ... installare MySQL da sempre un pò di grattacapi, ma direi di passare in privato ...

@glfp

Dal tuo post:
"Il problema di base però è un'altro: ognuno ha i suoi device, configurati in modello e numero diverso.
Diventa quindi quasi impossibile creare dei setup comuni per Grafana.
Ad esempio, Dolam ha solo 1 SDM e poi legge i dati dall'inverter. Già se gli passo il mio json della dashboard, non gli funzionerà se non in parte.
Solarbyte legge da Shelly, quindi ha un formato dati su Influx diverso dal mio."


Per chi ci legge e magari non è troppo addentro ecco un quadro delle architetture possibili.

Il nodo di confluenza dei dati da servire a Grafana da noi usato è per tutti noi (finora) Influx.

Qualunque sorgente di dati o misure abbiamo con i ns devices o files le misure confluiscono in uno o più database di Influx che diventano poi il o i "DATA SOURCE" per Grafana.
Qui il discorso apre due vie:
1) Abbiamo un unica macchina (p.es. il Raspberry) su cui gira influx che gestisce uno o più database e con lo stesso IP genera uno o più DATA SOURCE. In una stessa dashboard Grafana potrà gestire le query su diversi DATA SOURCE e quindi potremo visualizzare grafici da diversi database provenienti dallo stesso Influx service

2) Abbiamo due o più macchine ognuna col suo Influx-service attivo ognuna col suo IP. Anche in questo caso avremo DATA SOURCES diversi per ogni database di ogni macchina e poi nella Dashboard faremo le query a quello che ci interessa e potremo continuare a visualizzarli anche nella stessa dashboard.

Tutto questo con Influx.

Ma Grafana si interfaccia anche con moltissime altre sorgenti diverse da Influx (vedi appunto MySql) : per ognuna occorrerà definire in Grafana un DATA SOURCE apposito, ma comunque nella stessa dashboard potremo far confluire query da tutte le possibili diverse sorgenti.

Nel caso di Leonik Mysql girerà su Windows ma Grafana gira su Raspberry (Hassio) e quindi dovrà trovare il modo di creare un DATA SOURCE in Grafana con l'indirizzo IP del PC Windows e col data base relativo.

Quello che mi chiedo (per mia ignoranza) è il ruolo di Home Assistant nel caso di Leonik: la sua presenza sarà trasparente fra MySql e Grafana oppure no e si deve configurare qualcosa anche in Home Assistant ? Forse voi sistemisti (mi riferisco a glfp e raffaelem) potrete darci lumi.
Grazie e di nuovo ciao a tutti..

Non vedo problemi, mysql è un server di database e grafana e home assistant sono due client (come ce ne potrebbero essere altri N)
Si entra bussando alla porta (indirizzo ip) e chiedendo permesso (username e password) metaforicamente parlando

Come si suol dire, stai sereno

Chiarissimo ().. ed anche serenissimo..

Il tuo ragionamento è corretto.

Però anche col punto 1 il discorso si complica perchè a parità di Influx, ognuno mette i dati come "gli pare", o meglio in relazione al software che usa per popolarlo.

Forse, se faccio una guida passo a passo, fra i partecipanti a questo thread, solo Dolam avrà una configurazione come la mia. Ovviamente poi prendendo dimestichezza si farà i grafici che vuole, ma almeno una base di partenza ce l'ha.

Diciamo che se facciamo un progetto condividendolo, avremo cmq 3 formati diversi che poi i nostri posteri potranno replicare ...

Mysql e grafana su windows, influx e hassio su raspberry, praticamente un casino. In questi giorni mi sto immergendo in questo mare magnum e non ricordo più nemmeno il mio nome.... ahahahhahaha

Schema montaggio ShellyEM.
In vista della guida..

Ottimo Solarbyte,

da integrare nella futura guida !

Io ho creato una repo github per il lato PDC con il mio assetto attuale, installazione e configurazione grafana ed influx saranno però comuni, poi aggiungerò il branch fotovoltaico dove se volete potete fare pull request altrimenti potete creare la repo fotovoltaico e sarò io a fare la pull request per il mio meter

Attualmente sto buttando giù uno schizzo di README con l'ipotetico indice.

Inserimento plugin in Grafana (sotto Docker)

Carissimi!
Ho bisogno del vs know-how..
Domanda per chi è esperto di Docker..
Lo Shelly fra le varie possibilità ha anche quella di far scaricare un file csv contenente tutto lo storico dei valori di energia (misurata ad intervalli di 5 minuti).
Volendo graficare con Grafana i contenuti ho trovato questo plugin: GitHub - SmartBlug/grafana-csv-datasource.
l'ho caricato felicemente e fra i data source Grafana lo trova, la difficoltà è relativa al lancio del server python ed alla creazione delle cartelle in cui caricare i files csv.

Nel Readme del plugin spiega come creare le cartelle in cui caricare i files csv e lanciare in esecuzione lo script python (PythonServer.py).
Le istruzioni si riferiscono però ad una installazione fuori Docker.
Ma con Grafana che lavora come container di Docker come si fa? Dove sono le cartelle? come si fa ad attivare il server Python ?
Ho cercato in rete ma non son riuscito..
Che dite? Si può fare?
Grazie..

Caro mio,

non è l'approccio corretto.

Per leggere il CSV devi usare sempre Telegraf.

Vedi qui

Write Points from CSV to InfluxDB | InfluxData

o qui

telegraf/plugins/parsers/csv at master * influxdata/telegraf * GitHub

Lascia stare Python .. almeno finchè si può ;-)

Grazie Raffa.

Con Telegraf ho già provato ma non son riuscito() , però ci riprovo.. voglio un po' vede'..

Però da esperto quale sei ti chiedo:
- Python: perchè dici no? Quali controindicazioni ha? (come linguaggio mi sembra abbordabile, penso che ne uscirei..) Cosa te lo fa dire?
-Docker: qui la questione che mi morde è come accedere alle varie cartelle delle applicazioni che ci girano. Per esempio Grafana . Per caricare un plugin con docker bisogna passare attraverso "docker run -d -p 3000:3000 etcetera" e creare nuovo container , invece senza docker basterebbe caricare il file nella directory var/lib/etcetera ed il gioco è fatto. Ma dov'è ? bohhh
Quest'ultima domanda mi intriga..
La risposta è semplice?
Ciao e grazieee!!

Non c'è di che ma non ti ho risposto io, io avrei risposto così

ma la domanda che mi pongo io è : perché Docker? se poi si deve lavorare in locale senza interagire e condividere con nessuno? e quando tutto il "sistema" si riduce a 3/4 applicazioni al massimo?

installare grafana, influx e tutto il resto è una "schioppettata" come si suol dire dalle mie parti... cosa c'è di così complesso da dover ricorrere a docker?

Ops... sono in fase rinc..

Grazie a Raffa e a glfp comunque..

Già che ci siamo giro la domanda a glfp: perchè Docker ?

Ciaooo

A parte una non particolare simpatia verso questo ambiente, il discorso verteva solo sull'usare più possibile gli strumenti che si hanno (quindi influx e grafana) e non "inquinare" l'architettura complessiva con altre componenti che alla lunga renderebbero più difficile gestire il progetto ... se proprio bisogna scrivere in un linguaggio, priviligerei il linguaggio "flux" all'interno del DB. Almeno finchè sarà possibile.

Aspettavo questo momento non trepidazione ...

La questione non è semplicissima da spiegare a parole ... te ne avevo già accennato in un vecchio post, di fare attenzione al discorso dei volumi, ovvero le cartelle dove scrivi i dati.

Il concetto è: con i docker, quando fai "docker run ecc" lancio un programma come se vivesse in un altro ambiente. E' come se avessi 2 raspberry: 1 quello vero che si chiama "HOST", l'altro quello virtuale che si chiama "container". Quindi avendo 2 raspberry diversi, con due filesystem diversi, quello che vedi su uno non è quello che vedi sull'altro.
Il problema di base è che ogni volta che fai "docker run" è come se il secondo raspberry lo formattassi a zero, e quindi rifare un "docker run" ti fa perdere tutti i dati che avevi dentro.

Pertanto si fa in modo che il "container", quando salva i dati, lo faccio non sul suo disco interno (del 2° raspberry per intenderci) ma sul primo, l'host. L'host è il vero raspberry e si presume quei dati non vengano mai cancellati.

Questa immagine spiega un pò meglio:


Come in quella immagine, normalmente Influx (Container1) salva i dati in

/var/lib/influxdb

Pertanto si fa in modo che Influx pensi sempre di scrivere i dati in quel percorso, ma in realtà quel percorso è mappato in una area disco della macchina HOST.

Nel mio caso quindi per lanciare Influx, il comando è

Tralasciando le altre opzioni, quello che ci interessa è il parametro -v

Prima di lanciare il comando ho creato sul Raspberry 1 (HOST) la cartella

/docker/influxdb

e poi lanciato il run.
Da quel momento in poi i dati vengono memorizzati sull'host.
Se anche cancello il container (docker rm) e lo ricreo (magari perchè c'è stato un aggiornamento), i dati sono sempre nella stessa posizione, sicuri e protetti ... almeno finchè è protetto il Rasp principale.

Spero sia ora un pò più chiaro ;-)

non mi pare i docker esistano per "interagire e condividere" ...

Essenzialmente è per una semplificazione dell'architettura. I Docker isolano le dipendenze dei sistemi e ne semplificano la manutenzione.
Ad esempio con la gestione dei volumi sopra descritta separi nettamente il motore dai dati.
Per aggiornare basta rilanciare il comando "docker run" con la versione che vuoi (anche all'indietro ...)
Sei sempre sicuro ti funzioni anche se sulla macchina non avevi la versione di PHP, di Python, di cippalippa che ti serviva per un altro software ...

Installare con docker è altrettanto semplice: installi influx e grafana in 6 righe:

Inoltre questi stessi comandi funzionano su qualunque piattaforma ... se vuoi farlo girare su Windows o Mac o su Ubuntu o su Raspian o sul Pi3, Pi4 ... forse anche Pi2, i comandi da lanciare sono sempre gli stessi 6.

Quindi, perchè no ?

Oggi durante una noiosissima call conference di più di un'ora, ho smanettato un pò per cercare di creare quella vista "per mese" e per "anni" che c'è nell'app di SolarEdge (ma anche in PVSolar e tanti altri).

Per la vista mensile tutto ok,

































A sinistra la SolarEdge, a destra la mia.
Perdo il selettore "Mar" 2020 ... ma ho la Time Range di Grafana in alto a destra e alla fine siamo li.

Guardando questi due grafici mi sono accorto della differenza nel conteggio: nel giorno con più produzione, il 28, Solaredge mi dice 29kwh mentre il mio SDM ha conteggiato solo 27,95kwh.

Secondo voi (@dolam, @spider ecc) chi dei due è più veritiero ? E' una questione annosa, ma giusto per rinfrescarmi la memoria ...

Invece è più complicato filtrare e graficare per mese .... per quello le query di Influx non supportano il mese e anno. Pare debba migrare alle query fatte con flux. Come descritto qui How to group by time(month)? - Collect - InfluxData Community

Vi aggiornerò appena avrò tempo da dedicargli ...

è scritto sul loro sito in home page mica l'ho inventato io

il sistema qui è 1, un raspi con 4 cavi collegati non devono convivere 100 applicazioni particolari ma 3/4, motivo per cui lo trovo una inutile complicazione visto che devi comunque imparare ad usarlo come si deve e non è un valore aggiunto, trattandosi di n.1 sistema e pure semplice (sempre IMHO)

non mi riferivo a docker ma alla semplicità di installare gli altri SENZA docker
se devi spostare replicare o spostare una installazione del genere sempre 5 minuti sono insomma

Sono veri entrambi
solaredge misura prima della trasformazione in AC
SDM misura solo la AC quindi la differenza è la perdita di conversione DC-AC

Non ho intenzione di iniziare un flame su chi è meglio o peggio ... è un altro metodo, punto.

Grazie Dolam per la precisazione. Però nel totalone finale (usato dal GSE per le consultivazioni) quale si usa ? Presumo quello dell'SDM poichè anche il contatore GSE è a valle della conversione, giusto ?

...nemmeno io ma se hai le palle girate non serve che rispondi così, ed è la seconda volta che lo fai

IMHO significa a mio modesto parere comunque, più di così...

smetto di seguirvi perché a occhio e croce mi sembri un filino suscettibile, ti sarà scoppiato qualche altro mysql

"Presumo quello dell'SDM poichè anche il contatore GSE è a valle della conversione, giusto ?"

si meglio quello dell' SDM anche se un piccolo scostamento da quello enel inevitabilmente ci sarà, però minimo vedrai.

Ragazzi state facendo un gran bel lavoro non litigate per poco, alla fine tirerete fuori delle gran belle soluzioni,
vi chiedo solo, se è possibile, di usare delle soluzioni le più semplici possibili , sempre che vogliate renderle fruibili per tutti.

che ti devo dire ... ci sarà un motivo per cui rispondo così solo a te

Perché sono quello che ti fa notare cose che ti fanno girare le palle ;-)
Il problema è tra la sedia e la tastiera nel 99% dei casi

@dolam tranquillo e buon lavoro ;-)

Rieccomi dopo un paio di giorni di sbattimenti con i database. Sono riuscito finalmente ad implementare i dati della mia stazione meteorologica, grazie al prezioso aiuto di glfp, che mi ha aiutato/guidato a dare in pasto i dati forniti dal mio software a telegraf che poi li riversa su influx. Un ringraziamento va anche a raffaelem con il quale abbiamo cercato in tutti i modi di inviare i dati della stazione su mysql ma alla fine abbiamo capito che la software ha problemi con mysql.
Questo il primo risultato ottenuto tramite telegraf, influx e grafana

Ho fatto qualche aggiustamento anche alle altre due dashboard del FTV e della pompa di calore





Si accettano consigli per migliorare la leggibilità.