annuncio

**raffaelem** · 17-03-2020, 15:42

su homebridge non saprei, tempo permettendo darò uno sguardo ma non ti assicuro niente.

@borghese non so che dirti a questo punto, non essendo sulla macchina e senza uno straccio di log cui aggrapparsi...

**flane** · 17-03-2020, 15:55

Non ho seguito tutte le ultime discussioni ma vorrei solo chiarire gli aspetti della corruzione SD, problema ampliamente discusso nelle prime fasi del progetto e risolto nel migliore dei modi senza ricorrere a dischi esterni, ma limitando al massimo le scritture fisiche su SD e spostando tutto quanto possibile in ramdisk.

Nella mia immagine preconfigurata Solarstretch, vengono salvati su SD solo i salvattaggi dei dati di MeterN e 123Solar ogni 5 minuti.
Tutti gli altri dati live ed anche il log di sistema (cartella /var/log) vengono tutti salvati in ramdisk (cartelle montate tmpfs)
Anche per Domoticz presente sull'immagine, i salvataggi temporanei del database sono stati spostati in ramdisk per limitare al minimo le scritture.

Per preservare per quanto possibile il log di sistema si è utilizzato il sistema di Ramlog che ho adattato per Stretch. Ad ogni spegnimento e/o riavvio del raspi ed ogni giorno a mezzanotte viene creata una copia compressa della cartella /var/log. Al riavvio la cartella viene automaticamente ripristinata con l'ultimo salvataggio.

Personalmente uso un raspberry con SD per il monitoraggio da 7 anni con Domoticz ed altre cosette installate e non ho mai cambiato una SD !!!!

Certo che se poi si installano altre cose o si fanno modifiche senza curare l'aspetto di limitare i salvataggi e ci sono scritture ogni pochi secondi la scheda SD è fritta anche in pochi mesi, non in anni bastano anche pochi mesi.....

**raffaelem** · 17-03-2020, 15:59

Originariamente inviato da flane Visualizza il messaggio

Per preservare per quanto possibile il log di sistema si è utilizzato il sistema di Ramlog che ho adattato per Stretch. Ad ogni spegnimento e/o riavvio del raspi ed ogni giorno a mezzanotte viene creata una copia compressa della cartella /var/log. Al riavvio la cartella viene automaticamente ripristinata con l'ultimo salvataggio.

Potresti spiegare meglio? cioè, perché comprimi e ripristini i log? forse intendi dalla ramdisk

**spider61** · 17-03-2020, 16:01

Originariamente inviato da flane Visualizza il messaggio

Personalmente uso un raspberry con SD per il monitoraggio da 7 anni con Domoticz ed altre cosette installate e non ho mai cambiato una SD !!!!

Mai cambiata e mai rifatta ?

**flane** · 17-03-2020, 16:17

Originariamente inviato da raffaelem Visualizza il messaggio

Potresti spiegare meglio? cioè, perché comprimi e ripristini i log? forse intendi dalla ramdisk

Quando parlo di log, parlo di log di sistema (cartella /var/log) e non di dati salvati da 123Solar e/o Metern che rimangono su SD. Caricando in ramdisk la cartella /var/log, ad ogni riavvio si perderebbero tutti i log di sistema, cosa problematica nel caso si vogliano diagnosticare dei problemi. Per questo è stato introdotto Ramlog, che salva capra e cavoli, riduce le scritture su SD e preserva i log salvandoli una volta al giorno o al riavvio/spegnimento.

Solo spostando i log di sistema in ramdisk e disabilitando lo swap si riducono drasticamente le scritture su SD, come ho scritto sul wiki riportato nel link della discussione precedente.
Nella Solarstretch anche le letture dei contatori e inverter (eseguite ogni pochi secondi) vengono salvati in file temporanei in ramdisk.
Come detto sulla SD vanno solo le scritture dei dati loggati da Metern e 123Solar ogni 5 minuti.
Questo basta per preservare la SD per anni ed anni.

Comunque il backup è sempre caldamente suggerito ed ora ho trovato anche un sistema per fare una immagine della SD "a caldo" cioè direttamente dal raspi ad un nas in rete (o chiavetta/disco usb collegato al raspi) con il raspi acceso

a breve pubblico una guida sul wiki

Originariamente inviato da spider61 Visualizza il messaggio

Mai cambiata e mai rifatta ?

Rifatta l'immagine l'ho rifatta, ma non ho ancora cambiato l'SD

Sul wiki c'è anche spiegato come controllare quante scritture avvengono sulla scheda.

**dolam** · 17-03-2020, 16:20

/etc/logrotate.d
"altra cosa che puoi modificare, ove presente, il parametro maxsize (oppure inserirlo se non c'è), seguito da una dimensione espressa nella forma 5K, 5M e così via. I log verranno "ruotati" appena il file supera quella dimensione."

Ecco questo sarebbe molto interessante, come faccio a dimensionare i log a 3M al massimo?
puoi farmi un esempio per favore? grazie

Comunque i log non erano importanti perchè avevo già cancellato da poco

**spider61** · 17-03-2020, 16:24

Originariamente inviato da flane Visualizza il messaggio

Rifatta l'immagine l'ho rifatta, ma non ho ancora cambiato l'SD

ben diverso , anche io ho la penna usb che mi dettero col pogoplug qaundo si montava 123solar lì , perchè non esisteva ancora il raspberry o comuqnue era stato appena presentato , si parla del 2012.....
per il resto se si corrompe si reinstalla.....

**raffaelem** · 17-03-2020, 17:03

Originariamente inviato da dolam Visualizza il messaggio

Ecco questo sarebbe molto interessante, come faccio a dimensionare i log a 3M al massimo?
puoi farmi un esempio per favore? grazie

Per i log di apache ad esempio

codice:

/var/log/apache2/*.log {
    daily
    missingok


    rotate 1
    maxsize 3M


    compress
    delaycompress
    notifempty
    create 640 root adm
    sharedscripts
    postrotate
                if invoke-rc.d apache2 status > /dev/null 2>&1; then \
                    invoke-rc.d apache2 reload > /dev/null 2>&1; \
                fi;
    endscript
    prerotate
        if [ -d /etc/logrotate.d/httpd-prerotate ]; then \
            run-parts /etc/logrotate.d/httpd-prerotate; \
        fi; \
    endscript
}

**dolam** · 17-03-2020, 19:01

raffaelem quindi questo che è attualmente così mi consigli di modificarlo :

/var/log/fv_loads.log {
weekly
missingok
rotate 52
compress
delaycompress
notifempty
create 640 root adm
sharedscripts
}

in questo modo ?:

/var/log/fv_loads.log {
daily
missingok

rotate 1
maxsize 1M

compress
delaycompress
notifempty
create 640 root adm
sharedscripts
postrotate
if invoke-rc.d fv_loads status > /dev/null 2>&1; then \
invoke-rc.d fv_loads reload > /dev/null 2>&1; \
fi;
endscript
prerotate
if [ -d /etc/logrotate.d/httpd-prerotate ]; then \
run-parts /etc/logrotate.d/httpd-prerotate; \
fi; \
endscript
}

**flane** · 17-03-2020, 19:02

Originariamente inviato da spider61 Visualizza il messaggio

ben diverso , anche io ho la penna usb che mi dettero col pogoplug qaundo si montava 123solar lì , perchè non esisteva ancora il raspberry o comuqnue era stato appena presentato , si parla del 2012.....
per il resto se si corrompe si reinstalla.....

Mi sono spiegato male. L'immagine l'ho rifatta per cambio/aggiornamento sistema (da wheezy a Jessie e poi Stretch) o latri aggiornamenti completi, ma mai rifatta perchè si è corrotta la scheda

**dolam** · 17-03-2020, 19:08

raffaelem , se ho capito bene avevo già qualcosa impostato anche per nginx che però ha anche i permessi per "data", vanno rimessi per tutti?

/var/log/nginx/*.log {
daily
missingok
rotate 52
compress
delaycompress
notifempty
create 0640 www-data adm
sharedscripts
prerotate
if [ -d /etc/logrotate.d/httpd-prerotate ]; then \
run-parts /etc/logrotate.d/httpd-prerotate; \
fi; \
endscript
postrotate
[ ! -f /var/run/nginx.pid ] || kill -USR1 `cat /var/run/nginx.pid`
endscript
}

**raffaelem** · 17-03-2020, 19:28

@dolam aspetta, io ti ho messo in grassetto le parti da modificare (rotate 1) ed aggiungere (maxsize 3M), puoi farlo in ogni file di logrotate che ritieni opportuno

il discorso permessi e tutto il resto va lasciato inalterato, il tuo obiettivo è limitare la grandezza dei file log, imposta come sopra e troverai al massimo 2 file log per ogni servizio (uno compresso ed uno in uso)

**dolam** · 17-03-2020, 19:52

Perfetto, grazie quindi questo script:
/var/log/fv_loads.log {
weekly
missingok
rotate 52
compress
delaycompress
notifempty
create 640 root adm
sharedscripts
}

Diventa:
/var/log/fv_loads.log {
weekly
missingok
rotate 1
maxsize 1M
compress
delaycompress
notifempty
create 640 root adm
sharedscripts
}

Giusto?
In pratica rotate 52 diventa rotate 1
e si aggiunge maxsize 1M ( o 2 3-4M ) o quello che si decide debba essere la dimensione massima.
Ok grazie

**spider61** · 18-03-2020, 10:01

Originariamente inviato da rrrmori53 Visualizza il messaggio

evvai

Solo un ultima cosa : sul grafico pvout se posizioni il cursore su un punto del grafico dove hai tutto a 0 , ti dà i valori di quel momento, hai mica un valore a 0 o incongruente o tutti 0 ?

**raffaelem** · 18-03-2020, 10:07

Originariamente inviato da dolam Visualizza il messaggio

In pratica rotate 52 diventa rotate 1
e si aggiunge maxsize 1M ( o 2 3-4M ) o quello che si decide debba essere la dimensione massima.

Esattamente

**rrrmori53** · 18-03-2020, 13:56

Originariamente inviato da spider61 Visualizza il messaggio

Solo un ultima cosa

Forse risolto..................
Avevo avviato una seconda macchina con un vecchia installazione e credo abbia interferito con i dati reali, il tutto 20 minuti fa
Segue aggiornamento in serata

**spider61** · 18-03-2020, 14:01

Ecco ora torna , c'erano dati incongruenti, è successo anche a me , quando mi mettevo a casa a fare una nuova installazione per sostituire quella in funzione ,casomai perchè c'era una nuova versione , ho di tutto a casa Rasp A , 2 orange pi zero , 2 orange pi one , piu anche un paio di pogoplug PogoPlug E02 come datalogger , e facevo partire per vedere se funzionava la parte pvoutp mandava i dati anche lei a 0 , quindi pvout riceveva due volte i dati o a zero e metteva a zero quel momento...... vai che hai risolto....

**rrrmori53** · 18-03-2020, 15:48

Originariamente inviato da spider61 Visualizza il messaggio

vai che hai risolto....

Fatto...............................

**Borghese** · 18-03-2020, 18:52

Ragazzi vi scrivo solo per informarvi che come immaginato, il problema era il webserver apache!

Un grazie pubblico a Raffaele che è riuscito a farlo ripartire, collegandosi in ssh da remoto. Ora 123solar è nuovamente up&running

Domani estraggo i dati di questi 2gg dall'invt e aggiorno lo storico produzione

coglierò comunque l'occasione per acquistare un altro paio di SD, e upgradare all'immagine di flanesi di solarsckretch !

Ancora grazie Raffaele!!!

**dolam** · 18-03-2020, 21:02

Borghese, raffaelem cosa era accaduto esattamente?
si la versione di solarstretch è decisamente molto più leggera , la RAM è impegnata a poco più dell’ 1,5% contro punte del 100% della mia 1.5.5 , ancora in uso da otto anni
grazie alle perfette impostazioni di Gianfrdp che me la sistemò a suo tempo e che gestisce otto carichi in automatico e in totale autoconsumo.
Diciamo che per fortuna ora abbiamo incontrato raffaelem che ci da una mano concreta.
Naturalmente grandioso è stato anche il lavoro di Flane e Walter62 ( grazie al quale scoprii questo mondo raspberry), insomma colgo l’occasione per ringraziare tutti coloro che collaborano a far funzionare questo gioiello
“Raspy”

**raffaelem** · 18-03-2020, 22:03

Non ho indagato molto a dire il vero, non ho guardato lo storico dei comandi eseguiti ne le date di modifica dei file, se proprio dovessi fare un'ipotesi direi un aggiornamento interrotto sul più bello

Ad ogni modo apache è ripartito usando il suo eseguibile (quindi /usr/sbin/apachectl start) che poi è quello che viene invocato dagli script di systemd

Il modulo apache di php5 era assente quindi 123solar (e qualsiasi altro sito in php) non avrebbe funzionato in ogni caso.

Borghese ha una versione stabile (jessie) ma vecchiotta del sistema operativo. Debian attualmente ha la versione stabile buster, la precedente era stretch quindi dovrebbe aggiornare sostituendo jessie con buster nel file /etc/apt/sources.list (ed eventualmente nei file in /etc/apt/sources.list.d)

Ad esempio (però da non copiare e incollare perché raspi ha altri mirror)

deb Index of /debian/ jessie main contrib non-free

=>

deb Index of /debian/ buster main contrib non-free

E lanciare un

codice:

apt-get update && apt-get dist-upgrade

se si ha dimestichezza il processo non è pericoloso tutto sommato, altrimenti è meglio un backup e installare la nuova immagine

**Borghese** · 19-03-2020, 09:04

Originariamente inviato da dolam Visualizza il messaggio

Borghese, raffaelem cosa era accaduto esattamente?
si la versione di solarstretch è decisamente molto più leggera , la RAM è impegnata a poco più dell’ 1,5% contro punte del 100% della mia 1.5.5 , ancora in uso da otto anni
grazie alle perfette impostazioni di Gianfrdp che me la sistemò a suo tempo e che gestisce otto carichi in automatico e in totale autoconsumo.
Diciamo che per fortuna ora abbiamo incontrato raffaelem che ci da una mano concreta.
Naturalmente grandioso è stato anche il lavoro di Flane e Walter62 ( grazie al quale scoprii questo mondo raspberry), insomma colgo l’occasione per ringraziare tutti coloro che collaborano a far funzionare questo gioiello
“Raspy”

Ciao Dolam.
aspettiamo Raffaele per una spiegazione sicuramente più precisa e completa di quella che potrei dare io.
Io comunque coglierò l'occasione per upgradare il tutto, attendo le nuove sd da amazon e poi passo all'immagine precompilata di Flanesi

Intanto oggi estraggo i dati dall'invt e mi ripristino lo storico.

**Borghese** · 19-03-2020, 09:06

Originariamente inviato da dolam Visualizza il messaggio

Borghese, raffaelem cosa era accaduto esattamente?
si la versione di solarstretch è decisamente molto più leggera , la RAM è impegnata a poco più dell’ 1,5% contro punte del 100% della mia 1.5.5 , ancora in uso da otto anni
grazie alle perfette impostazioni di Gianfrdp che me la sistemò a suo tempo e che gestisce otto carichi in automatico e in totale autoconsumo.
Diciamo che per fortuna ora abbiamo incontrato raffaelem che ci da una mano concreta.
Naturalmente grandioso è stato anche il lavoro di Flane e Walter62 ( grazie al quale scoprii questo mondo raspberry), insomma colgo l’occasione per ringraziare tutti coloro che collaborano a far funzionare questo gioiello
“Raspy”

Ciao Dolam.
aspettiamo Raffaele per una spiegazione sicuramente più precisa e completa di quella che potrei dare io.
Io comunque coglierò l'occasione per upgradare il tutto, attendo le nuove sd da amazon e poi passo all'immagine precompilata di Flanesi
Anche perché vorrei iniziare a monitorare anche i consumi con MeterN, anche se devo vedere come arrivare dal quadro din, a dove ho il raspi (che è vicino all'invt) per il collegamento modbus

Intanto oggi estraggo i dati dall'invt e mi ripristino lo storico.

**Borghese** · 20-03-2020, 08:35

io nel weekend mi divertirò a upgradare il tutto.
Mi confermate che al momento la migliore soluzione è utilizzare l'immagine già pronta Solarstretch presente sul sito di Flanesi ?

**dolam** · 20-03-2020, 08:45

Si te lo confermo, ce l’ho in uso su due Raspberry da quando è uscita ed è facile, performante e stabilissima.
purtroppo non posso installarla sul mio FV per il sistema di gestione domotica che ho e che ora con i sonoff mi consente anche i comandi a distanza ma la solarstretch 3.1 è veramente un gioco da ragazzi e gira alla perfezione.

**raffaelem** · 20-03-2020, 09:00

Originariamente inviato da Borghese Visualizza il messaggio

io nel weekend mi divertirò a upgradare il tutto.
Mi confermate che al momento la migliore soluzione è utilizzare l'immagine già pronta Solarstretch presente sul sito di Flanesi ?

Se proprio devi spianare tutto prima di farlo (e dopo aver fatto un backup) prova a sostituire jessie con buster nei mirror apt come ti ho indicato in #4341 e lanciare un dist-upgrade

Ti ritroverai con l'ultima versione stabile di raspbian (che non è stretch ma buster).

I file interessati (ma tu potresti averne altri) e relative modifiche

codice:

/etc/apt/sources.list => deb http://raspbian.raspberrypi.org/raspbian/ buster main contrib non-free rpi

/etc/apt/sources.list.d/raspi.list => deb http://archive.raspberrypi.org/debian/ buster main

poi

apt-get update && apt-get dist-upgrade

**dolam** · 20-03-2020, 09:33

Aspetta un attimo, prima ricordati che nella nuova versione la cartella data non viene più letta per i dati pregressi , che vanno riconvertiti nel nuovo formato delle attuali versioni
altrimenti perdi tutto il passato

**glfp** · 20-03-2020, 16:04

Si, mi sembrava di aver letto su qualche guida di Flanesi che MeterN e la sua distro non fossero compatibili con Buster, forse per un problema di librerie ...

**Borghese** · 20-03-2020, 16:07

Originariamente inviato da raffaelem Visualizza il messaggio

Se proprio devi spianare tutto prima di farlo (e dopo aver fatto un backup) prova a sostituire jessie con buster nei mirror apt come ti ho indicato in #4341 e lanciare un dist-upgrade

Ti ritroverai con l'ultima versione stabile di raspbian (che non è stretch ma buster).

I file interessati (ma tu potresti averne altri) e relative modifiche

codice:

/etc/apt/sources.list => deb http://raspbian.raspberrypi.org/raspbian/ buster main contrib non-free rpi

/etc/apt/sources.list.d/raspi.list => deb http://archive.raspberrypi.org/debian/ buster main

poi

ok ci provo Raffaele grazie!

Tanto per l'upgrade userò SD che compro nuove ad hoc, me ne creo due, e una volta che metto al sicuro la cartella data attuale, mi divertirò a testare quanto sopra!

**Borghese** · 20-03-2020, 16:09

Originariamente inviato da dolam Visualizza il messaggio

Aspetta un attimo, prima ricordati che nella nuova versione la cartella data non viene più letta per i dati pregressi , che vanno riconvertiti nel nuovo formato delle attuali versioni
altrimenti perdi tutto il passato

ok grazie Dolam. ma come li converto ?! Riesco a fare tutto con excel o c'è qualche tool apposito ? dove vedo il formato da utilizzare ?

annuncio

Raspberry , oltre il datalogger, gestione domotica della casa, è possibile? proposte e considerazioni varie.

Commenta

Commenta

Commenta

Commenta

Commenta

Commenta

Commenta

Commenta

Commenta

Commenta

Commenta

Commenta

Commenta

Commenta

Commenta

Commenta

Commenta

Commenta

Commenta

Commenta

Commenta

Commenta

Commenta

Commenta

Commenta

Commenta

Commenta

Commenta

Commenta

Commenta