Grafana

fraatti

Hyperaktiivi
  • Keskustelun aloittaja
  • #1
Tämä on tullut vastaan muutamassa paikassa ja tämä näyttää silmälle hyvältä. Olen tuossa jo pitkään miettinyt että tekisi mieli värkätä joku systeemi millä voisi näyttää tiettyä dataa. Data voisi olla peräisin vaikka netatmosta, eri sähkönkulutusmittareista, maalämpöpumpusta, ilmanvaihtokoneesta, 1-wirestä antureista jne...

Tässä esimerkkikuva Grafanasta.


Onko tätä porukalla käytössä? Toimiiko tuo mobiilisti myös? Tämä vaatinee jonkun tietokannan pyörimään taustalle? Vaatiiko itse grafana jonkun softan itse laitteeseen millä dataa katsotaan vain asennetaanko tuo grafana johonkin palvelimelle mistä sitä käytetään selaimen päällä?
 

fraatti

Hyperaktiivi
  • Keskustelun aloittaja
  • #3
Sama ollut mielessä, mutta tutustumisaste lähellä nollaa... tästä ketjusta semmonen Grafana for Dummies versio ;D
Tuo monella käytössä ollut talologgeri ei oo oikein itseä houkuttanut koska sen visuaalisuus on jo menneiltä vuosikymmeniltä. Samoin se vaatii usein paljon räkänäämistä linuxin terminaalissa yms muita scriptien säätämistä.

Se mitä noita videoita katselin nopeasti silmäilemällä niin tässä pystyy jotain kippuroita ja käppyröitä laittamaan tuohon näkymään ihan pelkästään hiirenkllikkauksilla.

Täytyy jatkaa asiaan tutustumista. Kaikki laitteetkin olisi jo valmiina. Tietokantaa olen ajatellut että se voisi pyöriä raspin sijasta Synologyn nassissa jossa data on edes peilattuna. Äkkiiähän siihen hommaisi myös upsin joka parantaisi vielä entisestään toimintavarmuutta. Tuohan monen harrastuksen lienee tappanut kun raspista on mennyt muistikortti solmuun missä on samalla hävinneet tietokannat yms...
 

repomies

Hyperaktiivi
Töissä on tullut käytettyä docker-containerissa ajettua grafanaa kubernetes-klusterissa prometheus-tietokannalla. Ehkä vähän overkill-ratkaisu useimmille kotihärvääjille, mutta etuna on se että tuommoinen k8s versio pomppaa pystyyn ilman erikoisempaa säätöä, mikäli sattuu jonkinlainen pyllähdys.

Talologgerin perustietokanta ei kestä isompia datamääriä. Noin muuten väittäisin sen olevan kuitenkin ehkä parempi moniin low-level juttuihin. Että jos pitää lukea sitä rs485-linkin yli kytkettyä modbusia sähkömittarilta, niin talologgeriin se menee aika heittämällä. Sinne prometheus-tietokantaan saman tekeminen vaatisi ehkä vähän enempi selvittelyä.
 

SJT

Jäsen
Itse olen käyttänyt Granfanaa Home Assistantin lisäosana, eli jos Home Assistant löytyy niin siitä on hyvin simppeli lähteä tuohon tutustumaan.
Grafana siis asennetaan esim. johonkin Linux tai vaikkapa Windows palvelimelle pyörimään ja sitten tietokanta on omanaan mistä Grafana hakee datan. Grafana tukee monia eri tietokantoja.
Talologgerista itellä menee MySQL kantaan ja se on tosiaan toivottoman hidas käyttää Grafanassa (tai sitten minulla on väärin rakennettu haut), toimii toki.
Home Assistantista taasen menee dataa InfluxDB kantaan mikä toimii Grafanan kautta todella sujuvasti. Valitettavasti Talologger ei tue InfluxDB: tä, joten olenkin miettinyt josko tuohon lähtisi rakentamaan yksinkertaista softaa mikä hakee anturien arvot lähinnä Modbus laitteista ja tallentaisi InfluxDB kantaan. Ei ole tullut tuohon InfluxDB kantaan vielä tarkemmin tutustuttua vaan.

Grafanan osalta tuosta vaan valitsemaan mihin alustaan haluaa asentaa, ohjeita löytyy hyvin:

Ja sitten InfluxDB esim:

Jos sattuu jokin Raspberry Pi lojumaan turhana niin tässä myös yksi ohje (en tutkinut tarkemmin meneekö varmasti kaikki oikein...)

Kun pääsee kirjautumaan grafanaan web selaimella niin lisätään tietokanta mistä dataa haetaan ja sitten vain aletaan muodostamaan noita graafisia näkymiä.
 

fraatti

Hyperaktiivi
  • Keskustelun aloittaja
  • #6
Töissä on tullut käytettyä docker-containerissa ajettua grafanaa kubernetes-klusterissa prometheus-tietokannalla. Ehkä vähän overkill-ratkaisu useimmille kotihärvääjille, mutta etuna on se että tuommoinen k8s versio pomppaa pystyyn ilman erikoisempaa säätöä, mikäli sattuu jonkinlainen pyllähdys.

Talologgerin perustietokanta ei kestä isompia datamääriä. Noin muuten väittäisin sen olevan kuitenkin ehkä parempi moniin low-level juttuihin. Että jos pitää lukea sitä rs485-linkin yli kytkettyä modbusia sähkömittarilta, niin talologgeriin se menee aika heittämällä. Sinne prometheus-tietokantaan saman tekeminen vaatisi ehkä vähän enempi selvittelyä.
Tietokantoja on useita erilaisia mm influxdb ja myös tuo prometheus on osunut silmiin jossain. Sitten on myös mysql ja tuossa synologyssa myös esim mariadb. Onko tuossa influxdb:ssa jotain spesiaali minkä takia kannattaisi lähteä heti siihen?

Tässä on mainittu että influxbd on #1 tietokanta aikasarjoissa. Soveltuuko se tuohon käyttöön paremmin esim juuri sen takia että on suunniteltu nimenomaan aikasarjoja varten?

Tästä voisi kuvitella että tuo pelaisi hyvin tälläisessä tarkoituksessa... :hmm:
InfluxDB is an open-source time series database (TSDB) developed by InfluxData. It is written in Go and optimized for fast, high-availability storage and retrieval of time series data in fields such as operations monitoring, application metrics, Internet of Things sensor data, and real-time analytics.
 

fraatti

Hyperaktiivi
  • Keskustelun aloittaja
  • #7
Itse olen käyttänyt Granfanaa Home Assistantin lisäosana, eli jos Home Assistant löytyy niin siitä on hyvin simppeli lähteä tuohon tutustumaan.
Grafana siis asennetaan esim. johonkin Linux tai vaikkapa Windows palvelimelle pyörimään ja sitten tietokanta on omanaan mistä Grafana hakee datan. Grafana tukee monia eri tietokantoja.
Talologgerista itellä menee MySQL kantaan ja se on tosiaan toivottoman hidas käyttää Grafanassa (tai sitten minulla on väärin rakennettu haut), toimii toki.
Home Assistantista taasen menee dataa InfluxDB kantaan mikä toimii Grafanan kautta todella sujuvasti. Valitettavasti Talologger ei tue InfluxDB: tä, joten olenkin miettinyt josko tuohon lähtisi rakentamaan yksinkertaista softaa mikä hakee anturien arvot lähinnä Modbus laitteista ja tallentaisi InfluxDB kantaan. Ei ole tullut tuohon InfluxDB kantaan vielä tarkemmin tutustuttua vaan.

Grafanan osalta tuosta vaan valitsemaan mihin alustaan haluaa asentaa, ohjeita löytyy hyvin:
https://grafana.com/grafana/download?platform=windows

Ja sitten InfluxDB esim:
https://docs.influxdata.com/influxdb/v1.8/introduction/install/

Jos sattuu jokin Raspberry Pi lojumaan turhana niin tässä myös yksi ohje (en tutkinut tarkemmin meneekö varmasti kaikki oikein...)
https://www.circuits.dk/install-grafana-influxdb-raspberry/

Kun pääsee kirjautumaan grafanaan web selaimella niin lisätään tietokanta mistä dataa haetaan ja sitten vain aletaan muodostamaan noita graafisia näkymiä.
Sellailen tuli vastaan että jotkut käyttävät talologgeria niin että suorittavat sen kautta vain kyselyitä. Tallentavat sitten datan muuten muualle. Onko kukaan kysynyt kehittäjältä tukea influxdb:lle ?

Loppuukohan tuosta raspista heti potku grafana käytössä?
 

pökö

Rele-aikakauden änkyrä
Töissä on tullut käytettyä docker-containerissa ajettua grafanaa kubernetes-klusterissa prometheus-tietokannalla. Ehkä vähän overkill-ratkaisu useimmille kotihärvääjille,
Minun kohdallani jo tässäkohtaa loppui ymmärrys, voi elämä kun pää ei ota vastaan tämmöisiä vaikka pitäisi kyllä:hmm:

Kyllä raudasta ja putkesta saa aikaan mitä vaan mutta nämä on hankalia juttuja kun ei ole ikinä kiinnostanut tarpeeksi.

Hattua nostan niille jotka näitä ymmärtää.
 

Espejot

Moderaattori
Ylläpidon jäsen
Minun kohdallani jo tässäkohtaa loppui ymmärrys, voi elämä kun pää ei ota vastaan tämmöisiä vaikka pitäisi kyllä:hmm:

Kyllä raudasta ja putkesta saa aikaan mitä vaan mutta nämä on hankalia juttuja kun ei ole ikinä kiinnostanut tarpeeksi.

Hattua nostan niille jotka näitä ymmärtää.
Juu kaveri on ihastunut noihin dockerihin :) Siltä aina kysyn mitä kannattaa asentaa ja aina se on jotakin mitä täytyy kirjoitaa komentoriville. Sitten jo se innostuu niin se tekee asennus scriptin ja minä testaan sitä.
 

VesA

Moderaattori
Ylläpidon jäsen
Juu kaveri on ihastunut noihin dockerihin :) Siltä aina kysyn mitä kannattaa asentaa ja aina se on jotakin mitä täytyy kirjoitaa komentoriville. Sitten jo se innostuu niin se tekee asennus scriptin ja minä testaan sitä.
ne on ihan kivoja niin kauan kuin se valmis paketti suunnilleen kelpaa, mutta vähän nyt sitten tekotavasta riippuen kontin järkevä modaaminen voi sitten olla aikamoisen opettelun takana jos se valmis kontti vaan tipahtaa jostain.
 

VesA

Moderaattori
Ylläpidon jäsen

fraatti

Hyperaktiivi
Niinhän sitä löytyi emmeet vielä tuolta kaapinpohjalta kun vähän pöyhäs. Täytyyköhän sitä aloittaa virittäminen... mikä julkaisu tuonne raspiin kannattaa iskeä? Tuo näytti olevan V3.
 

SJT

Jäsen
Kaippa se Rasbian Buster Lite lienee hyvä, eipä ole raspien kanssa muuta tullut käytettyä ite:

Ja SSH heti alkuun päälle ja puttyllä yhteys jotta pääsee hommassa eteenpäin:

Onko Debian ja komennot mitenkä hallussa?
 

fraatti

Hyperaktiivi
Kaippa se Rasbian Buster Lite lienee hyvä, eipä ole raspien kanssa muuta tullut käytettyä ite:

Ja SSH heti alkuun päälle ja puttyllä yhteys jotta pääsee hommassa eteenpäin:

Onko Debian ja komennot mitenkä hallussa?
Kyllä se sinne PiDrivelle mennä napsahti... kai tuo WD-kiintolevy lienee parempi vaihtoehto kuin sd-kortti?

Vähän on heikosti komennot tuttuja, sen verran harvoin on tarvinnut tehdä linuxissa mitään.
 

kuumitta

Jäsen
Jos joku nyhertää niin muistiinpanot voisi laittaa esille. Noita maailmalla yleensä olevia paketteja kun katsoo, niin nuo tuntuvat keskittyvän enmmän valojen vilkutteluun kotiautomaation puolella.
 

fraatti

Hyperaktiivi
Jos joku nyhertää niin muistiinpanot voisi laittaa esille. Noita maailmalla yleensä olevia paketteja kun katsoo, niin nuo tuntuvat keskittyvän enmmän valojen vilkutteluun kotiautomaation puolella.
Voisin varmaan tehdä ohjeen kun saan vaan tuon oman laitteen tulille. Kokemus on nolla raspista aikaisemmin mutta eiköhän tuosta saisi jotain viritelty kasaan. Ja ohjetta voi sitten päivittää sitä mukaa kun uusia asioita tulee esille.

Yksi esille tullut asia monessa paikkaa on sd-kortin tuhoutuminen. Lienee siis järkevämpi asentaa tuo joka kerta johonkin muualle kuin sd-kortille jos lopputulema on aina se että kortti on kaput? Ainakin raspi 3.x versiot tukevat usb käynnistystä. Nelosessa oli joku maininta että tulee softapäivityksen myötä mutta joskus saattaa olla että eksyt alkuun liian vanhojen dokumenttien joukkoon.

Talologgerista vielä, sinne on valmiiksi ympätty paljon kamaa mikä puoltaisi tuon käyttöä ja pikaisesti katsomalla asetusten tekeminenkin voisi olla helppoa jos ne on nyt jo helposti yhdessä paikassa. Pitäisiköhän kehittäjältä kysyä tukea influxdb:lle? Jos tuo lähtee rullaamaan niin voisin itse värkätä tukea viessmannin mlp/vilpille ja Froniuksen invertterille/smart meterille. Kaikki on kuitenkin jo netissä tehtynä valmiiksi jos ne vain saa yhteen pakettiin.
 

puuteknikko

Aktiivinen jäsen
Yksi esille tullut asia monessa paikkaa on sd-kortin tuhoutuminen. Lienee siis järkevämpi asentaa tuo joka kerta johonkin muualle kuin sd-kortille jos lopputulema on aina se että kortti on kaput? Ainakin raspi 3.x versiot tukevat usb käynnistystä. Nelosessa oli joku maininta että tulee softapäivityksen myötä mutta joskus saattaa olla että eksyt alkuun liian vanhojen dokumenttien joukkoon.
Jos on enemmän kiinnostusta virittelyyn ja talon laitteet on samassa lähiverkossa, voi InfluxDB:n ja Grafanan asentaa muuallekin kuin tiedot keräävälle RasPille. Itsellä on 3B+ keräilemässä ruuvitageista tiedot ja se kirjoittelee ne 24/7 päällä olevan PC:n uumeniin verkon yli. Dy.fi-palvelun avulla voi sitten katsella graafeja mistä tahansa internetin yli.
 

VesA

Moderaattori
Ylläpidon jäsen
Yksi esille tullut asia monessa paikkaa on sd-kortin tuhoutuminen. Lienee siis järkevämpi asentaa tuo joka kerta johonkin muualle kuin sd-kortille jos lopputulema on aina se että kortti on kaput? Ainakin raspi 3.x versiot tukevat usb käynnistystä. Nelosessa oli joku maininta että tulee softapäivityksen myötä mutta joskus saattaa olla että eksyt alkuun liian vanhojen dokumenttien joukkoon.
Eise USB-käynnistys lopulta ole niin tarpeen kunhan kaikki mitä kirjoitetaan usein on sillä USB-levyllä. Niinkuin aktiiviset lokit ja tietokannat. Noin ainoa Raspi jossa on tässä suhteessa suorituskykyä taitaa olla 4. Muissa kaikki IO on yhden USB2-reiän takana - myös ethernet. 4:ssa on USB3.

Nelosesta oli jotain juttua että vanhat konstit USBille eivät ihan päde, mutta itse kyllä pitäisin muutenkin käyttiksen eri levyllä - joka voi olla vaikka se SD ihan hyvin.
 

repomies

Hyperaktiivi
Raspin usbibootti on ollut omassa hyvin epävarma. Virta ei vissiin riitä ssd-levylle bootissa.

Sd-kortilta boottaus on se virallinen tuettu tapa. Sitä suosittelen. Tietokannat sitten ssd-levylle samoin logit. Ylenpalttinen logitus on syytä poistaa sieltäkin.
 

HotZone

Aktiivinen jäsen
Alkuperäiseen kysymykseen...
Grafana on raportointijärjestelmä mikä pyörii jossain. Itellä on asennettuna PC:lle mutta yhtä hyvin sen saa Linuxiin ja jo edellä kerrottuna myös conttina Dockerin päälle. Grafanan käyttö tapahtuu selaimella. ite käytän Operaa ja Firefoxia. portti 3000.

Omassa setissä kerään ilmanvaihdon ohjauksesta dataa 10min välein MariaDB (MySQL ilmaisversio) kantaan mikä pyöriin NASissa.
Grafana hakee datat tuolta.
Luultavasti siirrän grafanan NASille pörimään Dockerin päällä mutta koska kyse on raportointijärjestelmästä, sen ei edes ole tarvis olla päällä jatkuvasti joten aika sama pyörisi PC:llä. NASissa pyöriessään raportteja voisi kyllä lukea myös tabletilla.

Jos siis kotona surraa NASsi niin sekin käy kodiksi vähän kaikelle. Kannattaa keskittää asiat tietokantaan. Sitä on helppo monitoroida ja sieltä osaa kaikenlaiset muut systeemit hakea dataa. RAID1 (tai parempi) NAS on sikäli hyvä ajoalusta että ympäristö on valmiiksi tehty stabiiliki ja levyjen kahdennus ei vaadi juurikaan konfailua.

Omassa systeemissä datan kirjoittelee MariaDB kantaan NodeMCU (ESP8266). Ei siihen Raspia välttämättä tarvita. NodeMCU saa datan sarjaportista Arduinolta. Tämä siksi koska Arduino on kaikkein vakain ohjaamaan ilmanvaihtoa. NodeMCU taas maksaa pari euroa eikä tarvitse päivityksiä tms. kuten Raspi. Väsään kyllä Raspi pohjaista serveriä johon MariaDB varmaan siirtyy. Siihen tulee oletetettavasti 4 levyn systeemi ja akkuvarmennettu poweri. Vaatinee silti Arduinon (tai NodeMCU) seuraamaan että Raspi pysyy elossa. MQTT on myös tulossa kuvioon mukaan. Sitä varten Mosquitto rullaa jo Dockerin päällä NASissa.

Grafanlla on näppärä katsella miten ilmanvaihto tai vaikkapa ulkolämpötila on vaihdellut.
Itellä oli muutama ongelma grafanan konffamisessa. Kellon aika oli oletuksena metsässä. Sitä sai sitten hetken ihmetellä. VIelä on sellainen ongelma että grafana ei näytä viimeistä kahta tuntia kannasta millään formaatilla. Liekö sillä jotain tekemistä aikavyöhyke tms. asian kanssa.
 

roots

Vakionaama
Alkuperäiseen kysymykseen...
Grafana on raportointijärjestelmä mikä pyörii jossain. Itellä on asennettuna PC:lle mutta yhtä hyvin sen saa Linuxiin ja jo edellä kerrottuna myös conttina Dockerin päälle. Grafanan käyttö tapahtuu selaimella. ite käytän Operaa ja Firefoxia. portti 3000.

Omassa setissä kerään ilmanvaihdon ohjauksesta dataa 10min välein MariaDB (MySQL ilmaisversio) kantaan mikä pyöriin NASissa.
Grafana hakee datat tuolta.
Luultavasti siirrän grafanan NASille pörimään Dockerin päällä mutta koska kyse on raportointijärjestelmästä, sen ei edes ole tarvis olla päällä jatkuvasti joten aika sama pyörisi PC:llä. NASissa pyöriessään raportteja voisi kyllä lukea myös tabletilla.

Jos siis kotona surraa NASsi niin sekin käy kodiksi vähän kaikelle. Kannattaa keskittää asiat tietokantaan. Sitä on helppo monitoroida ja sieltä osaa kaikenlaiset muut systeemit hakea dataa. RAID1 (tai parempi) NAS on sikäli hyvä ajoalusta että ympäristö on valmiiksi tehty stabiiliki ja levyjen kahdennus ei vaadi juurikaan konfailua.

Omassa systeemissä datan kirjoittelee MariaDB kantaan NodeMCU (ESP8266). Ei siihen Raspia välttämättä tarvita. NodeMCU saa datan sarjaportista Arduinolta. Tämä siksi koska Arduino on kaikkein vakain ohjaamaan ilmanvaihtoa. NodeMCU taas maksaa pari euroa eikä tarvitse päivityksiä tms. kuten Raspi. Väsään kyllä Raspi pohjaista serveriä johon MariaDB varmaan siirtyy. Siihen tulee oletetettavasti 4 levyn systeemi ja akkuvarmennettu poweri. Vaatinee silti Arduinon (tai NodeMCU) seuraamaan että Raspi pysyy elossa. MQTT on myös tulossa kuvioon mukaan. Sitä varten Mosquitto rullaa jo Dockerin päällä NASissa.

Grafanlla on näppärä katsella miten ilmanvaihto tai vaikkapa ulkolämpötila on vaihdellut.
Itellä oli muutama ongelma grafanan konffamisessa. Kellon aika oli oletuksena metsässä. Sitä sai sitten hetken ihmetellä. VIelä on sellainen ongelma että grafana ei näytä viimeistä kahta tuntia kannasta millään formaatilla. Liekö sillä jotain tekemistä aikavyöhyke tms. asian kanssa.
Mikä NASsissa sulla nuo pyörii?
Ite "hajattelin" tunkee Synologyyn...
 

korsteeni

Aktiivinen jäsen
Vuodenvaihteessa tein homeassistantilla kuvankaltaisen seuranna yhteen offgridiin
Kokeilin myös grafanaa siihen, mutta muuttui aikalailla tahmeammaksi raspilla, sd kortilla, siellä pyörii myös hyttynen ja homeassistant dockerin containerissa, talologger ja vähän muuta

Kaikista arvoista avautuu graafi klickaamalla
Grafanalla saisi kyllä värikkäämmän mutta ei se tuottoa lisää......no jotkut kiillottavat autonsa moottorinkin vaikkei se tehoa lisää
 

Liitteet

Viimeksi muokattu:

HotZone

Aktiivinen jäsen
Mikä NASsissa sulla nuo pyörii?
Ite "hajattelin" tunkee Synologyyn...
Asustoreja minulla on pari kappaletta. Synologyyn saa paremmin appeja ja sille on enemmän ohjeita tuubissa. Asensin Mosquiton Synologyyn tehdyn ohjeen mukaan. Sikäli eroa ei ole kun Msoquitto pyörii Dockerin päällä ja se taas on sama, oli pohjalla mitä tahansa.

Luultavasti Synologissakin on "Services" ikoni tms. Sen altaa uskoisin löytyvän MariaDB suoraan ilman asentamista. Sitten vaan asennat NASsiin phpMyAdmin apin millä pääset helposti katselemaan kannan sisältöä ja luomaan taulut. phpMYAdmin käyttöliittymä toimii selaimella.
Sitten kannattaa aktivoida SSH jotta pääsee Linux komentoriville. Ite käytän Putty:ä PCssä.

Kuinkas turvallinen muutes tuo Homeassistant on?
 

tet

Vakionaama
Tietokantoja on useita erilaisia mm influxdb ja myös tuo prometheus on osunut silmiin jossain. Sitten on myös mysql ja tuossa synologyssa myös esim mariadb. Onko tuossa influxdb:ssa jotain spesiaali minkä takia kannattaisi lähteä heti siihen?
Minulla on pyörinyt taloautomaation historiat Grafana + InfluxDB yhdistelmällä jo muutaman vuoden. Siinä missä esim. MariaDB on normaali relaatiokanta, InfluxDB on aikasarjatietokanta, eli tarkoitettu nimenomaan aikaleimatun datan tallennukseen. Ero oletettavasti näkyy tehossa, se käsittääkseni pystyy käsittelemään paljon enemmän dataa samantehoisessa ympäristössä, verrattuna normaaliin relaatiokantaan. En tiedä, onko siitä hirveästi muuta etua, eli kotikäytössä varmaan aika yksi lysti, kumman valitsee. Relaatiokanta tosin mahdollistanee paremmat hakutoiminnot, eli esim. laskennallisten mittausten teko sujuisi varmaan helpommin sillä. InfluxDB:n kanssa laskennalliset asiat on melkeinpä tehtävä niin, että haetaan data, lasketaan se jossain muualla, ja tallennetaan takaisin kantaan. Relaatiokanta pystyy varmaan paremmin tekemään tuon yhdellä SQL-lauseella.

Itselläni Grafana pyörii vuokratussa kotisivupalvelimessa pilvessä (Linux virtuaalipalvelin). InfluxDB taas pyörii kotona taloautomaatiopalvelimessa. Tämä ratkaisu tuli alunperin siksi, että taloautomaatio pyöri aiemmin 32-bittisessä ympäristössä. Grafanasta taas ei löytynyt valmiiksi käännettyä 32-bittistä versiota, enkä viitsinyt alkaa edes tutkimaan, saisiko sen jotenkin itse käännettyä siihen, joten asensin sen 64-bittiseen pilvipalvelimeen. InfluxDB taas meni sujuvasti 32-bittiseen linukkaan, joten laitoin sen kotikoneeseen. Nyttemmin kotikonekin on vaihtunut 64-bittiseen, mutta en ole viitsinyt tätä jakoa lähteä muklaamaan. Onhan tuossa pieni tietoturvariski, kun pitää olla tietokantapääsy netistä kotikoneeseen päin. Saisihan senkin varmaan helposti ssh:lla suojattua, täytyy katsella kunhan jaksaa/ehtii...
 

repomies

Hyperaktiivi
Jos dataa tulee paljon ja haut ovat aikaväleiltä, niin suosiolla joku TSDB eikä mikään relaatiokanta. TSDB on optimoitu noihin aikasarjojen hakuihin, relaatiokannan kanssa käy kuten nyt noiden talologgerien kanssa monet on havainneet. Tukkoon menee ajallaan, ja siinä kohtaa sitten harmittaa.
 

VesA

Moderaattori
Ylläpidon jäsen
Jos dataa tulee paljon ja haut ovat aikaväleiltä, niin suosiolla joku TSDB eikä mikään relaatiokanta. TSDB on optimoitu noihin aikasarjojen hakuihin, relaatiokannan kanssa käy kuten nyt noiden talologgerien kanssa monet on havainneet. Tukkoon menee ajallaan, ja siinä kohtaa sitten harmittaa.
Relaatiokannat pelaavat lähinnä erilaisten indeksien varassa, jos vaan haluaa piirrellä käyriä niin aikasarja on poikaa. Indekseissä on se ongelma että jos kovasti indeksoi niin indeksit voivat äkkiä vaatia enemmän tilaa kuin itse kanta .. ja jotta relaatiokanta olisi oikeasti nopea ainakin indeksien pitää mahtua muistiin - ei oikein raspille sopivia ehtoja. Muutenkin oikeasti hyvien indeksien teko on välillä lähellä noituutta - voi olla että joku mysli/mariadbguru saisi talologgerinkin vähän paremmaksi.
 

korsteeni

Aktiivinen jäsen
Ahvenistolla Keke Roosbergia siteeraten Hondan ruorissa "näillä alitehoisilla autoilla ei voi ajaa"
Lopetin raspilla pelleilyt 2014, se on erittäin hyvä kokeiluihin ja siihen on paljon, ehkä eniten kaikkea valmiina
Nyt on pyörinyt rockpi 4 b 4 vuoden verran, ei tarvitse sd korttia, M.2 ssd levyllä toimii kuin se kuuluisa junan vessa ja tehot riittää
Toimii suoraan 5V -20V
IMG_20200523_114735.jpg
 

HotZone

Aktiivinen jäsen
Olen jonkin verran eri mieltä relaatiokannan soveltuvuudesta. Hitaisiin systeemehin missä dataa insertoidaan vaikkapa 10min välein, relaatiokanta toimii varsin hyvin. grafana sivun haku NASilla (celeron) pyörivästä kanasta (mariaDB) ja prosessointi PCssä pyörivässä grafanassa ja sivun avaaaminen samassa koneessa pyörivällä selaimella kestää alle sekunnin. Dataa on tosin vasta 10k riviä. Ei tunnu vaikuttavan nopeuteen hakeeko grafana päivän vai parin kuukauden datat.
Indeksit ei ole käytössä. Jos aikakentän mukaan indeksoisi, niin ei se juuri mitään tilaa vie.
Hyvä puoli on se että samaan kantaan saa myös konfiksen ja pystyy vielä versioimaan helposti niin että on helppo myöhemmin yhdistää millä konfiksella kukin kannan mittausrivi on tuotettu.

Tapoja on monia mutta kyllä relaatiokantoja käytetään hyvin järeissä mittausdatan tallennuksissa. Esimerkiksi sellaisissa missä mittausdataa tulee 10M riviä tunnissa ja kannassa pidetään puolen vuoden data. Paljon on kiinni siitä miten dataa halutaan hakea.
Ainahan voi käyttää vaikka Prometheusta jos pitää tallentaa erittäin nopeasti aikasarjadataa. Sekin on avointa softaa.

Ajoin testin missä hain 10k riviä sisältävästi kannasta n.10 viimeisen päivän datat => 1383 total, Query took 0.0271 seconds ja sortattuna ajan mukaan => 1384 total, Query took 0.0329 seconds.
Koitin myös niin että haki kaiken datan enne tuota samaista 10 päivää sitten ollut hetkeä => 8697 total, Query took 0.0011 seconds ja tämä sortattuna ajan mukaan 8697 total, Query took 0.0419 seconds

En nyt sanoisi tuota mitenkään hitaaksi ja tämä ilman indeksointia ja tosiaan pyörii halvassa NASissa. Vaikka hidastuisi kymmenesosaan, ei tuota silti ehtisi huomata. Viiveet tulee muusta prosessoinnista. Ajoaika tietysti kasvaa kun dataa alkaa olla niin paljon ettei mahdu mitenkään muistiin. Silloin ajan mukaan tehty indeksointi nopeuttaa paljon. Sama hidastuminen tapahtuu myös Prometheukselle ja muille aikasarjakannoille kun datan määrä kasvaa. Niissä data on yhtälailla tiedostoissa.
 

repomies

Hyperaktiivi
Itse loggasin Talologgerilla sekuntin välein. Talologgerin käyttämästä tietokantarakenteesta johtuen rivien määrä kasvaa logattujen muuttujien määrän mukaan per rundi. Ei kestänyt kovin pitkään että raspi oli kyykyssä, taisi olla alle miljoonan rivin jo. Tottakai tietokannassa vaikuttaa muukin. Loggerin peruskanta on kai sqlite ja se ei kestä rivien määrän kasvua pitkään.
 

HotZone

Aktiivinen jäsen
Mihin _tarvit_ sekunnin välein olevaa dataa talotekniikasta? Siis ihan oikeasti.

Painottaisin ainakin 40 vuotta vanhaa sanontaa "turha tarkkuus on teknistä tietämättömyyttä" :cool:

Ite suunnittelin objektimallin niin että samalle riville tuli kaikki laskurit. Ei ole mitään järkeä tallentaa omiin riveihin jokaista laskuria jos keräysintervalli on sama.
 

VesA

Moderaattori
Ylläpidon jäsen
Ei näitä juttuja voi niputtaa.. aikasarjakannat keräävät useimmiten lokidataa useammasta lähteestä ja data on sekavampaa, aikajärjestys on se yhteinen tekijä ja ajan asettaa se systeemi joka lokirivin lähettää. Nopea data on relaatiokannassa aina joko kantakoneen tai sovelluspään muistissa - ei levyltä sieltätäältä nopeasti saa mitään vaikka olisi ne indeksitkin, ssd toki auttaa. Yhdessä paikassa jouduttiin laittamaan Oraclen kannalle muistia niin että piisaa (3TB) koska SAN ei ollut tarpeeksi nopea ja alkoi sortua kuorman alle. Systeemin lämmittely kesti aikansa jos koneet oli jostain syystä sammutettu, käyttäjiä ei voinut päästää sisään ennekuin tarpeeksi dataa oli muistissa.
 

HotZone

Aktiivinen jäsen
En silti vieläkään ymmärrä mihin talotiedonkeruussa tarvitaan sekunnin välin dataa paitti jos kyseessä on joki nopea takaisinkytkentä mutta miksi silloin pitäisi dataa säilöä. No joo, voihan asioita testailla ja kokeilla :rolleyes:
Mutta se on tautisen tosi että lelut tarpeen mukaan.
 

repomies

Hyperaktiivi
En minä tarvitse koko loggausdataa mihinkään tällä haavaa, siksipä otin sen pois käytöstä. Kuitenkin jos vehjes kajahtaa käytettävyydeltään ikävän hitaaksi kahdessa kuukaudessa, niin eipä loggausintervallin lyhentäminen kymmenesosaan tee muuta kuin siirtää ongelman ilmaantumista eteenpäin reilulla vuodella.

Pidän ratkaisua teknisesti huonosti valittuna, jos se ei kestä käytettävyyden kärsimättä laitteen odotettavissa olevaa elinikää, joka tämmöisissä talotekniikan jutuissa saisi lähestyä kahtakymmentä vuotta. On se jotenkin amatöörimäistä että tuunataan loggausta todella hitaaksi, kun ratkaisu ei kestä rivien määrää vaikka tilaa niille riveille riittäisi helposti. Tässä nyt kuitenkin on mahdollista valita ratkaisu myös niin, että mitään eksponentiaalisen oloista hidastumista ei tapahdu.

Loggasin kaikkia maalämpöpumpun parametreja, sekä sähkömittarista sen mitä siitä löytyy. Muuttujia oli paljon. Ongelmatilanteita selvittäessä olisi kiva nähdä ihan sekuntilleen mitä siellä kuumakaasun lämpötiloissa tapahtui. Joku minuutin resoluutio ei välttämättä kerro koko totuutta. Minuutissa ehtii tapahtua paljon.
 

VesA

Moderaattori
Ylläpidon jäsen
En silti vieläkään ymmärrä mihin talotiedonkeruussa tarvitaan sekunnin välin dataa paitti jos kyseessä on joki nopea takaisinkytkentä mutta miksi silloin pitäisi dataa säilöä. No joo, voihan asioita testailla ja kokeilla :rolleyes:
Mutta se on tautisen tosi että lelut tarpeen mukaan.
No se näissä systeemeissä usein kyllä on ettei sitä dataa oikeasti ole saatavilla kuin jollain kohteen määräämällä tahdilla - vaikka sieltä ne numerot voikin lukea vaikka kuinka usein - sieltä saa kysyttäessä sen saman datan vaan uudelleen ja ad-muunnoksia tehdään ohjaimen omaan tahtiin. Ei siellä ole vääntöä kovin kiihkeään mittaustoimintaan. Olikohan owfs samanlainen - onewire on vähän hidas ja owfs palauttaa muistista niitä arvoja käymättä samaan tahtiin väylällä, jonnekin voi sitten parametroida kuinka sen cache käyttäytyy.

Pitääkin jossain välissä vähän leikkiä tuolla raspilla eri kantojen kanssa.
 

HotZone

Aktiivinen jäsen
... Loggasin kaikkia maalämpöpumpun parametreja, sekä sähkömittarista sen mitä siitä löytyy. Muuttujia oli paljon. Ongelmatilanteita selvittäessä olisi kiva nähdä ihan sekuntilleen mitä siellä kuumakaasun lämpötiloissa tapahtui. Joku minuutin resoluutio ei välttämättä kerro koko totuutta. Minuutissa ehtii tapahtua paljon.
Nyt ymmärrän. Tuo oli troubleshootingia varten. Mutta eikö silloin voisi ajatella että dataa kerätään sekunnin välein talteen rengaspuskuriratkaisuun missä ylikirjoitus vaikka parin päivän jälkeen (puskurin koko). jotenkin tulisi mieleen eka miettiä user stoorien avulla mitä oikeasti tarvitaan ja mihin käyttöön. Jos systeemille tulee hikka niin sitten pusrkuri talteen ja anasoimaan missä oli villakoiran ydin.
Kyseenalaistan trouble shoottausdatan säilömistä pitkältä ajalta milloin ei mitään vikaa ollut.
Minusta Raspin kyykkääminen tiedon tallennuksessa ei tämän tiedon valossa ollut mitenkään rasbin tai kannan vika vaan virheellisen user stoorin.


Korsteenin rockpi 4 alkoi kiinnostaa. Niisstä taitaa olla ika järeä prossu ja laajempi IO.
Kuinka hyvin niille löytyy softaa ja toimiiko samanlainen asennustapa kuin Raspilla vai pitääkö käsin asentaa jokainen pulikka? Ei sekään mikään ongelma tietysti ole.
 
Ylös Bottom