Systém pro zpracování meteorologických dat

Vše o provozování elektronických amatérských meteostanic.

Moderátor: Moderátoři

Odpovědět
mjank
Příspěvky: 35
Registrován: 31 kvě 2005, 16:01
Bydliště: Skorkovského 31, Brno-Židenice
Kontaktovat uživatele:

Systém pro zpracování meteorologických dat

Příspěvek od mjank »

Zdravím všechny meteorology.
Chtěl bych zde na tomto fóru rozběhnout malou diskuzi o meteorologických datech a jejich zpracování.

Za dobu co provozuji meteorologické stanice jsem již vystřídal celou řadu meteorologických stanic, a tím také celou řadu různých způsobů záznamu a vyhodnocování dat. Každý software, každá meteorologická stanice zaznamenává a vyhodnocuje data trochu jinak. Většinou to stejně nakonec dopadne tak, že si každý vyhodnocuje data svým způsobem za pomocí Excelu, či jiného kancelářského nástroje. Čím déle data zaznamenáváme, tím více z nich lze vyčíst a získat dalších doplňujících informací - lze generovat přesnější statistiky, lepší grafy, sledovat různé vývojové trendy, či opakující se jevy. Bohužel s narůstajícím datovým objemem začíná být také stále složitější získávání informací z něj. Na základní jednoduché statistiky stačí Excel či software meteo stanice, na ty zajímavější a složitější však tyto nástroje nedostačují, či je jejich použití značně složité.

Druhou oblastí, která je zcela jistě zajímavá je webová prezentace meteorologických dat. Ať již se jedná o aktuální informace, či různé historické rekordy, přehledy a podobně. Zde je situace se softwarem ještě horší. Většina meteorologických stanic má ve výbavě pouze velmi jednoduchý program, který umí základní prezentaci aktuálních dat (často pouze za pomoci obrázků).

Systém pro zpracování meteorologických dat
Napadlo mne, že by bylo zajímavé a přínosné vytvořit takový malý informační systém, který by sloužit meteorologům pro zpracování, uchování a prezentaci dat. Obsahoval by množství statistik, grafů a přehledů, umožňoval by porovnání s ostatními stanicemi, sledování zajímavých meteorologických trendů v rámci větších územních oblastí či jiné zajímavé funkce.

Pár otázek o zpracování meteorologických dat.
1) Myslíte si že by byl podobný systém užitečný, že byste se do něj zapojili, či jej i jiným způsobem podpořili?
2) Jaké nástroje používáte pro uchovávání dat? data v softwaru stanice, vlastní tabulky v Excelu, jiný způsob
3) Jaké nástroje používáte pro generování statistik, přehledů, grafů - software dodaný ke stanici, kancelářský nástroj Excel, jiný způsob
4) Prezentujete své aktuální informace o počasí či jiné informace na internetu? Popřípadě jakým způsobem?
5) Vyhovuje Vám váš současný způsob archivace dat, zpracování a prezentace na internetu nebo hledáte jiný lepší?
lamal
Příspěvky: 13
Registrován: 07 lis 2009, 09:37

Re: Systém pro zpracování meteorologických dat

Příspěvek od lamal »

Zdravím všechny, docela zajímavé téma a proto zde písnu jen pár řádků .
Protože, zatím nemám své webové stránky, ale budu na nich pracovat, tak nemohu posoudit tenhle dotaz, ale podle mého úsudku co jsem se díval, tak dodávaný software ke stanici třeba WS je sice jednoduchý, ale jeho obsah možnosti zobrazení hodnot jsou na spodní hranici stupnice. Něco jiného je placená verze WD tam už se dá dobře vyřádit a nastavovat různé hodnoty, které se mají zobrazovat. Ale chce to větší dávku znalostí a zkušeností jelikož je program v Ang. jazyku. Sice jsem našel jak píše na tomhle fóru Jirka z Počátek překlad, ale vše přeložit nejde nebo máte někdo překlad o něco lepší?
Zaujal mě ještě jeden dotaz a to ,,Jaké nástroje používáte pro uchovávání dat? ,,
Data která stanice vyhodnotí a uloží se do text. dokumentu zkopíruji do exelu, kde je dále zpracovávám. Mám udělané různé podmínky, vzorečky, grafy a barevně odstupňované hodnoty provázané do všech listů. Protože data do exelu zaznamenávám již nějaký ten rok, tak se data hromadí a samotný sešit počasí má již několik mega tak jeho otevření je čím dál tím časově delší. Psal jsem i na informace na CHMU jestli by bylo možné poskytnout nějaký beta program popř. základní pro zpracování meteo údajů, ale bylo mě odepsáno, že program je chráněný autorským právem a i jeho ořezaná verze nejde poskytnout. Bylo mě nabídnuto pouze pro záznam malý bloček pro ruční zápis naměřených dat a to taky jen jeden list.
Pokud někdo z Vás kolegové je natolik zručný a pokusil by se vytvořit nějaký nenáročný program pro zpracování meteo hodnot něco na způsobu pouze příklad viz odkaz: http://www.adamek.cz/sw/ucto/ jsou tam i zobrazení grafů a různé statistiky, byl bych ochotný na vývoj takového programu jeho tvůrci finančně přispět rozumnou částkou.
Tohle téma určitě nebude konečné a bude tu více názorů a zkušeností od ostatních členů.

Těším se na další odpovědi a komentáře mějte se fajn. :)
Uživatelský avatar
Tomáš Prouza
AMS
Příspěvky: 2349
Registrován: 22 kvě 2005, 17:45
Meteostanice: Davis Vantage Pro 2
Bydliště: Velké Svatoňovice, okr. Trutnov, 370 m n.m.
Kontaktovat uživatele:

Re: Systém pro zpracování meteorologických dat

Příspěvek od Tomáš Prouza »

Docela zajímavé téma, tož se pokusím odpovědět na položené otázky:

1. Určitě by se případný systém využil, zvlášť když by dokázal sjednotit výstupní formát dat do jednoho - dnes každý publikuje snad v desítkách možných formátů, se sebou často nekompatibilných (nepočítám-li Excel). Jak se zapojit to netuším, protože programátor já rozhodně nejsem - maximálně jako tester už vytvářeného produktu...

2. Od začátku měření s Davis VP2 používám ke zpracování dat Weather Display a zároveň pokračuji v záznamu do Excelu, průměrné hodnoty používám jak SW generované, tak počítané ručně zvlášť tam, kde je SW neumí vytvořit.

3. Všechno v Excelu, ačkoliv WD leccos umí, ale graficky to není pro laika tak přehledné.

4. Ano. Online data výstupem Weather Display Live http://meteosvatonovice.unas.cz/meteo/, archivní data a ostatní statistiky roztříděné do kategorií na webu http://www.meteosvatonovice.unas.cz/. Používám Excelové sešity s datovým obsahem i grafickým zobrazením dohromady, protože to uživatelům umožňuje s daty dál samostatně pracovat.

5. Online prezentace je OK a dostačující. Databáze v Excelu také (nemá podle mne smysl sdílet ohromné množství dat minutových měření, možná kromě nějakých extrémních událostí). Uvítal bych aplikaci, která by dokázala vytvářet grafické zobrazení vybraných hodnot s ohledem na jejich přehlednost (tady už Excel pokulhává občas) a možnost jejich exportu buď jako obrázku, nebo pdf dokumentu.
Online data z Velkých Svatoňovic
Chcete se bavit o počasí online? Připojte se na Discord server AMS - pozvánka https://discord.gg/GrG6vdezug
Tom
Příspěvky: 2040
Registrován: 20 led 2008, 17:26
Meteostanice: Davis Vantage Pro2
Bydliště: Holasice okres Brno-venkov 196 m.n.m
Kontaktovat uživatele:

Re: Systém pro zpracování meteorologických dat

Příspěvek od Tom »

S tím sjednocením to asi nebude jednoduché každý používá něco buď své nebo koupené já tedy v excelu nic nevedu na to jsem líný....
já mám archiv dat zde: http://www.pocasiholasice.euweb.cz/jinak další data odesílám zde:http://www.wunderground.com/weatherstat ... =IHOLASIC2
jednotný systém amatérské meteorologie už existu jedná se tedy ale jen o měsíční statistiky průměrná teplota a srážky:http://www.pocasi-volary.cz/volary/stations/index.php
mjank
Příspěvky: 35
Registrován: 31 kvě 2005, 16:01
Bydliště: Skorkovského 31, Brno-Židenice
Kontaktovat uživatele:

Re: Systém pro zpracování meteorologických dat

Příspěvek od mjank »

lamal píše:
Data která stanice vyhodnotí a uloží se do text. dokumentu zkopíruji do exelu, kde je dále zpracovávám. Mám udělané různé podmínky, vzorečky, grafy a barevně odstupňované hodnoty provázané do všech listů. Protože data do exelu zaznamenávám již nějaký ten rok, tak se data hromadí a samotný sešit počasí má již několik mega tak jeho otevření je čím dál tím časově delší.
Sám také vedu všechny záznamy v Excelu již od roku 1992. Excel je vhodný nástroj pro uchovávání dat a je také uživatelsky přívětivý pro zpracování dat (snad každý v něm umí vytvořit graf, vypočítat jednoduché statistiky jako je průměr, počet tropických dní v roce apod). Díky tomu je Excel tak oblíbený.
Už hůř v něm jde filtrovat data - například vybrat si 10 nejchladnějších dní v lednu, najít dny v zimě kdy teplota překročila 15°C, najít všechny arktické dny v záznamech, spočítat různé meteorologické charakteristiky zvlášť v každém ročním období (jaro, léto, podzim, zima) a další. Pro tyto účely je Excel také možno použít, ale už rozsah vzorců a náročnost všech výpočtů velmi rychle narůstá a záznamy začínají vypadat tak že malý vzorek dat je obklopený velkou sadou vzorců, podmínek, filtrů a pomocných dat

A právě toto by mělo být hlavním zaměřením celého systému - oddělit data z měření od všemožných vzorců, filtrů a výpočtů. Umožnit jednoduché vyhledávání v nich, vytváření meteorologických statistik, jednoduché filtrování a kvalitní prezentaci dat. Systém bych chtěl zaměřit tak aby zvládal i náročnější dotazy typu - vyhledej mi 5 dní s nejnižší průměrnou teplotou a udělej mi graf teploty z nich, najdi mi 5 dní s nejnižší minimální teplotou a udělej mi graf z nich, vezmi zimní záznamy (prosinec-únor) a spočítej mi statistiky z nich, porovnej nejchladnější den v lednu s nechladnějším dnem v únoru apod.
pernik
Příspěvky: 3
Registrován: 14 pro 2010, 22:17
Meteostanice: TFA 35.1075 Nexus

Re: Systém pro zpracování meteorologických dat

Příspěvek od pernik »

Zaujalo mne toto téma,počasí sleduji od malička a souvisle zapisuju od roku 1999 v Excelu.Nejdříve jsem používal rtuťový teploměr,poté pořídil digitální se záznamem min. a max. teplot.Nedávno jsem si objednal meteostanici,abych měl věrohodnější a hlavně zautomatizované záznamy,zatím probíhá testovací provoz.
1.Zmiňovaný program bych uvítal,pokud by bylo třeba podpořil i finančně.S programováním moc zkušeností nemám.
2.S programem dodávaným k meteostanici lze prohlížet data v pc a celkem snadno je následně převést do excelu,kde už mám předchozí záznamy.
3.Statistiky mám jen v excelu,grafy si vytvářím dle potřeby.
4.Data zatím online na internetu nemám,plánuji to časem po pořízení potřebného vybavení.
5.Od zakoupení meteostanice hledám nejvhodnější způsob,jak zaznamenaná data archivovat,abych je mohl následně i jednoduše prezentovat,jak už bylo napsáno excelový soubor postupně narůstá.
vacha
Příspěvky: 1
Registrován: 08 čer 2012, 23:02
Meteostanice: vlastní HW

Re: Systém pro zpracování meteorologických dat

Příspěvek od vacha »

Hezký večer všem,
již delší dobu sleduji toto fórum, ze kterého jsem čerpal mnoho vědomostí a nápadů. Již pár let provozuji amatérskou meteostanici postavenou na vlastním HW řešení (1wire), ale moc jsem neřešil prezentaci směrem do internetu. Když tak sleduji příspěvky na tomto fóru, zjišťuji, že většina z nás má v podstatě stejný problém - dat je mnoho, ale s prezentací ostatním amatérským meteorologům nebo veřejnosti je to horší. Což je pochopitelné, né každý je programátor a vytvořit aplikaci, která by zobrazovala víc, než jen aktuální data nebo jednoduché grafy není zase taková legrace. Rozhodl jsem se tedy (a založení Amatérské meteorologické společnosti to jen uspíšilo) oslovit ty z nás, kteří by byli ochotni věnovat svůj čas do vývoje aplikace, která by:

Na backendu:
* sjednotila sběr dat z jednotlivých stanic
* definovala formáty pro vstupní i výstupní data (směrem k ostatním webovým službám - např. widgety do osobních blogů, aplikacím pro mobilní telefony, tablety a pod.)
* sjednotila postupy pro statistické výpočty (souhrny, rekordy a pod) tak, aby byly vzájemně porovnatelné
* zajistila bezpečný archiv těchto dat

Na frontendu:
* prezentovala data moderním dynamickým způsobem (nejen statické tabulky a grafy, ale vlastní pohledy a složitější dotazy)
* umožnila vytvoření prezentace i těm z nás, kteří nejsou programátoři
* jednotlivým stanicím dala možnost vytvořit (kromě jednotné prezentace naměřených údajů) vlastní blog nebo např. fotogalerii pozorovaných jevů a pod.

V současnosti jsem ve stadiu, kdy jsem po vlastních zkušenostech s psaním webových prezentací zvolil v ČR obecně uznávanou cestu - PHP framework Nette, MySQL databázi a jako user interface Bootstrap od Twitteru http://twitter.github.com/bootstrap/index.html. Šlo mi o to zvolit cestu, které bude dostatečně současná (aby umožňovala jednoduché použití moderních metod jako je např. AJAX), umožňovala rychlý vývoj a znovupoužitelnost (Nette framework) a znalo ji co nejvíce potencionálních vývojářů. Ukázka jak vypadá aplikace, která využívá těchto technologíí a zatím sice nic neumí, ale zabere jen asi 50 řádků kódu je na http://www.meteostat.cz.

Chtěl bych Vás tedy oslovit s nabídkou spojit síly a jít do toho společně. Pokud se mezi námi nejde pár lidí ochotných udělat neco pro druhé a investovat svůj čas do vývoje jednotné prezentace mnohdy unikátních dat, mohli bychom se sejít někde u piva (Pražáci a okolní) a probrat naše možnosti. Nápadů bych měl dost.

Kromě svého času a znalostí můžu do začátku dát k dispozici alespoň prostor pro vývoj a běh testovací nebo pilotní verze této aplikace.

Pokud se nikdo nenajde, budu pokračovat sám, už jsem se rozhodl. Ale říká se, že víc hlav víc ví a byla by škoda nevyužít našich společných znalostí. Vítám i ty, kteří programovat neumí, ale zato mají představu, co by taková aplikace měla umět.

Díky z reakce
Jarda
Odpovědět

Zpět na „Provoz elektronické meteostanice“