A 2015-ös konvektív szezon előrejelzéseinek verifikációja
Hasonlóan a 2014-es évhez, 2015-ben is elvégeztem a szupercella.hu által kiadott előrejelzések verifikációját. Ennek eredményét publikálom a jelenlegi cikkben.
A verifikációs időszak a konvektív félévet öleli fel, ami április 1-től szeptember 30-ig tart, ez összesen 183 napot jelent. Tíz darab esemény bekövetkezését vizsgáltam: villámárvíz, MKR, bow echo, szupercella, heves jégeső, szignifikáns jégeső, heves szélvihar, szignifikáns szélvihar, mezociklonális tornádó, nem-mezociklonális tornádó. A verifikációs terület Magyarország, tehát csak a hazánkban észlelt eseményeket vettem számításba.
A vizsgálathoz szükséges észlelt események egy részét saját oldalunkról (szupercella.hu), másik jelentős részét különböző amatőr meteorológiai portálokról (metnet.hu, idokep.hu) vettem. Emellett jelentős mértékben támaszkodtam az OMSZ által biztosított 1km-es felbontású radarképekre is.
Amelyik napon nem említettük meg az adott esemény bekövetkezését az előrejelzésünkben, vagy pedig egyáltalán nem volt konvektív előrejelzés, azt úgy vettem, hogy az adott esemény "nem-bekövetkezését" jeleztük előre.
A tornádó előrejelzéseknél idén is 4 különböző kategóriát használtunk, diagnosztikai jelleggel. Ez a négy kategória sorrendben: a "nem várható", illetve a kis/közepes/nagy valószínűségű kategória. Ezeket T0-tól T3-ig jelöltük. A T0-ás jelenti a "nem várható" kategóriát, a többi pedig növekvő sorrendben az egyre nagyobb valószínűségi értékeket. Előzetesen a kategóriákhoz hozzávetőleges valószínűségi értékeket is rendeltem: 0%, 10%, 20%, 30%.
1. Egyszerű összesítések
Az események megfigyelésének és előrejelzésének előfordulási gyakoriságai (ami azt jelenti, hogy a 183 napos időszak mekkora részében voltak megfigyelve ill. előrejelezve):
| Esemény | Megfigyelt elõfordulás [%] | Elõrejelzés elõfordulás [%] | BIAS |
| Villámárvíz | 12.02 | 12.02 | 1.00 |
| MKR | 20.22 | 11.48 | 0.57 |
| Bow echo | 2.73 | 1.64 | 0.60 |
| Szupercella | 13.66 | 16.94 | 1.24 |
| Heves jégesõ | 8.74 | 10.38 | 1.19 |
| Szignifikáns jégesõ | 0.00 | 0.00 | - |
| Heves szélvihar | 6.56 | 10.38 | 1.58 |
| Szignifikáns szélvihar | 1.09 | 0.00 | 0.00 |
| Mezociklonális tornádó | 0.00 | 6.01 | - |
| Nem-mezociklonális tornádó | 0.55 | 5.46 | 10.00 |
Ebből az összehasonlításból az látszik, hogy a leggyakoribb események az MKR (20.2%), a szupercella (13.7%) és a villámárvíz (12%) voltak. A heves jégeső, illetve a heves szélvihar ennél valamivel ritkább eseménynek számítanak (8.7% és 6.6%). Legritkábban a bow echo (2.73%), szignifikáns szélvihar (1%) és a nem-mezociklonális tornádó (0.6%) fordult elő.
Ebben a konvektív félévben szignifikáns jégeső, illetve mezociklonális tornádó nem fordult elő, legalábbis észlelés nem jutott a tudomásunkra. Ezért sajnos ezen események előrejelzésével kapcsolatban sok következtetést nem lehet levonni.
Ami az előrejelzések gyakoriságát illeti, az MKR és bow echo tekintetében kevesebbszer jeleztük ezeket előre, mint ahogy ezek előfordultak (BIAS<1). A heves eseményekre (jégeső, szélvihar, tornádó) és a szupercellákra több előrejelzést adtunk ki, mint ahogy ezek előfodultak (BIAS>1), kivételt képez ez alól a szignifikáns szélvihar. A villámárvizeknél ez az arány pont 1-et eredményezett. Az extrém ritkának számító tornádóknál magas BIAS értéket láthatunk, illetve a nem megtörtént eseményeknél ez a szám nem értelmezhető.
Ha a károkozás mértékét vesszük, mint szempontot, a heves események esetén jobban számít egy elmulasztott heves esemény, mint egy hamis előrejelzés. Egy MKR és egy szupercella esetén viszont nem mondható el feltétlenül, hogy okoznak is veszélyes eseményt.
2. Kontingencia táblázatok
Ebben a fejezetben tüntetjük fel az egyes eseményekhez tartozó kontingencia táblázatokat.
Villámárvíz:
| Bekövetkezett | Nem bekövetkezett | |
| Elõrejelzett | 10 | 12 |
| Nem elõrejelzett | 12 | 149 |
MKR:
| Bekövetkezett | Nem bekövetkezett | |
| Elõrejelzett | 17 | 4 |
| Nem elõrejelzett | 20 | 142 |
Bow echo:
| Bekövetkezett | Nem bekövetkezett | |
| Elõrejelzett | 0 | 3 |
| Nem elõrejelzett | 5 | 175 |
Szupercella:
| Bekövetkezett | Nem bekövetkezett | |
| Elõrejelzett | 19 | 12 |
| Nem elõrejelzett | 6 | 146 |
Heves jégeső:
| Bekövetkezett | Nem bekövetkezett | |
| Elõrejelzett | 9 | 10 |
| Nem elõrejelzett | 7 | 157 |
Szignifikáns jégeső:
| Bekövetkezett | Nem bekövetkezett | |
| Elõrejelzett | 0 | 0 |
| Nem elõrejelzett | 0 | 183 |
Heves szélvihar:
| Bekövetkezett | Nem bekövetkezett | |
| Elõrejelzett | 7 | 12 |
| Nem elõrejelzett | 5 | 159 |
Szignifikáns szélvihar:
| Bekövetkezett | Nem bekövetkezett | |
| Elõrejelzett | 0 | 0 |
| Nem elõrejelzett | 2 | 181 |
Mezociklonális tornádó:
| Bekövetkezett | Nem bekövetkezett | |
| Elõrejelzett | 0 | 11 |
| Nem elõrejelzett | 0 | 172 |
Nem-mezociklonális tornádó:
| Bekövetkezett | Nem bekövetkezett | |
| Elõrejelzett | 0 | 10 |
| Nem elõrejelzett | 1 | 172 |
Megjegyzés: A tornádóknál a 0-ás kategória számított nem előrejelzettnek, míg az 1/2/3-as kategória előrejelzettnek.
3. Mérõszámok összesítése
A verifikációhoz használt gyakori mérőszámok táblázatba összefoglalva (a mérőszámok részletes leírása és az egyéb verifikációs módszerek megtalálhatóak az Előrejelzések verifikációja I. című anyagunkban):
| Esemény | ACC | FAR | ETS | TSS | HSS | ORSS | MCC |
| Villámárvíz | 0.87 | 0.55 | 0.23 | 0.38 | 0.38 | 0.82 | 0.38 |
| MKR | 0.87 | 0.19 | 0.35 | 0.43 | 0.52 | 0.94 | 0.54 |
| Bow echo | 0.96 | 1.00 | -0.01 | -0.02 | -0.02 | -1.00 | -0.02 |
| Szupercella | 0.90 | 0.39 | 0.45 | 0.68 | 0.62 | 0.95 | 0.63 |
| Heves jégesõ | 0.91 | 0.53 | 0.30 | 0.50 | 0.46 | 0.91 | 0.47 |
| Szignifikáns jégesõ | 1.00 | - | - | - | - | - | - |
| Heves szélvihar | 0.91 | 0.63 | 0.25 | 0.51 | 0.40 | 0.90 | 0.42 |
| Szignifikáns szélvihar | 0.99 | - | 0.00 | 0.00 | 0.00 | - | - |
| Mezociklonális tornádó | 0.94 | 1.00 | 0.00 | - | 0.00 | - | - |
| Nem-mezociklonális tornádó | 0.94 | 1.00 | -0.00 | -0.05 | -0.01 | -1.00 | -0.02 |
A kontingencia táblázat esemény alapú, illetve előrejelzés alapú felosztásához tartozó arány- és mérőszámok:
| Esemény | TPR | FPR | Informedness | PPV | FOR | Markedness | ||
| Villámárvíz | 0.45 | 0.07 | 0.38 | 0.45 | 0.07 | 0.38 | ||
| MKR | 0.46 | 0.03 | 0.43 | 0.81 | 0.12 | 0.69 | ||
| Bow echo | 0.00 | 0.02 | -0.02 | 0.00 | 0.03 | -0.03 | ||
| Szupercella | 0.76 | 0.08 | 0.68 | 0.61 | 0.04 | 0.57 | ||
| Heves jégesõ | 0.56 | 0.06 | 0.50 | 0.47 | 0.04 | 0.43 | ||
| Szignifikáns jégesõ | - | 0.00 | - | - | 0.00 | - | ||
| Heves szélvihar | 0.58 | 0.07 | 0.51 | 0.37 | 0.03 | 0.34 | ||
| Szignifikáns szélvihar | 0.00 | 0.00 | 0.00 | - | 0.01 | - | ||
| Mezociklonális tornádó | - | 0.06 | - | 0.00 | 0.00 | 0.00 | ||
| Nem-mezociklonális tornádó | 0.00 | 0.05 | -0.05 | 0.00 | 0.01 | -0.01 |
(Megjegyzés: a TSS mennyiség másik elnevezése "Informedness", egyenlő a TPR és FPR különbségével.)
A pontosságot (ACC) megvizsgálva azt mondhatjuk, hogy 87-100%-ban eltaláltuk a helyes bekövetkezési kategóriát, az eseménytől függően. Viszont az előrejelzés jóságára ebből sok következtetést önmagában nem tudunk levonni, mivel különböző karakterisztikájú eseményekről, bekövetkezési arányokról is van szó.
Az FPR-t és a TPR-t egy ábrára feltéve és összehasonlítva az egyes eseményeket:
Az ábráról leolvasható, hogy legjobban a szupercellákat jeleztük előre a 2015-ös évben. Ez után következik a heves szélvihar és a heves jégeső előrejelzése. Ezeknél kevésbé jónak számít az MKR, illetve a villámárvíz előrejelzése. A leggyengébbnek a szignifikáns szélvihar, bow echo, illetve a nem-mezociklonális tornádó előrejelzése mutatkozott. Ezek magyarázata az egészen
alacsony előfordulási arány, és az, hogy a kevés előfordult esetet sem sikerült jól előrejelezni. (A fekete vonal jelöli a TPR=FPR vonalat, ami az ún. véletlen előrejelzések teljesítményét mutatja.)
A FAR értékeket elemezve az MKR és a szupercella előrejelzés rendelkezik a legkisebb számokkal (19 és 39%), azaz ezeknek viszonylag könnyű az előrejelzése. A villámárvíz és heves jégeső esetén ez már kicsit magasabb (55%, 53%), heves szélvihar esetén 63%, a többi esemény esetén 100%.
A többi, bonyolultabb mérőszám esetén is lehetséges elemezni az egyes eseményeket. Az eredményeket összegezve, 5-ből 4 mérőszám is (TSS-t kivéve) a következő sorrendet állapította meg: szupercella, MKR, heves jégeső, heves szélvihar, villámárvíz, szignifikáns szélvihar, nem-mezociklonális tornádó/bow echo. A többi, meg nem történt eseményt nem veszem ide, mert azokra mindegyik mérőszám nullát vagy nem definiálható értéket ad.
Ezt egy ábrán feltüntetve:
A TSS szerint is a legjobb lett a szupercella előrejelzés, de ezt a heves szélvihar, heves jégeső követi sorrendben, és csak 4. az MKR előrejelzés, ez után jön a villámárvíz, a szignifikáns szélvihar, bow echo, valamint a nem-mezociklonális tornádó előrejelzés.
4. Valószínűségi előrejelzések verifikációja
Mezociklonális tornádónál csak az élességi diagramot érdemes kirajzolni, mivel az események előfordulási aránya minden kategóriában nulla volt:
Erről az ábráról annyit lehet mondani, hogy az egyre magasabb kategóriák egyre kevesebbszer lettek kiadva (8 illetve 3 az 1. és 2. kategóriában), ami életszerűnek mondható. A 3-as kategória egyszer sem lett kiadva.
A nem-mezociklonális tornádó előrejelzés esetén az élességi diagram:
Az 1-es, 2-es és 3-as kategóriába sorrendben 8, 1, 1 darab előrejelzés fért bele.
A megbízhatósági diagram:
Ez azt mutatja, hogy csak a nullás kategóriában fordult elő esemény (0.58%-ban), amikor pont nem jeleztük azt előre.
Felbontás
A konvektív félév során a nem-mezociklonális tornádók előfordulási aránya 0.55% volt. Az alacsony előfordulás miatt messzemenő következtetéseket nem lehet levonni a kategóriák használhatóságával kapcsolatban.
Megbízhatóság
Mivel az 1-es és a 2-es kategóriához nem rendeltünk valószínűséget egyelőre, ezért ez a fogalom nem értelmezhető, csak a 0-ás kategória esetében.
Diszkrimináció
Erre a ROC-görbét szokták használni, de a kevés minta miatt ez alapján sem értékelhető a nem-mezociklonális tornádó előrejelzés.
5. A 2014-es és 2015-ös szezon összehasonlítása
2015-ben összességében az észlelt események alapján:
- kevesebb szupercellás nap volt (25 a 36 helyett)
- több szélviharos nap volt (14 a 8 helyett)
- valamivel több jégesős is (16 a 12 helyett)
- jóval kevesebb tornádós nap volt (1 a 7 helyett)
- a villámárvizek/MKR/bow echo-k száma nagyjából változatlan
A verifikációs mérőszámok alapján
- a szupercellák előrejelzése javult
(TPR: 56% → 76%, FPR 7% → 8%)
- a heves jégeső előrejelzése javult
(TPR: 50% → 56%, FPR: 12% → 6%)
- a heves szélvihar előrejelzése javult
(TPR: 50% → 58%, FPR: 11% → 7%)
- a villámárvíz előrejelzése valamennyit romlott
(TPR: 68% → 45%, FPR: 14% → 7%)
- MKR előrejelzése romlott
(TPR: 57% → 46%, FPR nem változott)
- a bow echo előrejelzése romlott
(TPR: 14% → 0%, FPR 2%, nem változott)
- szignifikáns szélvihar/jégeső, nem-mezociklonális/mezociklonális tornádó előrejelzéseket az alacsony előfordulás miatt nem lehet összehasonlítani
A következő ábrán megkíséreltem összehasonlítani a 2014-es és a 2015-ös év előrejelzéseinek eredményét, oly módon, hogy az események előfordulása is látszódjék:
A kék pontok jelölik a 2014-es, a pirosak a 2015-ös eseményeket.
A vízszintes tengelyen az odds található, ami azt jelenti, hogy mennyivel többször következett be az esemény ahhoz képest, mint ahányszor nem. Jobbra haladva az egyre gyakoribb események találhatóak (például 2015-ben az MKR kb. 4-szer több esetben nem fordult elő, mint igen, mivel 1/4 = 0.25, míg heves jégesőnél ez az arány kb. 1/10).
A függőleges tengelyen a TPR és FPR hányadosa (positive likelihood ratio) található. Ez az előrejelzés jóságáról ad információt.
A szintvonalak a találatok és a téves riasztások arányát jelölik, és ez az előző két mennyiség szorzataként számolható ki. Ez az érték akkor magasabb, ha gyakran következik be az esemény, és/vagy jobban jeleztük azt előre.
6. Konklúzió
Bináris előrejelzés
A szupercellákra jobban fókuszáltunk a 2015-ben kiadott előrejelzésekben, ez meg is látszik az eredményeken.
Az MKR előrejelzésén lehetne javítani, akár az előrejelzések számának növelésével is. A verifikációs eredménynek némi csökkenése talán annak is köszönhető, hogy 2015-ben kevésbé figyeltünk ezen eseményekre.
A bow echonál is hasonló a helyzet, viszont itt az alacsony előfordulás miatt jobban oda kell figyelni a kiváltó tényezőkre.
A villámárvíz pontosságán is lehetne még növelni, esetleg több paraméter figyelembe vételével.
Elértük-e a tavalyi célokat?
1. A találati arány (TPR) növelése (= mulasztások csökkentése) - főleg az 50% alattiak esetén.
Ez részben teljesült: szupercellák, heves jégesők, heves szélviharok előrejelzése esetén.
2. A téves riasztások (FAR ill. FPR) csökkentése a heves események esetén - a 70-80%-os FAR értékek magasnak számítanak.
A FAR értékek csökkentek 50-60% körüli értékekre.
3. A mulasztások és téves riasztások relatív "fontosságának" megállapítása eseményenként.
Erre nem alakult még ki eljárás. Egy jó kiindulópont lehet a potenciális károkozás mértéke, "fiktív költségek" alapján.
Valószínűségi előrejelzés: tornádók
Tavaly felvetettem, hogy a kategóriákhoz érdemes valószínűségeket rendelni: a 0%, 10%, 20%, 30%. Ezen kategóriák a kevés megtörtént esemény miatt 2015-ben nem váltak be, mivel a kevés megtörtént esett miatt nem lehet kiértékelni ezeket. Emellett arra sem lehet következtetést levonni, hogy van-e számottevő különbség idén ezen kategóriák között.
Lehetséges az is, hogy a klimatológiai átlag alacsony volta miatt ezeket a valószínűség értékeket csökkenteni is kell a jövőben.
- A hozzászóláshoz belépés szükséges
