Co dane syntetyczne o pożarach potrafią, a czego nie. Sprawdziliśmy dowody

Słowo o liczbach poniżej: mAP (mean average precision) to standardowa miara jakości detektorów obiektów. Pokazuje, jak dokładnie i jak kompletnie model znajduje i obrysowuje obiekty, w skali od 0 do 100 (albo od 0 do 1). Im wyżej, tym lepiej.

Co potrafią

• Poprawić wykrywanie w połączeniu z prawdziwymi danymi. W badaniu DetectiumFire (NeurIPS 2025) dodanie wygenerowanych obrazów do prawdziwych danych treningowych podniosło mAP modelu YOLOv11m z 43,74 do 44,52. Badanie z 2025 roku o dymie w lasach (MFGDiffusion) wykazało wzrost mAP50 z 0,635 do 0,795 po dodaniu przefiltrowanych obrazów syntetycznych, więcej niż po dodaniu tej samej liczby prawdziwych obrazów.
• Pokryć to, co rzadkie. Noc, podczerwień, mgłę, deszcz i pierwszą minutę pożaru trudno nagrać na zamówienie. Wygenerowane dane mogą celowo wypełnić te luki.

Czego nie potrafią

• Zastąpić prawdziwych danych. W tym samym badaniu DetectiumFire trening wyłącznie na obrazach syntetycznych obniżył mAP do około 33, wyraźnie poniżej prawdziwych danych. Jakość i różnica między domenami ważą więcej niż ilość.
• Same z siebie udowodnić poziomu fałszywych alarmów. Nie znaleźliśmy żadnego opublikowanego badania, w którym model trenowano na wygenerowanym wideo z monitoringu, a potem mierzono fałszywe alarmy na kamerę na dobę na prawdziwych nagraniach. Kto obiecuje taką liczbę na podstawie samych klipów syntetycznych, zgaduje.

Co to oznacza dla naszej pracy

Trzy wnioski ukształtowały naszą ofertę:

• Dane syntetyczne są uzupełnieniem. Trafiają obok Twoich prawdziwych nagrań, a nie zamiast nich.
• Każdy klip musi zasłużyć na swoje oznaczenie. Sprawdzamy gotowe wideo, a nie zamiar, który za nim stał, i odrzucamy to, co niejasne.
• Jedynym uczciwym dowodem jest Twój własny zbiór testowy. Dlatego zaczynamy od pilotażu: zachowujesz zamrożony zestaw prawdziwych nagrań, my celujemy w błędy, które Twój model popełnia dziś, i razem mierzymy różnicę, zanim ktokolwiek zacznie mówić o skali.

Wolimy pokazać małą, zmierzoną poprawę na Twoich danych niż dużą liczbę na naszych.

Co musiałbyś zobaczyć w pilotażu, żeby zaufać danym syntetycznym w swoim modelu wykrywania pożarów?

Pytania i odpowiedzi

Czy dane syntetyczne mogą zastąpić prawdziwe nagrania pożarów?

Nie. Opublikowane wyniki pokazują, że modele trenowane wyłącznie na obrazach syntetycznych działają wyraźnie gorzej niż modele trenowane na prawdziwych danych. Dane syntetyczne sprawdzają się jako uzupełnienie.

O ile dane syntetyczne poprawiają wykrywanie pożarów?

To zależy od jakości i filtrowania. Opisane wzrosty sięgają od niecałego punktu mAP (DetectiumFire, dane prawdziwe i syntetyczne razem) do znacznie większego skoku w badaniu o dymie w lasach z przefiltrowanymi obrazami syntetycznymi (MFGDiffusion).

Co to jest mAP?

Mean average precision, standardowa miara jakości detektorów obiektów. Łączy to, ile obiektów model znajduje, z tym, jak dokładnie je obrysowuje.

Jak wygląda pilotaż?

Zachowujesz zamrożony zbiór testowy z własnych prawdziwych nagrań. Generujemy dane wymierzone w błędy, które Twój model popełnia dziś, Ty trenujesz model ponownie, a my porównujemy wyniki na tym samym zbiorze testowym przed i po.