Opbygning af værktøjer i ChatGPT-stil med jordobservation

Forestil dig at kunne spørge en chatbot:"Kan du lave mig et ekstremt nøjagtigt klassifikationskort over afgrødedyrkning i Kenya?" eller "Sænker bygninger sig i min gade?" Og forestil dig, at den information, der kommer tilbage, er videnskabeligt forsvarlig og baseret på verificerede jordobservationsdata.

ESA arbejder sammen med teknologipartnere på at gøre et sådant værktøj til virkelighed ved at udvikle AI-applikationer, der vil revolutionere informationssøgning inden for jordobservation.

En digital hjælpende hånd til data

Jordobservation genererer enorme mængder af vitale data hver dag, men det er svært for mennesker alene at sikre, at vi får den bedste værdi ud af disse data. Heldigvis hjælper AI med at interagere med så store og komplekse datasæt, identificere nøglefunktioner og præsentere informationen i et brugervenligt format.

I*STAR for eksempel, en aktivitet medfinansieret af ESA InCubed-programmet, udviklede en platform, der bruger kunstig intelligens til at overvåge aktuelle begivenheder som jordskælv eller vulkanudbrud, så satellitoperatører automatisk kan planlægge de næste dataindsamlinger for kunderne.

SaferPlaces AI-værktøjet, igen understøttet af InCubed, skaber oversvømmelseskort til katastrofeberedskabsteams ved at flette in situ-målinger med satellitdata. SaferPlaces var afgørende for skadevurderingsindsatsen under sidste års oversvømmelser i Emilia-Romagna i Italien.

I de sidste par år er udviklingen af ​​kunstig intelligens accelereret enormt, med fremskridt for værktøjer som ChatGPT og Gemini endda overraskende eksperter på området. For at drage fordel af denne transformative innovation og fange de muligheder, som denne teknologi muliggør, er et naturligt næste skridt at bygge en ChatGPT-lignende tekstbaseret forespørgsel med jordobservationsdata.

Sammen med forskellige partnere fra områderne rum, databehandling og meteorologi udvikler ESA i øjeblikket en digital assistent til jordobservation, der vil forstå menneskelige forespørgsler og svare med menneskelignende svar – kendt som naturlige sprogegenskaber.

Det er dog ikke overraskende, at der er en række brikker i puslespillet, der skal færdiggøres for at skabe sådan en digital assistent, startende med kraftcenteret, der understøtter det, grundmodellen.

Motoren brøler under motorhjelmen

AI-modeller fungerer ved at træne og forbedres over tid, men i mere traditionel maskinlæring skal maskinen fodres med store datasæt, der er blevet mærket, ofte af et menneske.

Indtast fundamentmodeller, som har en meget anderledes tilgang. En fundamentmodel er en maskinlæringsmodel, der træner, stort set uden menneskelig overvågning, på betydelige og varierede kilder til umærkede data. Fundamentmodeller er ret generelle, men kan skræddersyes til specifikke applikationer.

Resultatet er en fleksibel, kraftfuld AI-motor, og siden deres start i 2018 har grundmodeller bidraget til en enorm transformation inden for maskinlæring, som har påvirket mange industrier og samfundet som helhed.

ESA Φ-lab har flere igangværende initiativer til at skabe fundamentmodeller dedikeret til jordobservationsrelaterede opgaver. Disse modeller bruger data til at give information om miljøkritiske emner såsom metanlækager og afbødning af ekstreme vejrbegivenheder.

Et grundmodelprojekt, PhilEO, startede i begyndelsen af ​​2023 og er nu ved at være moden. En evalueringsramme baseret på globale Copernicus Sentinel-2-data, og snart selve PhilEO-modellen, frigives til jordobservationssamfundet for at stimulere en samarbejdstilgang, fremme udviklingen på området og sikre, at den afledte fundamentmodel er omfattende valideret.

Billedet ovenfor viser Richat-strukturen, den type funktion, som PhilEO-modellen har lært at genkende uden menneskelig opsyn.

Den menneskelige grænseflade

Separate ESA-initiativer undersøger den menneskelige ende af puslespillet – at skabe den digitale assistent, der vil tage et naturligt sprogspørgsmål fra en bruger, behandle de rigtige data gennem jordobservationsfundamentmodeller og producere svaret i tekst og/eller billeder.

En forløber digital tvilling af Jorden har for nylig demonstreret, at dens digitale assistent-prototype kan udføre multimodale opgaver ved at søge blandt flere dataarkiver såsom Sentinel-1 og 2 for at sammenligne information.

En ESA Φ-lab-aktivitet, der skal starte i april, vil udforske naturlig sprogbehandling til at udtrække og analysere information fra verificerede jordobservationstekstkilder sammen med tolkning af forespørgsler fra både eksperter og generelle brugere. Denne aktivitet vil i sidste ende føre til oprettelsen af ​​en fuldt fungerende digital assistent.

"Konceptet med en digital jordobservationsassistent, der kan give en bred vifte af indsigt fra forskellige kilder, er et fristende perspektiv, og som disse initiativer viser, er der en række grundlæggende byggeklodser at sætte på plads for at nå dette mål," kommenterer Leder af ESA Φ-lab Giuseppe Borghi.

"I betragtning af de ekstremt opmuntrende fremskridt, der allerede er opnået med PhilEO og den digitale assistent-forløber, forventer jeg fuldt ud, at de nye projekter vil give spil-ændrende resultater i den nærmeste fremtid."

Leveret af European Space Agency