Byens digitale tvillinger hjælper med at træne deep learning-modeller til at adskille bygningsfacader

Spilmotorer blev oprindeligt udviklet til at bygge imaginære verdener til underholdning. Disse samme motorer kan dog bruges til at bygge kopier af virkelige miljøer, det vil sige digitale tvillinger. Forskere fra Osaka University har fundet en måde at bruge de billeder, der automatisk blev genereret af digitale bytvillinger, til at træne dyb læringsmodeller, der effektivt kan analysere billeder af rigtige byer og præcist adskille de bygninger, der optræder i dem.

Et foldet neuralt netværk er et neuralt netværk med dyb indlæring, der er designet til at behandle strukturerede arrays af data såsom billeder. Sådanne fremskridt inden for dyb læring har fundamentalt ændret den måde, opgaver, som arkitektonisk segmentering, udføres på. En nøjagtig model for dybt foldning af neuralt netværk (DCNN) kræver imidlertid en stor mængde mærkede træningsdata, og mærkning af disse data kan være en langsom og ekstremt dyr manuel opgave.

For at skabe de syntetiske digitale tvillingedata for byer brugte efterforskerne en 3D-bymodel fra PLATEAU-platformen, som indeholder 3D-modeller af de fleste japanske byer på et ekstremt højt detaljeringsniveau. De indlæste denne model i Unity-spilmotoren og lavede en kameraopsætning på en virtuel bil, som kørte rundt i byen og erhvervede de virtuelle databilleder under forskellige lys- og vejrforhold. Google Maps API blev derefter brugt til at opnå rigtige billeder på gadeniveau af det samme undersøgelsesområde til eksperimenterne.

Forskerne fandt ud af, at de digitale tvillingedata for byer fører til bedre resultater end rent virtuelle data uden modstykke i den virkelige verden. Desuden forbedrer tilføjelse af syntetiske data til et rigtigt datasæt segmenteringsnøjagtigheden. Men vigtigst af alt fandt efterforskerne ud af, at når en vis brøkdel af reelle data er inkluderet i det digitale syntetiske tvillingedatasæt, øges segmenteringsnøjagtigheden af ​​DCNN betydeligt. Faktisk bliver dens ydeevne konkurrencedygtig med en DCNN, der er trænet på 100 % reelle data.

"Disse resultater afslører, at vores foreslåede syntetiske datasæt potentielt kan erstatte alle de rigtige billeder i træningssættet," siger Tomohiro Fukuda, den tilsvarende forfatter til papiret.

Automatisk adskillelse af de enkelte bygningsfacader, der optræder på et billede, er nyttig til byggeledelse og arkitekturdesign, storskalamålinger til eftermontering og energianalyse og endda visualisering af bygningsfacader, der er blevet revet ned. Systemet blev testet på flere byer, hvilket viser den foreslåede rammes overførbarhed. Det hybride datasæt af ægte og syntetiske data giver lovende forudsigelsesresultater for de fleste moderne arkitektoniske stilarter. Dette gør det til en lovende tilgang til træning af DCNN'er til arkitektoniske segmenteringsopgaver i fremtiden - uden behov for dyre manuel dataannotering.

Undersøgelsen er offentliggjort i Journal of Computational Design and Engineering . + Udforsk yderligere

En svagt overvåget maskinlæringsmodel til at udtrække funktioner fra mikroskopibilleder