To-stream netværk foreslået til termisk og synlig billedfusion

Studerende Liu Luolin fra Xi'an Institute of Optics and Precision Mechanics (XIOPM) fra det kinesiske videnskabsakademi (CAS) har foreslået en to-stream end-to-end model ved navn TSFNet til termisk og synlig billedfusion. Resultaterne blev offentliggjort i Neurocomputing.

TSFNet, bruge to grene til funktionsindlæring, er helt anderledes end tidligere to-stream metoder, og det kan fuldt ud fange informationen fra begge kilder.

Termiske billeder er ufølsomme over for lysstyrke og kan skelne genstande og baggrund ved at differentiere termisk stråling. Synlige billeder kan forstå menneskets syn mere intuitivt og have en højere opløsning. Derfor, det kan udledes, at fusionen af ​​de to kan give et nyt billede med klare objekter og høj opløsning til overvågning i al slags vejr og hele dagen/nat.

I dette studie, for at gøre det muligt for modellen at bevare den detaljerede information om kildebilledet autonomt under fusionen, LIU og hans teammedlemmer vedtog en adaptiv vægtallokeringsstrategi for at guide funktionsvalg. Hele rammen blev adskilt i tre moduler, funktionsudtræk, fusion, og genopbygning.

Ifølge forsøgsresultaterne, TSFNet udkonkurrerer state-of-the-art metoder under forskellige evalueringsmålinger. I fremtiden, det vil give en guide til at designe nyt netværk af billedfusion.