AI opskalerer Apollo-måneoptagelser til 60 FPS

Lige så spændende og spændende det er at se alle de historiske optagelser fra Apollo-månelandingen, du må indrømme, kvaliteten er nogle gange ikke så stor. Selvom NASA har arbejdet på at gendanne og forbedre nogle af de mest populære Apollo-optagelser, noget af det er stadig kornet eller sløret.

Men nu, nye udviklinger inden for kunstig intelligens er kommet til undsætning, giver seerne en næsten helt ny oplevelse ved at se historisk Apollo-video.

En foto- og filmrestaureringsspecialist, der går under navnet DutchSteamMachine, har arbejdet med AI-magi for at forbedre original Apollo-film, skabe slående klare og levende videoklip og billeder.

"Jeg ville virkelig give en oplevelse på disse gamle optagelser, som ikke er set før, " fortalte han til Universe Today.

Tag et kig på disse forbedrede optagelser fra en Apollo 16 måne-rover med Charlie Duke og John Young, hvor de optagelser, der oprindeligt blev optaget med 12 billeder i sekundet (fps), er blevet øget til 60 fps:

Betagende, ret? Og jeg blev blæst omkuld af den skarpe udsigt over månens overflade i denne forbedrede udsigt over Apollo 15's landingssted ved Hadley Rille:

Eller tag et kig på, hvor tydeligt Neil Armstrong er synlig i denne forbedrede version af den ofte sete "first step" video fra Apollo 11 taget af et 16 mm videokamera inde i Lunar Module:

Den AI, som DutchSteamMachine bruger, kaldes Depth-Aware videoframe INTErpolation, eller DAIN for kort. Denne AI er open source, gratis og konstant udviklet og forbedret. Bevægelsesinterpolation eller bevægelseskompenseret rammeinterpolation er en form for videobehandling, hvor mellemliggende animationsframes genereres mellem eksisterende i et forsøg på at gøre videoen mere flydende, for at kompensere for slørethed, etc.

"Folk har brugt de samme AI-programmer til at bringe gamle filmoptagelser fra 1900-tallet tilbage til live, i høj opløsning og farve, " sagde han. "Denne teknik virkede som en fantastisk ting at anvende på meget nyere optagelser."

Men du kan muligvis ikke prøve dette derhjemme. Det kræver en kraftfuld, avanceret GPU med specielle køleventilatorer. DutchSteamMachine sagde, at en video på kun fem minutter kan tage alt fra seks til 20 timer at færdiggøre. Men resultaterne taler for sig selv.

Han forklarede, hvordan han gør dette arbejde:"Først satte jeg mig for at finde kildevideoer af højeste kvalitet, som jeg heldigvis fandt som 720p videofiler med høj bitrate, " sagde han. "Så kvalitetsproblemet var løst. Det er vigtigt at starte med den højest mulige kilde og redigere derfra. Imidlertid, de fleste af sekvenserne, der blev optaget, var stadig meget hakkende. Dette skyldes, at for at spare film og optage i lange perioder, det meste af rover-optagelserne blev skudt kl. 12, seks eller endda én frame(r) i sekundet. Mens folk tidligere har forsøgt at anvende stabilisering og/eller typer af rammeblanding for at lette denne effekt, Jeg har aldrig rigtig været tilfreds med det."

DutchSteamMachine søger at bestemme billedhastigheden af ​​de originale optagelser, som normalt kan findes i NASA-dokumenter eller, som i tilfældet med Apollo 16-optagelserne ovenfor, astronauterne annoncerer det, når de tænder kameraet.

"Desværre, Sommetider, framerate ser ud til at være slået fra eller svingende, ikke altid fungerer efter hensigten, " sagde han. "Så den bedste måde at finde framerate på er at lytte til vartegn, som astronauterne taler om, og matche optagelserne til det. Jeg deler kildefilen op i individuelle PNG-rammer, input dem til AI'en sammen med input framerate (en, seks, 12 eller 24) og den ønskede output framerate efter interpolationshastighed (2x, 4x, 8x). AI begynder at bruge min GPU og ser på to rigtige, på hinanden følgende rammer. Ved hjælp af algoritmer, den analyserer bevægelser af objekter i de to rammer og gengiver helt nye. Med en interpolationshastighed på, for eksempel, 5x, den er i stand til at gengive fem 'falske' rammer fra kun to rigtige rammer. Hvis optagelserne blev optaget ved 12 fps, og interpolationshastigheden er indstillet til 5x, den endelige billedhastighed vil være 60, hvilket betyder, at med kun 12 rigtige rammer, den lavede 48 'falske' rammer. Begge eksporteres derefter tilbage til en video og afspilles ved 60 fps med både de rigtige og falske billeder. Jeg anvender farvekorrektion, så ofte har kildefilerne en blå eller orange farvetone. Jeg synkroniserer optagelserne med lyd, og hvis muligt, også fjernsyn og billeder taget på samme tid. Sommetider, to 16 mm-kameraer kørte på samme tid, så jeg kan afspille dem ved siden af ​​hinanden."

Her er en video, han delte af sit studie og sit specialiserede udstyr:

DutchSteamMachine udfører dette arbejde i sin fritid, og lægger det gratis op på sin YouTube-side. Hans slogan er "Bevar fortiden for fremtiden, "og han bruger også de samme teknikker til at forbedre gammel hjemmevideo, billeder og dias.

"Det er fantastisk at læse folks reaktioner på mine optagelser, " sagde han. "Så når folk poster ting som, 'Wow! Dette er forbløffende! Jeg har aldrig set dette før!, "det holder mig i gang."

Hvis du gerne vil støtte det fantastiske restaurerings-/forbedringsarbejde, som DutchSteamMachine udfører for Apollo-optagelserne, her er hans Patreon-side. Ved at støtte hans arbejde, du får ekstramateriale, tidlig adgang og forhåndsvisning af kommende arbejde, og mulighed for at stille spørgsmål om processen. Og han planlægger at fortsætte det hele.

"Jeg planlægger at forbedre tonsvis af Apollo-optagelser som denne, " sagde han. "Meget mere plads og historierelaterede optagelser vil løbende blive offentliggjort på min YT-kanal." Han har også en Flickr-side med mere forbedrede billeder.