Mere nøjagtig biopsi ved augmented reality

University of Twente er i øjeblikket ved at udvikle en smartphone-teknologi baseret på brugen af ​​Simultaneous Localization And Mapping (SLAM) og augmented reality (AR). Denne teknologi gør det muligt for medicinsk personale at rekonstruere 3-D kropssektioner hurtigt, kun ved at holde smartphonen rundt om interesseområdet. Denne smartphone vil vise de udvidede lag af 3D-hudoverfladen for at visualisere usynlig information for medicinsk personale.

"Vi vil gerne lægge oplysningerne fra MR-scanning og andre venescanninger (fra sensorenheder, der bruger laserpletter) i lag og gøre dem synlige med augmented reality", siger Dr. Eng. Beril Sirmacek (Computervidenskab). Dette gør det muligt for læger at se de indre kropssegmenter, tumorer, vener og status for diabetiske sår med brug af augmented reality. Denne visuelle støtte gør det muligt for læger at overskue situationen bedre og træffe bedre beslutninger. I en biopsisituation, denne visuelle støtte kan hjælpe med at guide robotarmene til at nå tumoren til biopsi ved første forsøg, i stedet for at tage chancen og nå den rigtige placering ved at arbejde med en patient en hel dag og lave mislykkede biopsihuller på patientens krop.

Den udvidede visualisering af big data og vejledningen med smartphone-applikationen er stærkt afhængig af teknologien Simultaneous Localization and Mapping (SLAM). "Selvom jeg ikke havde en medicinsk baggrund, vores fælles fokus på SLAM og AR giver en fantastisk platform."

SLAM boks

"Da vi startede dette projekt, vores mål var at udvikle en SLAM-boks hos UT-forskningsgruppen RAM (Robotics and Mechatronics). Vi kan bruge vores lokaliserings- og 3-D rekonstruktionssoftware på forskellige sensorer og ikke kun med brug af smartphones. Vores vision vil føre til mange sundhedsapplikationer, og andre robotapplikationer bliver mere intelligente. Med denne teknologi, Algoritmerne forstår hurtigt 3D-modellerne af de omgivende objekter, uanset hvilke billedsensorer der bruges."

Prof. Dr. Ir. Stefano Stramigioli (formand for gruppen, Robotik og mekatronik):"SLAM er en kerneteknologi inden for robotteknologi, men dets universelle brug vil kun være muligt, hvis vi har metoder til nemt at forbinde mange sensorer i et robotsystem. Ved RAM, vi har til hensigt at skabe en modulær SLAM-boks, som automatisk rekonfigurerer sig selv, hvis ekstra sensorer er tilsluttet på en Plug&Play-måde. Så ville det være muligt at forbinde denne "SLAM Box" til et komplet robotsystem, giver den kraftfulde perceptionsevner."