Augmented Reality in der Chirurgie
Die Arbeit von Staffan Ronnas in der M\xfcnchner Firma Brainlab befasst sich mit der Anwendung von Augmented Reality (AR) in der Chirurgie - vor allem in der Neurochirurgie. Ziel ist es, virtuelle, pr\xe4operativen Daten mit der "Realit\xe4t" in Form von live Video auf dem chirurgischen Mikroskop so zu verblenden, dass der Chirurg vor und w\xe4hrend der OP einen Nutzen davon hat. Staffan stammt aus Schweden und hat in Karlsruhe in Mathematik in der Arbeitsgruppe promoviert in der auch Gudrun Th\xe4ter und Sebastian Ritterbusch t\xe4tig waren. Nach seiner Verteidigung 2012 hat er einige Zeit als Postdoc in Karlsruhe und Heidelberg gearbeitet, bevor er zur Firma COMSOL in Stockholm ging. Seit September 2015 wohnt er in M\xfcnchen und bringt seine F\xe4higkeiten als Softwareingenieur bei Brainlab ein. Welche Rolle spielt denn AR zur Zeit in der Chirurgie? Digitale Daten sind schon weit verbreitet in der Medizintechnik und insbesondere in der Chirurgie. Dabei handelt es sich z.B. um CT- oder MR-Bilder, aus denen man virtuelle Objekte durch Segmentierung gewinnen kann. Diese Daten k\xf6nnen vor oder w\xe4hrend der Behandlung (pr\xe4-/intraoperativ) entstehen und werden zur Planung der OP oder zur Navigation w\xe4hrend des Eingriffs verwendet. Zum gr\xf6\xdften Teil werden sie klassisch auf Bildschirmen dargestellt und zur Interaktion dienen eine Maus oder ein Touchscreen oder auch Instrumente, die \xfcber Infrarotkameras getracked werden. Speziell in der Neurochirurgie kommen gro\xdfe Mikroskope zum Einsatz, die auch Video aufnehmen k\xf6nnen. Das Ziel von Staffans Arbeit ist dabei pr\xe4operative virtuelle Daten mit Videodaten zu verblenden um eine erweiterte Darstellung zu zeigen, mit der der Chirurg w\xe4hrend der OP navigieren kann. Zu dieser Zweck werden n\xfctzliche Informationen wie die aktuelle Position, das Zielobjekt und dazwischen liegende Strukturen im Video dargestellt. Um ein solches System umsetzen zu k\xf6nnen, werden Methoden aus vielen verschiedenen Bereichen der angewandten Mathematik ben\xf6tigt, wie z.B. Bildbehandlung, geometrische Modellierung, 3D Grafik und Computer Vision. Themen wie maschinelles Lernen und Robotik spielen auch eine zunehmend wichtige Rolle. Eine grundlegende Fragestellung mit der sich Staffan viel besch\xe4ftigt hat, ist die Modellierung der Optik chirurgischer Mikroskope mit variablem Fokus und Zoom. Ein genaues Modell wird ben\xf6tigt, um die Lage und Gr\xf6\xdfe der virtuellen Daten bei der Verblendung mit dem Videobild bestimmen zu k\xf6nnen. Als grundlegendes Kameramodell dient das Pinholemodell, d.h. eine perspektivische Projektion von Punkten gemessen in einem 3D Koordinatensystem auf die planare Bildebene. Extrinsische Parameter sind dabei die Lage und Orientierung der Kamera im Raum (die Richtung der "optische Achse"). Die intrinsischen Parameter sind abh\xe4ngig von der Optik z.B. die Brennweite (Skalierung von mm auf pixel-Ma\xdf) und verschiedene Arten von Verzerrung. (...)