Notícia

Tecnologia com realidade virtual e aumentada viabiliza treinamento em cirurgia cerebral com avatar

Laboratório de Imersão MIT.nano

Fonte

MIT | Instituto de Tecnologia de Massachusetts

Data

quarta-feira, 6 março 2024 15:55

Áreas

Cirurgia. Educação. Empreendedorismo. Engenharia Biomédica. Informática Médica. Inteligência Artificial. Medicina. Neurocirurgia. Realidade Aumentada. Realidade Virtual. Simulação Computacional. Telemedicina.

O Dr. Benjamin Warf, um renomado neurocirurgião do Hospital Infantil de Boston, está no Laboratório de Imersão MIT.nano, no Instituto de Tecnologia de Massachusetts (MIT), nos Estados Unidos. A mais de 5.000 quilômetros de distância, seu avatar virtual está ao lado de Matheus Vasconcelos, no Brasil, enquanto o residente pratica uma cirurgia delicada em um modelo semelhante ao cérebro de um bebê.

Com um par de óculos de realidade virtual, Matheus Vasconcelos é capaz de assistir o avatar do Dr. Benjamin Warf demonstrar um procedimento de cirurgia cerebral antes de replicar ele mesmo a técnica e enquanto faz perguntas ao ‘gêmeo digital’ do neurocirurgião.

“É uma experiência quase fora do corpo”, disse o Dr. Warf ao observar seu avatar interagir com os residentes. “Talvez seja a sensação de ter um gêmeo idêntico?”.

E esse é o objetivo: o gêmeo digital do Dr. Benjamin Warf superou a distância, permitindo que ele estivesse funcionalmente em dois lugares ao mesmo tempo. “Foi meu primeiro treinamento com esse modelo e teve excelente desempenho”, disse Matheus Vasconcelos, residente de neurocirurgia da Faculdade de Ciências Médicas da Santa Casa de São Paulo. “Como residente, agora me sinto mais confiante e confortável ao aplicar a técnica em um paciente real sob a orientação de um professor”.

O avatar do Dr. Warf chegou por meio de um novo projeto lançado pela empresa de simuladores médicos e realidade aumentada Instituto EDUCSIM. A empresa fez parte do grupo de 2023 do START.nano, o acelerador de tecnologia profunda do MIT.nano que oferece às startups em estágio inicial acesso com desconto aos laboratórios do MIT.nano.

Em março de 2023, a Dra. Giselle Coelho, diretora científica do Instituto EDUCSIM e neurocirurgiã pediátrica da Santa Casa de São Paulo e do Hospital Infantil Sabará, começou a trabalhar com a equipe técnica do Laboratório de Imersão MIT.nano para criar o avatar do Dr. Warf. Em novembro, o avatar já treinava futuros cirurgiões, como Matheus Vasconcelos.

“Tive a ideia de criar o avatar do Dr. Warf como prova de conceito e perguntei: ‘Qual seria o lugar no mundo onde eles estão trabalhando em tecnologias como essa? Então encontrei o MIT.nano”, disse a Dra. Giselle Coelho.

‘Capturando um Cirurgião’

Como residente em neurocirurgia, a Dra. Gisele Coelho ficou tão frustrada com a falta de opções práticas de treinamento para cirurgias complexas que construiu seu próprio modelo de cérebro de bebê. O modelo físico contém todas as estruturas do cérebro e pode até sangrar, “simulando todas as etapas de uma cirurgia, desde a incisão até o fechamento da pele”, disse.

Ela logo descobriu que simuladores e demonstrações de realidade virtual (VR) reduziam a curva de aprendizado dos residentes. Então, a Dra. Giselle Coelho lançou o Instituto EDUCSIM em 2017 para ampliar a variedade e o alcance da formação para residentes e especialistas que buscam aprender novas técnicas.

Essas técnicas incluem, por exemplo, um procedimento para tratar a hidrocefalia infantil, iniciado pelo Dr. Benjamin Warf, diretor de neurocirurgia neonatal e congênita do Hospital Infantil de Boston. A Dra. Giselle Coelho aprendeu a técnica diretamente com o Dr. Warf e achou que seu avatar poderia ser o caminho para os cirurgiões que não podiam viajar para Boston se beneficiarem de sua experiência.

Para criar o avatar, a médica brasileira trabalhou com Talis Reks, tecnólogo de TI de AR/VR/jogos/big data do Laboratório de Imersão do MIT.

“Muita tecnologia e hardware podem ser muito caros para as startups acessarem quando iniciam sua jornada empresarial”, explicou Talis Reks. “O START.nano é uma forma de permitir que eles utilizem e tenham recursos para as ferramentas e tecnologias que temos no Laboratório de Imersão do MIT.nano.”

A Dra. Giselle Coelho e seus colegas precisavam de tecnologia de captura de movimento de alta fidelidade e alta resolução, captura volumétrica de vídeo e uma variedade de outras tecnologias de realidade virtual e aumentada para capturar os movimentos hábeis dos dedos e as expressões faciais do Dr. Warf. O neurocirurgião visitou o MIT.nano em diversas ocasiões para ser ‘capturado’ digitalmente, incluindo a realização de uma operação no modelo físico de um bebê enquanto usava luvas especiais e roupas com sensores embutidos.

“Essas tecnologias têm sido usadas principalmente para entretenimento, VFX [efeitos visuais] ou CGI [imagens geradas por computador]”, disse Talis Reks, “Mas este é um projeto único, porque estamos aplicando [essas tecnologias] agora para a prática médica real e para o aprendizado real”.

Um dos maiores desafios, disse Talis Reks, foi ajudar a desenvolver o que a Dra. Giselle Coelho chamou de ‘holotransporte’, ou seja, transmitir a captura de vídeo 3D volumétrica do Dr. Warf em tempo real pela Internet para que seu avatar possa aparecer no treinamento médico transcontinental.

O avatar do Dr. Benjamin Warf possui modos síncrono e assíncrono. O treinamento que Matheus Vasconcelos recebeu foi na modalidade assíncrona, onde os residentes podem observar as demonstrações do avatar e colocar-lhe questões. As respostas, fornecidas em vários idiomas, vêm de algoritmos de IA baseados em pesquisas anteriores e em um extenso banco de perguntas e respostas fornecido pelo Dr. Warf.

No modo síncrono, O Dr. Warf opera seu avatar à distância em tempo real. “Ele podia andar pela sala, podia falar comigo, podia me orientar. É incrível”, destacou a Dra. Giselle.

Os desenvolvedores da tecnologia demonstraram uma combinação dos modos [de treinamento] em uma segunda sessão no final de dezembro. A demonstração consistiu na captura volumétrica de vídeo ao vivo entre o Laboratório de Imersão do MIT e o Brasil, espacializado e visível em tempo real através de headsets de Realidade Aumentada. Essa sessão expandiu significativamente a demonstração anterior, que transmitia apenas dados volumétricos em uma direção por meio de uma exibição bidimensional.

Impactos poderosos

O Dr. Benjamin Warf tem uma longa história de treinamento de neurocirurgiões pediátricos em todo o mundo, mais recentemente por meio de sua organização sem fins lucrativos Neurokids. O treinamento remoto e simulado tem sido uma parte cada vez maior do treinamento desde a pandemia, disse ele, embora ele não sinta que algum dia [essa tecnologia] substituirá completamente a instrução prática pessoal e a colaboração.

“Mas se de fato um dia pudéssemos ter avatares, como este da Giselle, em lugares remotos mostrando às pessoas como fazer as coisas e respondendo perguntas para elas, sem custo de viagem, sem custo de tempo e assim por diante, acho que isso pode ser realmente poderoso”, disse o neurocirurgião.

O projeto avatar é especialmente importante para cirurgiões que atendem áreas remotas e carentes como a região amazônica do Brasil, disse a Dr. Giselle Coelho: “Esta é uma forma de dar o mesmo nível de educação que obteriam em outros lugares e a mesma oportunidade de entrar em contato com o Dr. Warf”.

Acesse a notícia completa na página do Instituto de Tecnologia de Massachusetts (em inglês).

Fonte: Becky Ham, MIT.nano. Imagem: dois médicos residentes no Brasil praticam uma técnica cirúrgica em modelo físico de uma criança após observarem o avatar do Dr. Benjamin Warf realizando o procedimento. À esquerda está a médica Dra. Giselle Coelho, fundadora do Instituto EDUCSIM, que está trabalhando com o Laboratório de Imersão do MIT.nano para levar treinamento médico em realidade virtual para áreas remotas do mundo. Fonte: Laboratório de Imersão MIT.nano.

Em suas publicações, o Portal Tech4Health da Rede T4H tem o único objetivo de divulgação científica, tecnológica ou de informações comerciais para disseminar conhecimento. Nenhuma publicação do Portal Tech4Health tem o objetivo de aconselhamento, diagnóstico, tratamento médico ou de substituição de qualquer profissional da área da saúde. Consulte sempre um profissional de saúde qualificado para a devida orientação, medicação ou tratamento, que seja compatível com suas necessidades específicas.