blog

Jun 04, 2024

Um transformador de visão para decodificar a atividade do cirurgião a partir de vídeos cirúrgicos

Nature Biomedical Engineering volume 7, páginas 780–796 (2023)Cite este artigo 10k Acessos 8 citações 140 Detalhes de métricas altmétricas A atividade intraoperatória de um cirurgião tem impacto substancial sobre

Nature Biomedical Engineering volume 7, páginas 780–796 (2023)Cite este artigo

10 mil acessos

8 citações

140 Altmétrico

Detalhes das métricas

A atividade intraoperatória de um cirurgião tem impacto substancial nos resultados pós-operatórios. Entretanto, para a maioria dos procedimentos cirúrgicos, os detalhes das ações cirúrgicas intraoperatórias, que podem variar amplamente, não são bem compreendidos. Aqui relatamos um sistema de aprendizado de máquina que utiliza um transformador de visão e aprendizado contrastivo supervisionado para a decodificação de elementos da atividade cirúrgica intraoperatória a partir de vídeos comumente coletados durante cirurgias robóticas. O sistema identificou com precisão as etapas cirúrgicas, as ações realizadas pelo cirurgião, a qualidade dessas ações e a contribuição relativa dos quadros de vídeo individuais para a decodificação das ações. Através de testes extensivos em dados de três hospitais diferentes localizados em dois continentes diferentes, mostramos que o sistema generaliza vídeos, cirurgiões, hospitais e procedimentos cirúrgicos, e que pode fornecer informações sobre gestos e habilidades cirúrgicas a partir de vídeos não anotados. A decodificação da atividade intraoperatória por meio de sistemas precisos de aprendizado de máquina pode ser usada para fornecer feedback aos cirurgiões sobre suas habilidades operacionais e pode permitir a identificação do comportamento cirúrgico ideal e o estudo das relações entre fatores intraoperatórios e resultados pós-operatórios.

O objetivo geral da cirurgia é melhorar os resultados pós-operatórios dos pacientes1,2. Recentemente foi demonstrado que tais resultados são fortemente influenciados pela atividade cirúrgica intraoperatória3, ou seja, quais ações são realizadas por um cirurgião durante um procedimento cirúrgico e quão bem essas ações são executadas. Para a grande maioria dos procedimentos cirúrgicos, entretanto, uma compreensão detalhada da atividade cirúrgica intraoperatória permanece indefinida. Este cenário é muito comum noutros domínios da medicina, onde os impulsionadores de determinados resultados para os pacientes ainda não foram descobertos ou manifestam-se de forma diferente. O status quo dentro da cirurgia é que a atividade cirúrgica intraoperatória simplesmente não é medida. Essa falta de medição torna difícil capturar a variabilidade na forma como os procedimentos cirúrgicos são realizados ao longo do tempo, cirurgiões e hospitais, para testar hipóteses que associam a atividade intraoperatória aos resultados dos pacientes e para fornecer aos cirurgiões feedback sobre sua técnica operacional.

A atividade cirúrgica intraoperatória pode ser decodificada a partir de vídeos comumente coletados durante procedimentos cirúrgicos assistidos por robô. Essa decodificação fornece informações sobre quais etapas do procedimento (como dissecção e sutura de tecidos) são executadas ao longo do tempo, como essas etapas são executadas (por exemplo, por meio de um conjunto de ações ou gestos discretos) pelo cirurgião e a qualidade com que elas são executadas. são executados (isto é, domínio de uma habilidade; Fig. 1). Atualmente, se um vídeo fosse decodificado, seria através de uma análise retrospectiva manual por um cirurgião especialista. No entanto, esta abordagem orientada para o ser humano é subjetiva, pois depende da interpretação da atividade pelo cirurgião revisor; não confiável, pois pressupõe que o cirurgião esteja ciente de todas as atividades intraoperatórias; e não escalonável, pois requer a presença de um cirurgião especialista e muito tempo e esforço. Estas suposições são particularmente irracionais quando cirurgiões especialistas não estão disponíveis (como em locais com poucos recursos) e já estão pressionados pelo tempo. Como tal, existe uma necessidade premente de descodificar a actividade cirúrgica intraoperatória de uma forma objectiva, fiável e escalável.

a, Vídeos cirúrgicos comumente coletados durante cirurgias robóticas são decodificados via SAIS em múltiplos elementos da atividade cirúrgica intraoperatória: o que é realizado por um cirurgião, como as subfases de sutura do manuseio da agulha, condução e retirada da agulha, e como essa atividade é executada por um cirurgião, como por meio de gestos discretos e em diferentes níveis de habilidade. b, o SAIS é um sistema unificado, pois a mesma arquitetura pode ser usada para decodificar independentemente diferentes elementos da atividade cirúrgica, desde o reconhecimento de subfases até a classificação de gestos e avaliação de habilidades.