Segmentación de Instrumentos Quirúrgicos
Detección, clasificación y seguimiento de instrumentos quirúrgicos en secuencias de video laparoscópico.
Ver y entender el quirófano en tiempo real
En cirugía laparoscópica, la cámara capta solo una parte del campo quirúrgico. Saber en todo momento qué instrumento está activo y dónde se encuentra es crítico para analizar el flujo de trabajo quirúrgico, desarrollar sistemas de alerta y entrenar a nuevos cirujanos. El principal obstáculo técnico: el dataset disponible tenía apenas el 0.105% de los fotogramas anotados — equivalente a una imagen por cada 950 fotogramas a 30 FPS. Entrenar un modelo de visión con tan pocos datos era prácticamente inviable.
¿Por qué importa?
El sistema detecta, clasifica y sigue en tiempo real los 7 tipos de instrumentos quirúrgicos: pinzas bipolares, aplicadores de clips, portaagujas, tijeras monopolares y más. Usando SAM2 — el modelo de segmentación de video de Meta — para expandir automáticamente las anotaciones 43 veces, se logró entrenar un modelo robusto que mantiene la identidad de cada instrumento entre fotogramas consecutivos.
Pipeline de tres etapas: SAM2 → Segmentación → Tracking
La solución combina tres modelos en secuencia: SAM2 propaga las pocas anotaciones disponibles a miles de fotogramas adicionales; Mask2Former segmenta y clasifica cada instrumento con precisión a nivel de píxel; y un tracker mantiene la identidad de cada instrumento a lo largo del video. Este enfoque demuestra que es posible construir sistemas de visión robustos incluso con escasez extrema de datos — una realidad frecuente en entornos médicos.