中科院蘇州醫(yī)工所提出全自動手術(shù)器械視覺追蹤方案

微創(chuàng)手術(shù)是外科發(fā)展的必然趨勢和追求目標。腹腔鏡手術(shù)是微創(chuàng)手術(shù)的代表，因創(chuàng)傷小、患者恢復快、術(shù)后并發(fā)癥少等顯著優(yōu)勢得到廣泛臨床應用，幾乎涵蓋普外科所有手術(shù)，成為諸多良性疾病和功能性疾病手術(shù)治療的“金標準”，全球每年開展數(shù)量超過750萬例。除主刀醫(yī)生，腹腔鏡手術(shù)中還必須配置一位持鏡手為主刀醫(yī)生提供相應的照明和最佳的視覺反饋。長時間的手術(shù)使得持鏡手容易出現(xiàn)疲勞、手部震顫、注意力分散等現(xiàn)象，影響手術(shù)效率。

機器人具有定位精度高、響應速度快、運動平穩(wěn)性強等優(yōu)勢，且不受情緒及疲勞等因素影響，為腹腔鏡手術(shù)中持鏡手所面臨的問題提供一種有效的解決方案?；谇荤R圖像的主動式引導是持鏡機器人的交互模式趨勢，其核心為手術(shù)器械視覺追蹤，現(xiàn)有方法大多借助人工標記進行手術(shù)器械追蹤，但這種方法對于通用手術(shù)器械并不適用，且需臨床增加額外殺毒滅菌流程，應用范圍有限，因此無標記手術(shù)器械視覺追蹤更具臨床普適性。術(shù)中腹腔環(huán)境復雜多變，腹腔鏡視野中無標記手術(shù)器械精準定位難度較大，且追蹤速度無法滿足主刀醫(yī)生對持鏡機器人的實時性要求，極大制約了持鏡機器人在臨床中的推廣與應用。

近日，中國科學院蘇州生物醫(yī)學工程技術(shù)研究所高欣團隊提出一種融合區(qū)域分割思想與目標搜索策略的輕量型目標提取神經(jīng)網(wǎng)絡(luò)架構(gòu)，構(gòu)建一種全自動無標記手術(shù)器械視覺追蹤方法。該研究基于LinkNet網(wǎng)絡(luò)構(gòu)筑多實例分割模型，快速提取腹腔鏡視野中手術(shù)器械不同部件區(qū)域，利用手術(shù)器械結(jié)構(gòu)特點，以手術(shù)器械關(guān)節(jié)為追蹤靶點，結(jié)合腹腔鏡視野中手術(shù)器械運動特性，引入視覺追蹤過程上下文信息，實現(xiàn)手術(shù)器械的精準跟蹤。

輕量型目標提取神經(jīng)網(wǎng)絡(luò)架構(gòu)

研究結(jié)果顯示，所提方法在公開的腹腔鏡手術(shù)視頻數(shù)據(jù)集m2cai16-tool(累計時長9小時56分鐘，共計89.4萬幀)上取得100%的追蹤精度、15幀/秒的追蹤速度、低至6像素以下的定位誤差，相比于現(xiàn)有方法追蹤速度提升50%、定位誤差降低30%，實現(xiàn)了高精度無標記手術(shù)器械快速視覺追蹤。該研究為持鏡機器人視覺追蹤模塊提供了一種新研發(fā)思路。

腹腔鏡手術(shù)視頻中無標記手術(shù)器械視覺追蹤結(jié)果。紅色曲線表示手術(shù)器械實際運動軌跡，綠色曲線表示手術(shù)器械視覺追蹤軌跡。a：腹腔鏡手術(shù)視頻中抓鉗的視覺追蹤結(jié)果，b：腹腔鏡手術(shù)視頻中電鉤的視覺追蹤結(jié)果。