3月24日，中國科學(xué)院香港創(chuàng)新研究院人工智能與機(jī)器人創(chuàng)新中心(CAIR)在香港科學(xué)園深圳分園發(fā)布“術(shù)影”SurgMotion手術(shù)視頻大模型，標(biāo)志外科手術(shù)AI從“碎片化識別”向“通用化理解”的跨越式進(jìn)化，為臨床治療、手術(shù)操作、醫(yī)學(xué)教學(xué)及術(shù)后復(fù)盤提供有力支撐。
發(fā)布會上國內(nèi)外知名學(xué)者、臨床專家、產(chǎn)業(yè)代表和多家媒體齊聚一堂，CAIR主任、研究員劉宏斌，歐洲科學(xué)院院士、慕尼黑工業(yè)大學(xué)教授及CAMP實(shí)驗(yàn)部主任Nassir Navab，香港大學(xué)深圳醫(yī)院神經(jīng)醫(yī)學(xué)中心名譽(yù)顧問醫(yī)師、香港大學(xué)外科學(xué)臨床教授潘偉生，中山大學(xué)附屬第一醫(yī)院呼吸與危重癥醫(yī)學(xué)科副主任、主任醫(yī)師廖槐，香港中文大學(xué)醫(yī)學(xué)院外科學(xué)系名譽(yù)臨床副教授及神經(jīng)外科組主任陳達(dá)明，聯(lián)影智融醫(yī)療科技有限公司副總裁謝強(qiáng)，河套發(fā)展署科技與人才部副部長王元孟，香港科技園公司業(yè)務(wù)發(fā)展副總監(jiān)容紅強(qiáng)共同見證了這一AI外科手術(shù)領(lǐng)域的里程碑式突破。
(從左至右)容紅強(qiáng)、謝強(qiáng)、廖槐、劉宏斌、Nassir Navab、潘偉生、陳達(dá)明、王元孟
從“看像素”到“懂運(yùn)動”：視頻原生架構(gòu)的范式革命
“術(shù)影”SurgMotion手術(shù)視頻大模型是目前業(yè)內(nèi)規(guī)模最大、最完整的手術(shù)視頻通用智能底座，依托SurgMotion-15M數(shù)據(jù)集進(jìn)行訓(xùn)練。該數(shù)據(jù)集涵蓋約1500萬幀、超3658小時(shí)的真實(shí)手術(shù)視頻�；谶@一海量數(shù)據(jù)，SurgMotion突破傳統(tǒng)像素重建的局限，引入運(yùn)動引導(dǎo)的隱空間預(yù)測機(jī)制，顯著提升了模型對手術(shù)器械、解剖結(jié)構(gòu)、交互動作等關(guān)鍵語義結(jié)構(gòu)的理解能力，為多中心、多科室、多術(shù)式的通用手術(shù)智能奠定了基礎(chǔ)。
“術(shù)影”SurgMotion大模型支持13種人類主要器官、6大類手術(shù)理解任務(wù)(工作流理解、動作理解、深度估計(jì)、息肉分割、三元組識別、技能評估)，并已在17個(gè)國際權(quán)威手術(shù)AI基準(zhǔn)上全面刷新最優(yōu)紀(jì)錄(SOTA)。該模型尤其在手術(shù)流程識別、器械交互理解、精細(xì)動作建模等核心任務(wù)上大幅超越現(xiàn)有方法，展現(xiàn)出極強(qiáng)的泛化能力與精度。
匯聚前沿洞見，共繪智慧醫(yī)療新藍(lán)圖
在致辭環(huán)節(jié)，劉宏斌研究員表示，去年CAIR發(fā)布了聆音超聲大模型和多模態(tài)醫(yī)療AI大模型CARES 3.0，展現(xiàn)了持續(xù)創(chuàng)新的研發(fā)實(shí)力。今年我們隆重推出“術(shù)影”SurgMotion手術(shù)視頻大模型，助力構(gòu)建大灣區(qū)AI醫(yī)療的智慧生態(tài)。我們的研發(fā)始終以臨床應(yīng)用為核心目標(biāo)，旨在賦能醫(yī)生，造�；颊�，為構(gòu)建更健康、更高效的醫(yī)療生態(tài)貢獻(xiàn)力量。
劉宏斌研究員致辭
Nassir Navab院士作為該模型的重要合作方，對雙方合作給予高度評價(jià)。他表示與CAIR團(tuán)隊(duì)的合作過程十分愉快且富有成效，并贊嘆CAIR展現(xiàn)出的卓越研發(fā)效率與快速迭代能力。他期待未來雙方繼續(xù)深化合作，共同推動技術(shù)創(chuàng)新突破。
Nassir Navab院士致辭
開源模型，構(gòu)筑通用手術(shù)AI基石
在大模型發(fā)布推介環(huán)節(jié)，CAIR研究員易東正式宣布十億參數(shù)量的“術(shù)影”SurgMotion大模型全面開源。他闡述了SurgMotion的設(shè)計(jì)理念：手術(shù)視頻中存在大量的冗余片段或干擾噪聲，傳統(tǒng)自監(jiān)督學(xué)習(xí)方法容易將算力和模型容量浪費(fèi)在這類低層次細(xì)節(jié)上。因此，我們在V-JEPA架構(gòu)基礎(chǔ)上引入運(yùn)動引導(dǎo)的隱空間預(yù)測、特征多樣性保持和模型穩(wěn)定性保持三項(xiàng)技術(shù)改進(jìn)，讓模型更專注學(xué)習(xí)手術(shù)視頻中的運(yùn)動和中高層語義信息，實(shí)現(xiàn)了更高效的自監(jiān)督訓(xùn)練方法。
除技術(shù)創(chuàng)新以外，研究團(tuán)隊(duì)還構(gòu)建了目前規(guī)模最大的手術(shù)視頻預(yù)訓(xùn)練數(shù)據(jù)集——SurgMotion-15M。該數(shù)據(jù)集匯集來自50個(gè)數(shù)據(jù)源、13個(gè)解剖區(qū)域的3658小時(shí)手術(shù)視頻，涵蓋腹腔鏡、開腹、神經(jīng)外科、眼科、耳鼻喉科等多�？茍鼍�，為模型提供了前所未有的多樣性支撐。
易東研究員發(fā)布“術(shù)影”大模型
賦能臨床實(shí)踐，打造醫(yī)患雙贏新格局
“術(shù)影”SurgMotion的標(biāo)準(zhǔn)化分析能力可有效降低復(fù)雜手術(shù)的風(fēng)險(xiǎn)，顯著提升臨床診斷與手術(shù)操作的規(guī)范性，為各級醫(yī)療工作者提供強(qiáng)有力的技術(shù)支持。在應(yīng)用案例演示環(huán)節(jié)， 香港大學(xué)深圳醫(yī)院神經(jīng)醫(yī)學(xué)中心名譽(yù)顧問醫(yī)師潘偉生教授首先介紹了“術(shù)影”SurgMotion在神經(jīng)外科培訓(xùn)領(lǐng)域的應(yīng)用驗(yàn)證。擁有35年臨床經(jīng)驗(yàn)的潘偉生教授表示，香港大學(xué)深圳醫(yī)院作為神經(jīng)外科�？婆嘤�(xùn)基地，一直致力于解決復(fù)雜手術(shù)教學(xué)中傳統(tǒng)“師帶徒”模式的標(biāo)準(zhǔn)化難題。此次驗(yàn)證的“術(shù)影”大模型不僅在多中心臨床數(shù)據(jù)中準(zhǔn)確率高達(dá)90%，在公開的JIGSAWS手術(shù)技能評估數(shù)據(jù)集中，其評估誤差(MAE)降至最低的2.649，與專家評分的相關(guān)性(Spearman)高達(dá)0.770，性能遠(yuǎn)超同類模型。憑借精準(zhǔn)的動作解析與客觀的評估能力，該系統(tǒng)未來將成為可靠的教學(xué)輔助工具，幫助年輕醫(yī)生進(jìn)行規(guī)范化的手術(shù)復(fù)盤，極大推動�？婆嘤�(xùn)的數(shù)字化與標(biāo)準(zhǔn)化發(fā)展。
潘偉生教授展示“術(shù)影”大模型應(yīng)用案例
中山大學(xué)附屬第一醫(yī)院呼吸與危重癥醫(yī)學(xué)科副主任廖槐教授則展示了該模型在呼吸介入治療領(lǐng)域的應(yīng)用案例。他表示，呼吸介入治療正向著更深、更精細(xì)的方向發(fā)展，這迫切需要強(qiáng)大的AI視覺模型來提供技術(shù)支撐。今天發(fā)布的“術(shù)影”大模型展現(xiàn)了卓越的性能，在圖像分割和深度估計(jì)這兩項(xiàng)關(guān)鍵任務(wù)上全面領(lǐng)先，實(shí)現(xiàn)了極高的病灶勾畫精度與極低的深度誤差。結(jié)合中山一院真實(shí)的臨床視頻數(shù)據(jù)進(jìn)行測試，呼吸介入治理流程識別達(dá)到85%左右的準(zhǔn)確率，這種能真正“讀懂”手術(shù)的強(qiáng)大感知能力，未來必將深度賦能支氣管鏡機(jī)器人，大幅提升臨床治療的精準(zhǔn)度與安全性。
廖槐主任展示“術(shù)影”大模型應(yīng)用案例
聚焦技術(shù)落地，探索產(chǎn)業(yè)轉(zhuǎn)化新路徑
媒體問答環(huán)節(jié)，劉宏斌研究員、潘偉生教授、廖槐主任、陳達(dá)明醫(yī)生及易東研究員共同接受了媒體的提問，就SurgMotion大模型的技術(shù)細(xì)節(jié)、臨床應(yīng)用前景及產(chǎn)業(yè)化路徑等問題展開了深入交流。本次CAIR開源發(fā)布的“術(shù)影”SurgMotion手術(shù)視頻大模型，加速了手術(shù)AI規(guī)�；瘧�(yīng)用的落地，為粵港澳大灣區(qū)醫(yī)療科技創(chuàng)新持續(xù)注入動能。
五位專家接受媒體訪問
中國科學(xué)院香港創(chuàng)新研究院是中國科學(xué)院在香港設(shè)立的唯一直屬科研機(jī)構(gòu)，于2019年成立，人工智能與機(jī)器人創(chuàng)新中心(CAIR)是其兩大科研中心之一。中心聚焦人工智能與生命健康的融合創(chuàng)新，主要圍繞多模態(tài)AI大模型、具身智能機(jī)器人、智能感知技術(shù)三大方向開展研究工作，獲香港InnoHK人工智能領(lǐng)域重點(diǎn)支持，是國際上為數(shù)不多的成建制開展面向醫(yī)療健康的人工智能系統(tǒng)技術(shù)研發(fā)與技術(shù)轉(zhuǎn)化的機(jī)構(gòu)之一，致力建設(shè)成為粵港澳大灣區(qū)醫(yī)療科技創(chuàng)新及成果轉(zhuǎn)化重要基地。
（責(zé)任編輯：華康）
