核心提示:這是國(guó)內(nèi)首面向醫(yī)療大模型應(yīng)用評(píng)測(cè)和驗(yàn)證的平臺(tái),華山醫(yī)院、 中山醫(yī)院、瑞金醫(yī)院等12家醫(yī)療機(jī)構(gòu)成為中心首批驗(yàn)證單位。
當(dāng)前,醫(yī)療大模型正被探索應(yīng)用于疾病預(yù)測(cè)、輔助診斷、個(gè)性化治療、藥物發(fā)現(xiàn)等各細(xì)分領(lǐng)域,但它也面臨著準(zhǔn)確度、可解釋性、數(shù)據(jù)隱私、醫(yī)學(xué)倫理等問題。據(jù)不完全統(tǒng)計(jì),目前全國(guó)有約4000個(gè)醫(yī)療垂類大模型,如何判斷它們是否安全、合規(guī)、高效? 今天,由上海人工智能實(shí)驗(yàn)室牽頭建設(shè)的上海市醫(yī)療大模型應(yīng)用檢測(cè)驗(yàn)證中心在滬成立。這是國(guó)內(nèi)首面向醫(yī)療大模型應(yīng)用評(píng)測(cè)和驗(yàn)證的平臺(tái),華山醫(yī)院、 中山醫(yī)院、瑞金醫(yī)院等12家醫(yī)療機(jī)構(gòu)成為中心首批驗(yàn)證單位。
檢測(cè)中心成立的意義何在?專家表示,大語言模型的改進(jìn)十分依賴反饋,評(píng)測(cè)能夠讓大模型識(shí)別短板,加速進(jìn)化“飛輪”旋轉(zhuǎn),打通 “訓(xùn)、評(píng)、用一體化”鏈路。
評(píng)測(cè)是大模型閉環(huán)不可或缺的一部分 如何為層出不窮的醫(yī)療大模型“打分”?得益于上海人工智能實(shí)驗(yàn)室在全球首醫(yī)療基礎(chǔ)模型群“浦醫(yī)”、醫(yī)療大模型評(píng)測(cè)體系“MedBench”等研究的長(zhǎng)期技術(shù)積累,市醫(yī)療大模型檢測(cè)中心目前已支持14個(gè)應(yīng)用場(chǎng)景評(píng)測(cè),涵蓋醫(yī)療大模型評(píng)測(cè)的全鏈條。
開啟評(píng)測(cè)的第一步是資質(zhì)核對(duì)環(huán)節(jié)。用戶提交評(píng)測(cè)申請(qǐng)時(shí)需錄入模型備案信息,平臺(tái)會(huì)自動(dòng)查詢并檢測(cè)網(wǎng)信辦備案真實(shí)性。其中,基礎(chǔ)大模型甄別采用了上海人工智能實(shí)驗(yàn)室的專利技術(shù),在不添加水印和保持大語言模型通用能力的同時(shí),使用基于表征的指紋識(shí)別技術(shù)追溯大語言模型的基模型來源,保證大語言模型來源安全。
安全評(píng)價(jià)分為通用安全問題和醫(yī)療倫理安全問答,只有通過兩項(xiàng)安全基準(zhǔn)線,才可進(jìn)入下一步評(píng)測(cè)。模型應(yīng)用服務(wù)的時(shí)效性評(píng)價(jià)包括響應(yīng)時(shí)間、吞吐量、計(jì)算效率等,性能評(píng)價(jià)則依據(jù)場(chǎng)景應(yīng)用需求,結(jié)合臨床醫(yī)學(xué)專家討論制定評(píng)測(cè)集,考察應(yīng)用服務(wù)對(duì)評(píng)測(cè)集應(yīng)答的能力。
大模型評(píng)測(cè)為何重要?上海人工智能實(shí)驗(yàn)室青年科學(xué)家徐捷說,訓(xùn)練、評(píng)測(cè)和使用共同組成了大語言模型的閉環(huán),因?yàn)榇笳Z言模型訓(xùn)練非常需要“正反饋”,評(píng)測(cè)可以清晰識(shí)別模型短板,進(jìn)而通過有針對(duì)性地投喂語料,幫助大模型實(shí)現(xiàn)快速迭代。
瞄準(zhǔn)模型多樣化訓(xùn)練需求,上海庫帕思科技有限公司聯(lián)合上海市衛(wèi)生和健康發(fā)展研究中心、上海市中醫(yī)文獻(xiàn)館,共同發(fā)布了上海市衛(wèi)生健康行業(yè)語料庫1.0版,通過構(gòu)建高質(zhì)量語料、創(chuàng)新語料工具鏈服務(wù)及分發(fā)模式,為中醫(yī)藥及健康管理領(lǐng)域醫(yī)療大模型的訓(xùn)練優(yōu)化提供數(shù)據(jù)支撐。
市經(jīng)信委主任張英表示,醫(yī)療大模型應(yīng)用檢測(cè)驗(yàn)證中心的啟用,將能夠?qū)︶t(yī)療大模型的全鏈路進(jìn)行強(qiáng)化管理,也為進(jìn)一步推動(dòng)醫(yī)療人工智能技術(shù)與臨床實(shí)踐的深度融合提供了平臺(tái)保障。 基礎(chǔ)大模型上“長(zhǎng)”出更多好產(chǎn)品 垂直化、專業(yè)化、場(chǎng)景化、細(xì)分化,是人工智能落地醫(yī)療場(chǎng)景的重要方向。近年來,上海人工智能實(shí)驗(yàn)室與各場(chǎng)景應(yīng)用方、生態(tài)公司緊密合作,在基礎(chǔ)大模型與場(chǎng)景融合上展開積極探索。垂類大模型“浦醫(yī)智捷”以及基于書生大模型的首批五大醫(yī)療示范應(yīng)用昨天同時(shí)發(fā)布。
“浦醫(yī)智捷”以書生大模型為基座,通過萬億條約30TB高質(zhì)量醫(yī)療語料訓(xùn)練而成,覆蓋醫(yī)療服務(wù)管理、基層公衛(wèi)服務(wù)、健康產(chǎn)業(yè)發(fā)展、醫(yī)學(xué)教學(xué)科研等多種能力。不同參數(shù)版本可供用戶根據(jù)場(chǎng)景類別和應(yīng)用領(lǐng)域進(jìn)行選擇。
五大醫(yī)療示范應(yīng)用囊括了疾病篩查與管理、臨床診療輔助、智能科研輔助、智能教學(xué)輔助、智慧管理等方向,覆蓋診前、診中、診后及管理的各環(huán)節(jié)。其中,兒童常見眼病篩查與管理系統(tǒng)由上海人工智能實(shí)驗(yàn)室聯(lián)合上海交通大學(xué)附屬第九人民醫(yī)院、上海交通大學(xué)及醫(yī)利捷(上海)信息科技有限公司打造,僅靠一張眼部正面照片就能開展全方位的兒童常見眼部疾病篩查,為基層義診提供技術(shù)支持。肺部結(jié)節(jié)與早期肺癌診療服務(wù)平臺(tái)由實(shí)驗(yàn)室與同濟(jì)大學(xué)附屬肺科醫(yī)院、同濟(jì)大學(xué)合作,采用胸部CT照片生成“數(shù)字肺”,并可通過大模型生成智能化報(bào)告。
在臨床研究和教學(xué)方面,實(shí)驗(yàn)室聯(lián)合上海臨床創(chuàng)新轉(zhuǎn)化研究院聯(lián)合開發(fā)了“杏林智研”臨床研究大模型及科研助手產(chǎn)品,可用于論文精讀等場(chǎng)景,助力高質(zhì)量臨床試驗(yàn)創(chuàng)新轉(zhuǎn)化。
上海人工智能實(shí)驗(yàn)室主任、首席科學(xué)家周伯文表示,“浦醫(yī)智捷”等醫(yī)療大模型及首批醫(yī)療示范應(yīng)用是實(shí)驗(yàn)室與醫(yī)療界協(xié)同創(chuàng)新的重要成果,未來將繼續(xù)與各方攜手,基于書生大模型強(qiáng)大的通用性能,深化醫(yī)療專用模型的縱深能力,共同探索智慧醫(yī)療的全新落地形式。