醫(yī)療器械創(chuàng)新網(wǎng)
為進一步規(guī)范肺結節(jié)CT圖像輔助檢測軟件的管理，國家藥監(jiān)局器審中心組織制定了《肺結節(jié)CT圖像輔助檢測軟件注冊審查指導原則》，現(xiàn)予發(fā)布。
特此通告。
附件：肺結節(jié)CT圖像輔助檢測軟件注冊審查指導原則
國家藥品監(jiān)督管理局?
醫(yī)療器械技術審評中心?
2022年5月26日
附件
肺結節(jié)CT圖像輔助檢測軟件注冊審查指導原則
本指導原則是對肺結節(jié)CT圖像輔助檢測軟件的一般要求，申請人應依據(jù)產品的具體特性確定其中的內容是否適用。若不適用，需具體闡述其理由及相應的科學依據(jù)，并依據(jù)具體的產品特性對注冊申報資料的內容進行充實和細化。
本指導原則是供注冊申請人和技術審評人員使用的指導性文件，但不包括注冊審批所涉及的行政事項，亦不作為法規(guī)強制執(zhí)行，應在遵循相關法規(guī)的前提下使用本指導原則。如果有能夠滿足相關法規(guī)要求的其他方法，也可以采用，但是需要提供詳細的研究資料和驗證資料。
本指導原則是在現(xiàn)行法規(guī)和標準體系以及當前認知水平下制定的，隨著法規(guī)和標準的不斷完善，以及科學技術的不斷發(fā)展，相關內容也將適時進行調整。
本指導原則是人工智能醫(yī)療器械指導原則體系的重要組成部分，基于人工智能醫(yī)療器械審評指導原則的通用要求，明確了肺結節(jié)CT圖像輔助檢測軟件的具體要求。
一、適用范圍
本指導原則適用于肺結節(jié)CT圖像輔助檢測軟件的產品注冊。按現(xiàn)行《醫(yī)療器械分類目錄》，該類產品分類編碼為21-04-02，管理類別為三類。設備中所含肺結節(jié)CT圖像輔助檢測功能也適用于本指導原則。采用非人工智能算法的肺結節(jié)CT圖像輔助檢測軟件可參照本指導原則執(zhí)行。
二、注冊審查要點
（一）監(jiān)管信息
明確申請表中產品名稱、管理類別、分類編碼、型號規(guī)格、產品組成等信息。
1.???產品名稱
產品命名需符合《醫(yī)療器械通用名稱命名規(guī)則》的要求。根據(jù)產品預期用途可采用肺結節(jié)CT圖像輔助檢測軟件進行命名。
2.分類編碼
依據(jù)《醫(yī)療器械分類目錄》，申報產品分類編碼為21-04-02。按第三類醫(yī)療器械管理。
（二）綜述資料
1. 產品描述
1.1器械及操作原理描述
1.1.1工作原理
需詳述產品的工作原理，例如：基于深度學習技術對醫(yī)學影像進行分析處理、對肺結節(jié)進行分割、檢測、自動識別等。
1.1.2結構組成
結構組成明確交付內容和功能模塊，其中交付內容包括軟件安裝程序、授權文件、外部軟件環(huán)境安裝程序等軟件程序文件，功能模塊包括客戶端、服務器端（若適用）、云端（若適用），若適用注明選裝、模塊版本。基于人工智能算法（如深度學習）的功能模塊，需在模塊名稱中予以注明，如深度學習。
1.1.3產品描述
需明確臨床工作流程，工作流程中使用申報產品的時間（如在醫(yī)生閱片前使用）。
肺結節(jié)檢測當前的臨床實踐（基于參考文獻）。
結合用戶界面圖示詳細介紹技術要求中對應的臨床功能、量化分析的具體內容、自動操作、手動及半自動操作/預定義的默認設置。需明確軟件輸出報告、特殊聲稱（如用于檢測小于4mm結節(jié)）、服務器部署（局域網(wǎng)、云端）、產品接口和聯(lián)合使用設備等信息。
1.2 型號規(guī)格
需明確申報產品的型號規(guī)格及發(fā)布版本。產品型號規(guī)格及其劃分，如同一個注冊單元包含多個型號規(guī)格，需提供產品型號規(guī)格區(qū)分列表或配置表。
1.3研發(fā)歷程
闡述申請注冊產品的研發(fā)背景和目的。如有參考的同類產品或前代產品，需提供同類產品或前代產品的信息，并說明選擇其作為研發(fā)參考的原因。
1.4與同類和/或前代產品的參考和比較
同一制造商生產的改良器械，建議直接和本公司已獲批準的器械的算法性能進行比較（即，使用相同的評估過程和測試數(shù)據(jù)集比較性能）。
2.適用范圍和禁忌證
（1）適用范圍
適用范圍需明確處理對象、核心功能、適用人群、目標用戶、臨床用途。
例如，用于胸部CT圖像的顯示、處理、測量和分析，可對4mm及以上肺結節(jié)進行自動識別并分析結節(jié)影像學特征，供經(jīng)培訓合格的醫(yī)師使用，不能單獨用作臨床診療決策依據(jù)。
（2）預期使用環(huán)境
需明確設備使用場所和使用環(huán)境要求。
設備使用場所包括：醫(yī)療機構機房等。
使用環(huán)境要求需至少包括：推薦的硬件使用的適宜溫度、濕度、大氣壓、光照條件。
（3）適用人群
需詳述產品的適用人群、感興趣器官/疾病/病灶/異常、以及預期使用該產品的目標用戶。如，可供18歲及以上門診及體檢人群使用，供經(jīng)培訓合格的放射科醫(yī)師、專科醫(yī)師使用。
（4）禁忌證
需明確產品臨床應用的禁忌證以及器械限制，包括導致器械無效且不應使用的疾病、病癥、異常。
（三）非臨床資料
1.產品風險管理資料
依據(jù)YY/T 0316《醫(yī)療器械風險管理對醫(yī)療器械的應用》，提供產品風險管理報告。
申請人需重點說明：申報產品的研制階段已對有關可能的危害及產生的風險進行了估計和評價，針對性地實施了降低風險的技術和管理方面的措施。產品性能測試對上述措施的有效性進行了驗證，達到了通用和專用標準的要求。申請人對所有剩余風險進行了評價，全部達到可接受的水平。產品風險分析資料需為申請人關于產品安全性的承諾提供支持。
風險管理報告一般包括以下內容：
（1）申報產品的風險管理組織。
（2）申報產品的組成。
（3）申報產品符合的安全標準。
（4）申報產品的預期用途，與安全性有關的特征的判定。
（5）對申報產品的可能危害作出判定（見附件1）。
（6）對所判定的危害采取的降低風險的控制措施。
（7）對采取控制措施后的剩余風險進行估計和評價。
2.產品技術要求及檢驗報告
2.1產品技術要求
依據(jù)《醫(yī)療器械產品技術要求編寫指導原則》進行編制。
? 2.1.1規(guī)格信息
明確軟件發(fā)布版本和版本命名規(guī)則。軟件版本命名規(guī)則原則上需涵蓋算法驅動型更新和數(shù)據(jù)驅動型更新，明確并區(qū)分重大軟件更新和輕微軟件更新，其中重大軟件更新列舉常見典型情況。
明確不同型號間產品差異。
2.1.2性能指標
明確產品處理對象，以及數(shù)據(jù)接口信息，包括成像模態(tài)（如計算機體層攝影）和特定軟硬件名稱及型號（如適用）。
明確軟件功能及指標，如輸入圖像的質量要求、結節(jié)檢出、結節(jié)密度分類類別（如實性、亞實性的手動分類等）、結節(jié)位置（如肺葉、肺段、肺結節(jié)CT圖像層面、肺內、胸膜）、結節(jié)標記方式（緊密包裹結節(jié)的邊界框、不緊密包裹結節(jié)的邊界框）、分割方式（自動分割、半自動分割、手動分割）、測量功能（如體積、最大軸向平面最長直徑、短徑、平均直徑、最大三維直徑、有效直徑、平均密度、面積等）、隨訪評估功能（如倍增時間、數(shù)值參數(shù)的百分比(%)和絕對變化、結節(jié)長軸、短軸、平均直徑、最大三維直徑、有效直徑、體積、平均密度等）、客觀物理測量準確性（如線性度、精度、重復性、再現(xiàn)性、范圍限值、顯示誤差等）、結節(jié)的3D或MIP可視化等。
使用限制明確應用場景（體檢、門診病房）、患者（年齡、地域、疾病類型）、CT設備（主流廠家、探測器排數(shù)）、CT掃描參數(shù)(如管電壓、管電流、層厚/層間距、劑量（常規(guī)劑量、低劑量）、窗寬窗位、重建方式、顯示方式)、放射學檢查條件(CT增強掃描、CT平掃)、CT圖像質量要求(如分辨率、偽影)、結節(jié)檢出的尺寸范圍、結節(jié)密度分類類別。如軟件包含圖像質量判定功能，明確軟件使用限制。
若含有基于測評數(shù)據(jù)庫測試的性能指標，其要求參考《人工智能醫(yī)療器械注冊審查指導原則》。
運行環(huán)境，運行在不同計算機系統(tǒng)的產品模塊（如客戶端和云端）需分別描述其運行環(huán)境、服務器部署（局域網(wǎng)、云端）信息。
附錄中明確體系結構圖、用戶界面關系圖與主界面圖示、物理拓撲圖、測評數(shù)據(jù)庫、數(shù)據(jù)庫/集信息。
3.軟件研究
（1）基本要求
生產企業(yè)需依據(jù)《醫(yī)療器械軟件注冊審查指導原則（2022年修訂版）》提交相應軟件研究資料。其中，核心算法所述人工智能算法需依據(jù) 《人工智能醫(yī)療器械注冊審查指導原則》提交相應算法研究資料。
生產企業(yè)需依據(jù)《醫(yī)療器械網(wǎng)絡安全注冊審查指導原則（2022年修訂版）》提交網(wǎng)絡安全描述文檔。按照《人工智能醫(yī)療器械注冊審查指導原則》提交數(shù)據(jù)安全資料。
若使用云計算服務，生產企業(yè)需依據(jù)《人工智能醫(yī)療器械注冊審查指導原則》提交相應研究資料。使用云計算服務需明確服務模式、部署模式、核心功能、數(shù)據(jù)接口、網(wǎng)絡安全能力、服務（質量）協(xié)議等要求。
軟件版本命名規(guī)則涵蓋算法驅動型軟件更新和數(shù)據(jù)驅動型軟件更新；區(qū)分重大軟件更新和輕微軟件更新，其中重大軟件更新需列舉常見典型情況。
（2）軟件安全級別
該類產品的軟件安全性級別為嚴重（C）級。
（3）核心功能
列明軟件核心功能的名稱、所用核心算法、預期用途并注明類型，全新的核心功能、核心算法、預期用途均需提供安全有效性研究資料。
表1 核心功能示例
?注：表1中全新是對當前深度學習算法的全新算法的示例
4.算法研究資料
需提供算法設計和功能的信息，提供流程圖及注釋，明確算法名稱、版本、軟件平臺的相關特性。
需描述算法每個階段（如肺結節(jié)檢出、肺結節(jié)分類、肺結節(jié)分割、肺結節(jié)測量）的設計和功能，通過文獻論述算法類型（成熟及全新）。
4.1.1肺結節(jié)檢出算法
肺結節(jié)檢出算法需明確算法的輸入，比如算法采用的是2D，2.5D還是3D的胸部CT圖像作為算法輸入；算法的輸出-標記格式描述（形狀、大小、與感興趣區(qū)域有關的預期位置、邊界、顏色，比如緊密包裹肺結節(jié)的矩形框端點（二維/三維），肺結節(jié)中心點）。
明確算法所采用的神經(jīng)網(wǎng)絡結構，如 Faster RCNN；明確算法訓練采用的損失函數(shù)，如交叉熵，L1范數(shù)；明確算法設計過程中網(wǎng)絡結構、損失函數(shù)等核心組件選擇和設計的原則、方法與風險考量，如肺結節(jié)大小尺度的差異，肺結節(jié)與背景正負樣本的不均衡性、假陽性、過擬合等；若肺結節(jié)檢出采用多個模型融合，需明確不同模型訓練與推理的方式，以及模型融合的策略，如級聯(lián)，多數(shù)投票；
肺結節(jié)檢出存在同一個目標多個重疊框的問題，算法需明確匹配關系所采用的策略，如交并比（IoU），定位框中心距離；
明確算法的流程圖，需包含算法運行前所進行的前處理（圖像縮放、圖像像素值歸一化、圖像重采樣）以及算法運行后所進行的后處理操作（圖像重采樣、非最大化抑制）。明確訓練與部署所采用的框架（如Tensorflow, Pytorch）、算法運行環(huán)境（如內存、顯存的需求）。
若使用遷移學習技術，除上述內容外還需補充預訓練模型的數(shù)據(jù)集構建、算法測試等資料。
4.1.2肺結節(jié)密度分類算法
肺結節(jié)密度分類算法需明確輸出（密度類別），密度類別制定依據(jù)以及臨床適用性。
肺結節(jié)密度分類算法需明確算法的輸入，比如算法采用的是2D，2.5D還是3D的圖像作為算法的輸入。若采用2D，需明確肺結節(jié)選取的圖像層面，如中心層面，最大面積層面；明確算法所采用的神經(jīng)網(wǎng)絡結構，如Residual Net，Dense-Net；明確算法訓練采用的損失函數(shù)，如交叉熵，F(xiàn)ocal損失函數(shù)；損失函數(shù)等核心組件選擇和設計的原則、方法與風險考量，如肺結節(jié)大小尺度的差異，不同類別肺結節(jié)樣本的不均衡性、過擬合等；若肺結節(jié)分類采用多個模型融合，需明確不同模型訓練與推理的方式，以及模型融合的策略，如多數(shù)投票；最后，明確算法的流程圖，訓練與部署所采用的框架（如Tensorflow, Pytorch）、算法運行環(huán)境（如內存、顯存的需求）。
4.1.3肺結節(jié)測量算法
針對肺結節(jié)測量算法，明確測量原理（基于像素點數(shù)），測量實現(xiàn)的方式，如肺結節(jié)體積測量算法、密度值測量算法與長徑短徑測量算法可以通過肺結節(jié)分割技術來實現(xiàn)，也可以通過機器學習中的回歸方法來進行預測。測量內容包括長徑、短徑、體積、面積、平均HU值等，其中密度值測量算法需明確測量的類型，如平均值，標準差，最大值，最小值，中位數(shù)。
4.1.4肺結節(jié)肺葉肺段定位算法
肺結節(jié)肺葉肺段定位算法中，明確肺結節(jié)定位的類別，如左/右肺定位、肺葉定位、肺段定位。明確算法輸入的類型，如肺結節(jié)二維切片，肺結節(jié)三維圖像塊，若輸入類型為二維切片，明確二維切片選取標準（如肺結節(jié)長徑短徑交點所在切片、肺結節(jié)最大面積切片）。
肺結節(jié)肺葉肺段定位算法需明確實現(xiàn)的機理，如基于肺段分割算法實現(xiàn)解剖定位，基于圖像分類算法實現(xiàn)解剖定位。
若申報產品涉及上述多個算法，需提供算法整體流程圖，明確各個算法調用先后關系，以及輸入輸出依賴關系。
若使用遷移學習技術，除上述內容外還需補充預訓練模型的數(shù)據(jù)集構建、算法測試等資料。
4.2算法需求規(guī)范
算法功能需求建議關注數(shù)據(jù)庫需求、算法性能評價指標及制定依據(jù)、性能的擬定目標及制定依據(jù)。
4.2.1數(shù)據(jù)庫需求
算法性能評價需要基于訓練和測試數(shù)據(jù)庫，數(shù)據(jù)庫具體要求詳見附件2。
4.2.2算法性能評價指標
在指定肺結節(jié)檢出算法評估指標之前，需確定器械標記的位置和范圍和參考標準之間的匹配性，需明確標記匹配的方式，即算法標記目標與參考標準目標的匹配方式，常見的標記匹配方式有按照區(qū)域重疊的比例（面積、體積）、中心點的距離、中心是否落入來判斷標記是否匹配；還需明確聲稱的標記匹配的閾值。
明確算法任務，明確算法訓練和調優(yōu)過程中不同任務的評估指標及定義。有關標記匹配方式與評估指標的定義可以參考“人工智能醫(yī)療器械肺部影像輔助分析軟件算法性能測試方法”5.1.1.1章節(jié)。明確不同任務的算法評價指標的定義、計算公式及確定依據(jù)、分層影響因素選擇依據(jù)，如肺結節(jié)診療中國專家共識、美國國立綜合癌癥網(wǎng)絡NCCN指南、 Fleischner協(xié)會指南、中華醫(yī)學會肺癌臨床診療指南等。
結節(jié)檢出指標包括不限于召回率、精確度、自由響應受試者操作特性曲線（FROC）。
結節(jié)分類指標包括不限于靈敏度、特異度、總體的Kappa系數(shù)、準確率。
結節(jié)分割指標包括不限于Dice系數(shù)、體積交并比、Hausdorff距離。
測量指標包括不限于相對誤差、絕對誤差、相對誤差絕對值的平均值。
提供文獻綜述論證評價指標選擇及分層影響因素選擇的合理性。分層分析的影響因素包括年齡、病變類型、大小、層厚、采集協(xié)議、性別、結節(jié)大小、結節(jié)密度、廠家、重建核、劑量、管電壓、管電流等重要變量。
算法質量特性包括泛化能力、魯棒性（對抗測試）、壓力測試、重復性、一致性、效率。
隨訪評估功能包括倍增時間、數(shù)值參數(shù)的百分比(%)和絕對變化，如結節(jié)長軸、短軸、平均直徑、最大三維直徑、有效直徑、體積、平均HU等。
4.2.3算法性能測試基本要求
基于算法流程圖評價每個器械操作點的基于病例、基于肺結節(jié)、基于分層因素的性能指標，需包括訓練集、調優(yōu)集、測試集的算法性能測試結果，需明確測試方法。所有性能指標均需具有相關置信區(qū)間，需提供關于估計置信區(qū)間以及與其相關的臨床顯著性的方法學描述，需提供FROC曲線圖及FROC置信區(qū)間（如適用）。
4.2.3.1結節(jié)檢出
需給出軟件檢出肺結節(jié)的召回率和精確度的閾值。測試產品定位準確程度時，只有真陽性檢出的結節(jié)，且位置正確的標記才能算作正確標記。
召回率和精確度的計算一般針對全體結節(jié)進行。在設置篩選條件后，可以使用篩選后的參考標準與篩選后的AI結果進行匹配。如篩選后假陽性結果難以定義，建議以召回率為主要指標，常見情形為：
-對具體某一種結節(jié)類型，計算結節(jié)的召回率。
-對平均直徑、長徑處于某一區(qū)間的結節(jié)，計算召回率
-對類型、尺寸范圍組合的結節(jié)，計算召回率。
4.2.3.2結節(jié)分類
明確分類場景，如二分類場景、多分類場景。對于二分類場景下的指標，如軟件能夠對A類型的肺結節(jié)進行分類，需給出準確率、靈敏度、特異性的閾值。總體的Kappa系數(shù)不低于N%；多分類問題可以轉化為二分類問題，按每一類進行描述。
4.2.3.3結節(jié)分割
如果產品在三維上進行結節(jié)分割，需給出算法可以達到的體積交并比或者DICE系數(shù)的閾值。如果產品只輸出最大層面的分割，則需給出算法可以達到的最大層面面積交并比或者DICE系數(shù)的閾值。測試集數(shù)據(jù)的平均交并比或者DICE系數(shù)的95%置信區(qū)間應大于等于該閾值。
4.2.3.4結節(jié)測量
需明確測量內容，如體積、密度、尺寸測量；需明確各測量內容的測量誤差。對于尺寸測量長徑小于等于10mm需增加平均直徑允差，大于10mm需增加短徑允差。
4.2.3.5結節(jié)肺葉肺段定位
結節(jié)肺葉肺段定位需明確定位的具體功能（如采用邊緣勾畫方法展示肺葉肺段分割結果、僅采用文字描述結節(jié)所處肺葉肺段），肺葉、肺段標記標簽分布（如左肺上葉尖后段、左肺上葉前段、右肺中葉外段……）、基于不同功能確定測試指標（如結節(jié)所處左右肺準確性、肺葉準確性、肺段準確性、肺葉肺段分割的DICE系數(shù)或其他合理指標）及測試指標的計算方法、參考標準建立的方法、測試流程。
測試產品定位準確程度時，只有真陽性檢出的結節(jié)，且位置正確的標記才能算作正確標記。
4.2.4樣本量
明確樣本量估計的公式、參數(shù)及制定依據(jù)。研究樣本應足夠大，以使聲稱的性能具有統(tǒng)計學顯著性，若有分層性能的聲稱，應確定子集的樣本量以檢測聲稱的統(tǒng)計學顯著性。
4.2.5測試方法
需明確測試方法及制定依據(jù)。
4.3數(shù)據(jù)質控
建議參考“人工智能醫(yī)療器械注冊審查指導原則”及“人工智能醫(yī)療器械質量要求和評價 第2部分：數(shù)據(jù)集通用要求”。
4.3.1數(shù)據(jù)采集
需提供數(shù)據(jù)采集協(xié)議，需要考慮明確偏倚控制的方法，如通過各亞組設置進行偏移控制，不應為提高算法結果刻意篩選數(shù)據(jù)。采集數(shù)據(jù)的地區(qū)分布需覆蓋東西南北中地區(qū)。
明確數(shù)據(jù)庫信息（要求詳見附件2）
4.3.2數(shù)據(jù)整理
明確數(shù)據(jù)轉移保存的方法。明確數(shù)據(jù)納入排除標準，以及進行數(shù)據(jù)篩選的方法（人工清洗、自動清洗），提供數(shù)據(jù)整理軟件工具的研究資料。
提供數(shù)據(jù)清洗流程圖，明確清洗規(guī)則，例如確定數(shù)據(jù)合規(guī)性、圖像唯一性、層厚、層間距等信息滿足要求、連續(xù)性、完整性、已完成脫敏等并加以篩選。清洗結果明確棄用數(shù)據(jù)的數(shù)量和原因。明確預處理的操作步驟和內容。
4.3.3數(shù)據(jù)標注
數(shù)據(jù)標注建議參考“人工智能醫(yī)療器械質量要求和評價第3部分：數(shù)據(jù)標注通用要求”。
需明確標注任務分類（包括數(shù)據(jù)模態(tài)、執(zhí)行主體、標注結果格式、標注結果性質、標注結果形式等維度），提供標注任務描述文檔（標注規(guī)則、標注人員、標注工具、標注環(huán)境、數(shù)據(jù)）。其中標注規(guī)則需明確制定依據(jù)并提供參考文獻。標注內容宜包括結節(jié)檢出、結節(jié)位置（肺葉、肺段、結節(jié)層面）、結節(jié)大小、結節(jié)密度、角度等。標注人員建議列表給出標注、審核、仲裁人員的基本信息，如數(shù)量、醫(yī)療機構、科室、工作年限、職稱、培訓、培訓考核情況、工作量、標注任務、人員類型（標注、審核、仲裁）。
標注與質控流程建議提供業(yè)務架構、過程組織（任務生成、任務分配、任務實施、質量控制、驗收準則及驗收報告）。其中業(yè)務架構宜采用流程圖介紹單例數(shù)據(jù)的標注、審核、仲裁過程。
明確標注是否基于另一器械的輸出、臨床檢驗(如病理檢測結果)、隨訪臨床成像檢查、除成像外的隨訪體檢、臨床醫(yī)生的解釋。
如標注工具、標注平臺使用人工智能算法進行輔助標注，需提交標注工具、標注平臺算法性能研究資料。
4.3.4數(shù)據(jù)集構建
依據(jù)《人工智能醫(yī)療器械注冊審查指導原則》指南明確訓練集、調優(yōu)集、測試集的劃分方法、劃分依據(jù)、數(shù)據(jù)分配比例。
提供查重驗證結果，以證實訓練集、調優(yōu)集、測試集的樣本兩兩無交集。
數(shù)據(jù)擴增需明確擴增的對象、范圍、方式（離線、在線）、方法（如翻轉、旋轉、鏡像、平移、縮放、濾波、生成對抗網(wǎng)絡等）、倍數(shù)、在線數(shù)據(jù)擴增記錄。
提供擴增數(shù)據(jù)庫與標注數(shù)據(jù)庫樣本量、樣本分布（注明擴增倍數(shù)）對比表，以證實擴增數(shù)據(jù)庫樣本量的充分性以及樣本分布的合理性。
如果采用生成對抗網(wǎng)絡進行數(shù)據(jù)擴增，應提供生成對抗網(wǎng)絡的算法基本信息以及算法選用依據(jù)資料。
?????? 算法訓練需明確訓練過程所采用的優(yōu)化器及其相關參數(shù)，如Adam，SGD；在算法訓練階段，需明確訓練集、調優(yōu)集的劃分方式，如留出法，交叉驗證法；需明確訓練目標，即判斷何時停止訓練，如設定最大的訓練epoch數(shù)目，依據(jù)損失函數(shù)判斷損失穩(wěn)定且不繼續(xù)下降，根據(jù)訓練epoch數(shù)量-評估指標曲線判斷評估指標不繼續(xù)提升等。當訓練停止后，明確訓練模型最佳epoch的選擇方法，如在留出法中，根據(jù)留出部分的調優(yōu)集選取評價指標最優(yōu)的epoch；在交叉驗證法中，計算多次隨機劃分調優(yōu)集的評價指標平均值，選擇最優(yōu)的epoch。同時，結合臨床需求（如靈敏度、精準度），明確算法出廠閾值的選擇與方法，并論證訓練所得模型是否滿足產品既定目標。算法出廠閾值的選擇需提供制定依據(jù)。
算法訓練階段需結合訓練數(shù)據(jù)量-評估指標曲線驗證算法訓練數(shù)據(jù)量的充分性。對于不同的訓練數(shù)據(jù)量，計算對應的評價指標。當評價指標為單一標量時（如靈敏度），訓練數(shù)據(jù)量-評估指標曲線的x軸為訓練數(shù)據(jù)的樣本量（如CT序列個數(shù)），y軸為在使用特定訓練量時，算法在測試集的評價指標。結合訓練數(shù)據(jù)量-評估指標曲線，判斷當訓練數(shù)據(jù)量有限時，評價指標是否隨數(shù)據(jù)量的增加而增加，并在數(shù)據(jù)量達到一定程度后，評價指標趨于平穩(wěn)。當評價指標為曲線時，可考慮根據(jù)不同訓練數(shù)據(jù)量，繪制對應的評價指標曲線，判斷曲線下面積（AUC）是否先隨數(shù)據(jù)量的增加而增加，最后當數(shù)據(jù)量達到一定程度后趨于平穩(wěn)。以FROC曲線為例，在評估訓練數(shù)據(jù)量的充分性時，當訓練數(shù)據(jù)量有限時，F(xiàn)ROC曲線下面積需隨數(shù)據(jù)量增加而增加，F(xiàn)ROC曲線逐步逼近坐標左上角；當訓練數(shù)據(jù)量達到一定程度后，F(xiàn)ROC曲線下面積慢慢趨于穩(wěn)定。
若訓練過程中采用了數(shù)據(jù)擴增的方式，需明確擴增方式，如離線數(shù)據(jù)擴增，在線數(shù)據(jù)擴增。同時，需明確數(shù)據(jù)擴增的方法以及相應的參數(shù)設置，如圖像平移，旋轉，縮放，彈性形變等。若訓練過程未采用數(shù)據(jù)擴增，需論證未進行數(shù)據(jù)擴增的理由。
明確臨床醫(yī)師操作點、不同算法任務的算法評價指標的閾值及確定依據(jù)。明確算法標記目標與參考標準的匹配方式和匹配閾值。
明確病例水平和結節(jié)水平計算方法及定義一個結節(jié)的處理方法及病例陽性的方法。在計算病例水平算法性能指標時，需要明確陽性以及陰性病例的定義，比如陽性病例是定義為包含肺結節(jié)的病例，還是定義為包含>4mm肺結節(jié)的病例。在計算結節(jié)水平算法性能指標時，需要明確檢出（真陽性）以及假陽性的定義，比如檢測框與參考標準重合率為多少時認為檢測框是真陽性，檢測框與金標準重合率的定義等。
區(qū)分算法任務制定具體測試方法和結果計算方法。建議參考《人工智能醫(yī)療器械 肺部影像輔助分析軟件 算法性能測試方法》。
基于算法的出廠閾值，明確算法在訓練集，調優(yōu)集和測試集的召回率與精確度，通過比較三個數(shù)據(jù)集的性能來評估算法的泛化性。
對于肺結節(jié)檢出算法，需分層統(tǒng)計算法對于不同大小和不同密度的肺結節(jié)的檢出效能，可以通過FROC曲線，召回率以及精確度等指標來評價，同時結合臨床需求論述結果的合理性。在肺結節(jié)大小的維度來進行分層統(tǒng)計，如將肺結節(jié)分為4-5mm,5-8mm ，8-10mm以及10-30mm。一般而言，肺結節(jié)尺寸越大，檢出的難度越低。在肺結節(jié)密度維度，需明確是二分類還是多分類，需明確密度類型及制定依據(jù)，進行密度類型的分層統(tǒng)計。
除此之外，還需考慮性別、年齡、設備廠家、重建方式、層厚/層間距、管電流、管電壓、劑量(常規(guī)劑量、低劑量)、等因素對肺結節(jié)檢出算法效能的影響。需明確設備主流廠家，且必須符合DICOM 3.0協(xié)議標準數(shù)據(jù)；管電壓考慮70-140 kV，管電流考慮10-400 mA；層厚與層間距需不超過5mm；重建方式需考慮常見的肺算法與標準算法（軟組織算法）。
在亞組的分層統(tǒng)計中，肺結節(jié)檢出效能需在不同因素下均能取得較好性能。若在某些影響因素下，肺結節(jié)檢出效能存在差異，需進行合理地論證，并在說明書給出使用限制。
需提供算法性能測試報告，至少包括軟件環(huán)境、硬件環(huán)境、測試平臺描述（如適用）、測試集描述、算法性能指標的符合性分析（性能指標的定義、測試通過準則、統(tǒng)計分析）、算法錯誤統(tǒng)計。需包括算法性能及算法質量特性、隨訪功能測試結果。
4.6 算法性能綜合分析
結合算法訓練、算法性能評估、臨床評價等結果開展算法性能綜合評價，針對訓練樣本量和測試樣本量過少、測試結果明顯低于算法設計目標、算法性能變異度過大等情況，對產品的適用范圍、使用場景、核心功能進行必要限制。
需對算法測試產生的錯誤結果進行分析，評估算法在檢出、分類等任務中出現(xiàn)的假陽性、假陰性結果的含義與危險程度，形成定量報告。
5．用戶培訓方案
對于軟件安全性級別為嚴重級別的產品，原則上需單獨提供一份用戶培訓方案，包括用戶培訓的計劃、材料、方式、師資等。
用戶培訓需關注以下內容：預期用戶要求，如工作年限或執(zhí)業(yè)資格；醫(yī)生必須對軟件結果進行確認，軟件只用于輔助檢測，不能替代醫(yī)生。CT圖像要求，如嚴重呼吸、金屬偽影或有掃描質量問題的CT圖像慎用；基于臨床試驗驗證，不宜使用該軟件的疾病；
（四）產品說明書和標簽樣稿
說明書、標簽和包裝標識需符合《醫(yī)療器械說明書和標簽管理規(guī)定》和《醫(yī)療器械軟件注冊審查指導原則（2022年修訂版）》、《醫(yī)療器械網(wǎng)絡安全注冊審查指導原則（2022年修訂版）》、《人工智能醫(yī)療器械注冊審查指導原則》和相關標準的規(guī)定。
說明書內容需重點關注：
1.用戶說明
對預期用戶和推薦用戶培訓的詳細說明。如，預期用戶工作年限或執(zhí)業(yè)資格要求，且需經(jīng)培訓合格。
2.使用限制
若產品采用人工智能黑盒算法，需根據(jù)算法影響因素分析報告，在說明書中明確產品使用限制和必要警示提示信息。
示例：不應僅僅依靠本器械所標識的輸出，應由專業(yè)醫(yī)師對結果進行解釋。
已發(fā)現(xiàn)該器械對于XX的受檢者無效。具有這種疾病/病癥/異常的受檢者不應使用該器械。
對訓練數(shù)據(jù)、測試數(shù)據(jù)與臨床試驗的算法性能評估結果不佳，數(shù)據(jù)量偏少的，此類受檢者使用該器械，應由專業(yè)醫(yī)師結合受檢者的病史、癥狀、體征、其他檢查結果情況綜合給出最終的肺結節(jié)檢出結論，核實是否需要進一步診療的決策，并對臨床診斷結果負責。
3.注意事項
測量準確性（如圖像長度、CT值平均值、最大值、最小值、面積值、體積、密度、位置坐標）、測量功能警示信息，如體積測量是基于體素個數(shù)的圖形學測量，并不能完全反映人體真實的體積，測量體積僅供醫(yī)生參考。
CT圖像質量要求，如嚴重呼吸、金屬偽影或有掃描質量問題的CT圖像慎用；圖像序列未完整包含肺臟全部組織的圖像數(shù)據(jù)禁用。
醫(yī)生必須對軟件結果進行確認，軟件只用于輔助檢測，不能替代醫(yī)生。原始的AI結果應保留，確保軟件結果的可追溯性與可責性。
4.預防措施
需明確與器械使用相關的不良事件，并提供緩解措施建議。不良事件討論需至少包括對假陽性事件和假陰性事件的不良事件的討論。
5.器械描述
需提供以下內容：
-算法設計和功能的概述
-特殊聲稱（如用于小于4mm結節(jié)檢測）
-研發(fā)和調整算法中所用的受檢者數(shù)據(jù)的參考標準的描述
-與本器械兼容的采集技術
-適當顯示器械標記的要求
-軟件輸出報告及界面數(shù)據(jù)圖示
6.軟件
需明確軟件發(fā)布版本、提供網(wǎng)絡安全說明和使用指導，明確用戶訪問控制機制、電子接口（含網(wǎng)絡接口、電子數(shù)據(jù)交換接口）及其數(shù)據(jù)類型和技術特征、網(wǎng)絡安全特征配置、數(shù)據(jù)備份與災難恢復、運行環(huán)境（含硬件配置、外部軟件環(huán)境、網(wǎng)絡環(huán)境，若適用）、安全軟件兼容性列表（若適用）、外部軟件環(huán)境與安全軟件更新（若適用）、現(xiàn)成軟件清單（SBOM，若適用）等要求。
7.產品接口和聯(lián)合使用設備
需明確對配合使用的圖像工作站和PACS適當顯示器械標記的要求（如適用）。
需明確CT設備兼容（廠家、型號（如適用）、層數(shù)）與掃描參數(shù)要求（如層厚、層間距、重建方式、管電壓、管電流、劑量（常規(guī)劑量、低劑量））。
8.算法訓練總結
訓練方法概述、開發(fā)數(shù)據(jù)庫基本信息、訓練指標與結果、調優(yōu)指標及結果。
9.算法性能評估總結
-算法輸入與輸出
-測試集基本信息
-用于確定器械標記的每個區(qū)域的性質的評分標準
-每個可用器械操作點的總體敏感度和假陽性率指標
-分層分析（如，根據(jù)病變大小、病變類型、采集參數(shù)、成像或數(shù)據(jù)特征）
-獨立FROC性能（如適用），需和操作特性曲線一起說明。
-測試結果
10.臨床試驗總結
需包括臨床試驗設計基本類型、研究對象（受試者及閱片者情況）、評價指標，金標準、對收集臨床信息方法的描述、統(tǒng)計方法描述、樣本量，臨床試驗結果（含各結節(jié)尺寸、各密度類型結節(jié)情況）。
11.公開數(shù)據(jù)庫及測試結果（如有）
12.第三方測評數(shù)據(jù)庫及測試結果（如有）
13.輔助決策指標定義（或提供決策指標定義所依據(jù)的臨床指南、專家共識等參考文獻）等信息。如結節(jié)大小、結節(jié)密度類型的定義、低劑量/常規(guī)劑量的定義、分層依據(jù)。
三、參考文獻
[1]《醫(yī)療器械注冊與備案管理辦法》（國家市場監(jiān)督管理總局令第47號）[Z].
[2]《醫(yī)療器械說明書和標簽管理規(guī)定》（國家食品藥品監(jiān)督管理總局令第6號）[Z].
[3]《醫(yī)療器械注冊申報資料要求和批準證明文件格式》（國家藥品監(jiān)督管理局2021年第121號）[Z].
[4]《醫(yī)療器械通用名稱命名指導原則》（國家藥品監(jiān)督管理局2019年第99號）[Z].
[5]《醫(yī)療器械產品技術要求編寫指導原則》（國家藥品監(jiān)督管理局2022年第8號）[Z].
[6]《醫(yī)療器械軟件注冊審查指導原則（2022年修訂版）》（國家藥品監(jiān)督管理局醫(yī)療器械技術審評中心2022年第9號）[Z].
[7]《人工智能醫(yī)療器械注冊審查指導原則》(國家藥品監(jiān)督管理局醫(yī)療器械技術審評中心2022年第8號)[Z].
[8]《人工智能類醫(yī)用軟件產品分類界定指導原則》（國家藥品監(jiān)督管理局2021年第47號）[Z].
??? [9]YY/T 0316-2016，《醫(yī)療器械風險管理對醫(yī)療器械的應用》[S].
[10]YY/T 1833.1，《人工智能醫(yī)療器械質量要求和評價 第1部分：術語》（報批稿） [S].
[11]YY/T 1833.2，《人工智能醫(yī)療器械質量要求和評價 第2部分：數(shù)據(jù)集通用要求》（報批稿） [S].
??? [12]YY/T1833.3，《人工智能醫(yī)療器械質量要求和評價 第3部分：數(shù)據(jù)標注通用要求》（報批稿） [S].
[13]YY/T XXXX，《人工智能醫(yī)療器械肺部影像輔助分析軟件 算法性能測試方法》（報批稿） [S].
[14]AIMDICP-WG6-2020-002，《基于胸部CT的肺結節(jié)影像輔助決策產品性能指標和測試方法》[S].
[15] FDA. Computer-AssistedDetection Devices Applied to Radiology Images and Radiology Device Data- PremarketNotification[510(k)] Submissions [EB/OL]//www.fda.gov/media/77635/download.2012-07-03/2022-3-8.
[16] FDA. Clinical Performance Assessment: Considerationsfor Computer-Assisted Detection Devices Applied to Radiology Images andRadiology Device Data in-Premarket Notification [510(k)] Submissions [EB/OL] //www.fda.gov/media/77642/download2020-1-22/2022-3-8.
[17]胸部CT肺結節(jié)數(shù)據(jù)集構建及質量控制專家共識[J].中華放射學雜志,2021,55(02):104-110.
[18]胸部CT肺結節(jié)數(shù)據(jù)標注與質量控制專家共識(2018)[J].中華放射學雜志,2019(01):9-15.
[19] 周清華,范亞光,王穎,喬友林,王貴齊,黃云超,王新允,吳寧,張國楨,鄭向鵬,步宏.中國肺部結節(jié)分類、診斷與治療指南(2016年版)[J].中國肺癌雜志,2016,19(12):793-798.
[20] 赫捷,李霓,陳萬青,吳寧,沈洪兵,江宇,李江,王飛,田金徽,中國肺癌篩查與早診早治指南制定顧問組,中國肺癌篩查與早診早治指南制定專家組,中國肺癌篩查與早診早治指南制定工作組.中國肺癌篩查與早診早治指南(2021,北京)[J].中國綜合臨床,2021,37(03):193-207.
[21] 劉士遠.肺亞實性結節(jié)影像處理專家共識[J].中華放射學雜志,2015,49(04):254-258.
[22] 中國肺結節(jié)病診斷和治療專家共識[J].中華結核和呼吸雜志,2019(09):685-693.
[23] BankierAlexander A,MacMahon Heber,Goo Jin Mo,Rubin Geoffrey D,Schaefer-Prokop CorneliaM,Naidich David P. Recommendations for Measuring Pulmonary Nodules at CT: A Statementfrom the Fleischner Society.[J]. Radiology,2017,285(2).
[24] Bai, C.,Choi, C.-M., Chu, C. M., Anantham, D., Chung-man Ho, J., Khan, A. Z., … Yim, A.(2016). Evaluation of Pulmonary Nodules. Chest, 150(4), 877–893.
[25] DeterbeckFC, Mazzone PJ, Naidich DP, et al. Screening for lung cancer:Diagnosisand management of lung cancer, 3rd ed: American College of Chest Physiciansevidence-based clinical practice guidelines. Chest, 2013,143(5 Suppl): e78S-e92S.
附件：1.風險管理文檔?
2.數(shù)據(jù)庫（集）
附件1
風險管理文檔
下表所列為常見可預見事件序列／可能的傷害示例，需關注：
表2 常見可預見事件序列／可能的傷害示例
表3 ?采取風險控制措施前的風險分布圖?采取風險控制措施前后的風險矩陣表示例
表4 ?采取風險控制措施后的風險分布圖
附件2
數(shù)據(jù)庫(集)
按照產品開發(fā)時間順序明確使用的數(shù)據(jù)庫/集情況，需明確數(shù)據(jù)量變化原因，抽樣及合并方法及合理性。數(shù)據(jù)庫/集包括不限于原始數(shù)據(jù)庫、基礎數(shù)據(jù)庫、標注數(shù)據(jù)庫、訓練集、調優(yōu)集、測試集、對抗測試集、公開數(shù)據(jù)庫，測評數(shù)據(jù)庫。
每個數(shù)據(jù)庫建議提供以下信息：
-數(shù)據(jù)庫名稱及版本、類型（如外部、內部；訓練、調優(yōu)、測試）
-受檢者數(shù)據(jù)收集的納入和排除標準
-人口統(tǒng)計學數(shù)據(jù)（年齡、種族、人種）
-放射學檢查條件，如CT增強掃描，CT平掃
-采集數(shù)據(jù)的方法
數(shù)據(jù)來源（體檢篩查、門診病房）
設備廠家、型號、探測器排數(shù)
掃描參數(shù)：管電壓范圍、管電流范圍、層厚范圍、輻射劑量（低劑量平掃、常規(guī)劑量平掃或增強掃描）
-重建方式（標準算法、肺算法、其他）
-樣本量（正常案例數(shù)、疾病案例數(shù)、確定疾病狀態(tài)、位置、范圍的方法）
-按影響因素分層的病例分布，如年齡、性別、結節(jié)大小、結節(jié)類型、圖像重建層厚/層間距、疾病類型、重建方式、掃描協(xié)議、成像廠家、地區(qū)、醫(yī)療機構。
需明確總體數(shù)據(jù)范圍及分層數(shù)量及占比，并需列表對比分析各數(shù)據(jù)庫信息。
采用公開數(shù)據(jù)數(shù)據(jù)庫的需明確用途，不應作為測評數(shù)據(jù)庫使用。
