一区中文字幕在线观看I91九色成人蝌蚪首页I最新中文在线视频I中文字幕乱在线伦视频中文字幕乱码在线I日日草天天草I91精彩视频在线观看I久久精品99精品国产香蕉I久久成人午夜视频

醫療器械創新網

logo

距離創新創業大賽報名結束
48
16
37

會員登錄

用戶登錄 評委登錄
一周內自動登錄 建議在公共電腦上取消此選項
一周內自動登錄 建議在公共電腦上取消此選項
一周內自動登錄 建議在公共電腦上取消此選項
手機驗證碼登錄 還未賬號?立即注冊

會員注冊

已有賬號?
醫療器械創新網
醫療器械創新網

肺結節CT影像輔助檢測軟件注冊審查指導原則意見征求中

日期:2022-01-14

關于公開征求《肺結節CT影像輔助檢測軟件注冊審查指導原則》意見的通知


  根據國家藥品監督管理局2021年度醫療器械注冊技術指導原則制修訂計劃的有關要求,我中心組織起草了《肺結節CT影像輔助檢測軟件注冊審查指導原則》,形成了征求意見稿(附件1),現向社會公開征求意見。
  如有意見或建議,請填寫反饋意見表(附件2),并于2022年2月10日前將該表發至聯系人電子郵箱。
  聯系人:張宇晶
  電話:010-86452613
  電子郵箱:zhangyj@cmde.org.cn
  附件:1. 肺結節CT影像輔助檢測軟件注冊審查指導原則(征求意見稿)
     2.反饋意見表

國家藥品監督管理局
醫療器械技術審評中心
2022年1月10日

附件

肺結節CT影像輔助檢測軟件注冊審查指導原則(征求意見稿)

本指導原則是對肺結節CT影像輔助檢測軟件的一般要求。注冊申請人應依據具體產品的特性對注冊申報資料的內容進行充實和細化。注冊申請人還應依據具體產品的特性確定其中的內容是否適用,若不適用,需具體闡述其理由及相應的科學依據。

本指導原則是供注冊申請人和技術審評人員使用的指導性文件,但不包括注冊審批所涉及的行政事項,亦不作為法規強制執行,如果有能夠滿足相關法規要求的其他方法,也可以采用,但是需要提供詳細的研究資料和驗證資料。應在遵循相關法規的前提下使用本指導原則。本指導原則是在現行法規和標準體系以及當前認知水平下制定的,隨著法規和標準的不斷完善,以及科學技術的不斷發展,本指導原則相關內容也將進行適時的調整。本指導原則中相關內容均應執行最新版本的標準。

本指導原則是人工智能醫療器械指導原則體系的重要組成部分,基于人工智能醫療器械審評指導原則的通用要求,明確了肺結節CT圖像輔助檢測軟件的具體要求。

一、適用范圍

本指導原則適用于肺結節CT影像輔助檢測軟件的產品注冊。按現行《醫療器械分類目錄》,該類產品分類編碼為21-04-02,管理類別為三類。

肺結節CT影像輔助決策軟件包括肺結節CT影像輔助檢測軟件、肺結節CT影像輔助診斷軟件,前者主要用于疑似肺結節的檢測或者檢測及影像學分類,后者主要用于疑似肺結節良惡性等臨床診斷。肺結節CT影像輔助診斷軟件可參照本指導原則執行。

二、注冊審查要點

(一)監管信息

明確產品名稱的確定依據、管理類別、分類編碼、規格型號、產品組成等信息。

1.??? 產品名稱

產品命名應符合《醫療器械通用名稱命名規則》的要求。根據產品預期用途可采用肺結節CT影像輔助檢測軟件進行命名。

2.分類編碼

依據《醫療器械分類目錄》,申報產品分類編碼為21-04-02。按第三類醫療器械管理。

3.注冊單元劃分

根據產品的技術原理、結構組成、性能指標、適用范圍進行注冊單元劃分。

可以與CT設備一起作為軟件組件注冊,也可以按照獨立軟件注冊。

4.適用范圍

適用范圍需明確處理對象、核心功能、適用人群、目標用戶、臨床用途。

例如,用于胸部CT影像的顯示、處理、測量和分析,可對4mm及以上肺結節進行識別并分析結節影像學特征,供經培訓合格的醫師使用,不能單獨用作臨床診療決策依據。

(二)綜述資料

1. 產品描述

1.1器械及操作原理描述

1.1.1工作原理

需詳述產品的工作原理,例如:基于深度學習技術對醫學影像進行分析處理、對肺結節進行分割、檢測、自動識別等。

1.1.2結構組成

結構組成明確交付內容和功能模塊,其中交付內容包括軟件安裝程序、授權文件、外部軟件環境安裝程序等軟件程序文件,功能模塊包括客戶端、服務器端(若適用)、云端(若適用),若適用注明選裝、模塊版本。基于人工智能算法(如深度學習)的功能模塊,需在模塊名稱中注明人工智能(如深度學習)。

1.2 型號規格

需明確申報產品的型號規格及發布版本。產品型號/規格及其劃分,如同一個注冊單元包含多個型號規格,需提供產品型號規格區分列表或配置表。

1.3研發歷程

闡述申請注冊產品的研發背景和目的。如有參考的同類產品或前代產品,需提供同類產品或前代產品的信息,并說明選擇其作為研發參考的原因。

2.適用范圍和禁忌證

(1)適用范圍

適用范圍需明確處理對象、核心功能、適用人群、目標用戶、臨床用途、軟件與醫生閱片順序。

例如,肺結節CT影像輔助檢測軟件產品適用范圍為:用于胸部CT影像的顯示、處理、測量和分析,可對4mm及以上肺結節進行識別并分析結節影像學特征,供經培訓合格的醫師使用,不能單獨用作臨床診療決策依據。

(2)預期使用環境

需明確設備使用場所和使用環境要求。

設備使用場所包括:醫療機構機房等。

使用環境要求需至少包括:溫度、濕度、大氣壓、光照條件。

(3)適用人群

需詳述產品的適用人群。目標人群信息(如用于篩查、診斷)或無預期治療特定人群的聲明、感興趣器官/疾病/病灶/異常、以及預期使用該產品的目標用戶(如經培訓合格的放射科醫師、技師、專科醫師等)

(4)禁忌證

明確產品臨床應用的禁忌證以及不推薦使用該產品的情況。

3.產品功能

明確軟件與醫生閱片順序。結合用戶界面圖示詳細介紹技術要求中對應的臨床功能,如有特殊聲明,如用于檢測繼發性結節或更小結節,可以在功能中體現。明確自動、手動、半自動輸出的數據、量化分析的具體內容、服務器部署(局域網、云端)等。

(三)非臨床資料

1.產品風險管理資料

依據YY/T 0316《醫療器械風險管理對醫療器械的應用》,提供產品風險管理報告。

申請人需重點說明:申報產品的研制階段已對有關可能的危害及產生的風險進行了估計和評價,針對性地實施了降低風險的技術和管理方面的措施。產品性能測試對上述措施的有效性進行了驗證,達到了通用和專用標準的要求。申請人對所有剩余風險進行了評價,全部達到可接受的水平。產品風險分析資料需為申請人關于產品安全性的承諾提供支持。

風險管理報告一般包括以下內容:

(1)申報產品的風險管理組織。

(2)申報產品的組成。

(3)申報產品符合的安全標準。

(4)申報產品的預期用途,與安全性有關的特征的判定。

(5)對申報產品的可能危害作出判定(見附錄1)。

(6)對所判定的危害采取的降低風險的控制措施。

(7)對采取控制措施后的剩余風險進行估計和評價。

2.產品技術要求及檢測報告

2.1產品技術要求

依據《醫療器械產品技術要求編寫指導原則》進行編制。

? 2.1.1規格信息

明確軟件發布版本和版本命名規則。軟件版本命名規則原則上需涵蓋算法驅動型更新和數據驅動型更新,明確并區分重大軟件更新和輕微軟件更新,其中重大軟件更新列舉常見典型情況。

明確不同型號間產品差異。

2.1.2性能指標

明確產品處理對象,以及數據接口信息,包括成像模態(如計算機體層攝影)和特定軟硬件名稱及型號(如適用)。

明確軟件所有的臨床功能,如結節檢出的尺寸范圍(如4-30mm)、結節密度分類類別(如實性、亞實性的手動分類等)、結節位置(如肺葉、肺段、肺結節CT圖像層面、肺內、胸膜)、結節標記方式(緊密包裹結節的邊界框、不緊密包裹結節的邊界框)、分割方式(自動分割、半自動分割、手動分割)、測量功能(如體積、最大軸向平面最長直徑、短徑、平均直徑、最大三維直徑、有效直徑、平均密度、面積等)、隨訪評估功能(如倍增時間、數值參數的百分比(%)和絕對變化、結節長軸、短軸、平均直徑、最大三維直徑、有效直徑、體積、平均密度等)、測量精度(相對誤差絕對值的平均值、絕對誤差)、結節的3D或MIP可視化等。

使用限制明確應用場景(體檢篩查、門診病房)、患者(年齡、地域、疾病類型)、CT設備廠家、探測器排數、CT掃描參數(如管電壓、管電流、層厚/層間距、劑量、窗寬窗位、重建方式、顯示方式)、放射學檢查條件(CT增強掃描、CT平掃)、CT圖像質量要求(如分辨率、偽影)、結節檢出的尺寸范圍、結節密度分類類別。如軟件包含圖像質量判定功能,明確軟件使用限制。

若含有基于測評數據庫測試的性能指標,其要求參考《人工智能醫療器械注冊審查指導原則》。

運行環境,運行在不同計算機系統的產品模塊(如客戶端和云端)需分別描述其運行環境。

附錄中明確軟件輸出報告及界面數據圖示及測評數據庫數據庫/集信息。服務器部署(局域網、云端)。

2.2檢驗報告

產品需符合GB/T 25000.51 《系統與軟件工程 系統與軟件質量要求和評價(SQuaRE)第51部分:就緒可用軟件產品(RUSP)的質量要求和測試細則》的要求。

注冊人需在軟件研究資料中提交GB/T 25000.51自測報告或委托有資質的醫療器械檢驗機構出具檢驗報告。檢測報告需明確軟件發布版本信息。

3.軟件研究

(1)基本要求

生產企業需依據《醫療器械軟件注冊審查指導原則》提交相應軟件研究資料。其中,核心算法所述人工智能算法需依據 《人工智能醫療器械注冊審查指導原則》提交相應算法研究資料。

生產企業需依據《醫療器械網絡安全注冊審查指導原則》提交網絡安全描述文檔。按照《人工智能醫療器械注冊審查指導原則》提交數據安全資料。

若使用云計算服務,生產企業需依據《人工智能醫療器械注冊審查指導原則》提交相應研究資料。使用云計算服務需明確服務模式、部署模式、核心功能、數據接口、網絡安全能力、服務(質量)協議等要求。

軟件版本命名規則涵蓋算法驅動型軟件更新和數據驅動型軟件更新;區分重大軟件更新和輕微軟件更新,其中重大軟件更新需列舉常見典型情況。

(2)軟件安全級別

該類產品的軟件安全性級別為嚴重(C)級。

(3)核心算法

核心算法的選擇可以參考下表,其中采用全新算法(如深度學習)需提供算法研究資料。

表1.核心算法示例

算法名稱

類型

用途

功能

灰度拉伸圖像增強算法

公認成熟算法

影像增強,用于增強影像對比度,提升算法精度

肺葉分割及肺結節檢測

NMS非極大值抑制

公認成熟算法

目標選擇

以預測概率對檢測框進行優先級排序,消除冗余檢測框,抑制假陽性檢出

基于FPN-ONS的肺結節檢出算法

全新

對肺部小結節進行檢出

輔助醫生檢測肺結節

肺分割算法

全新

對左肺、右肺進行分割,提取肺野區域

過濾肺結節檢出算法檢出的肺外假陽性,以及肺結節左右肺定位

基于UNET的肺葉分割算法

全新

對左肺上下葉,右肺上中下葉進行分割

肺結節肺葉定位

肺段分割算法

全新

對左肺8個肺段,右肺10個肺段進行分割

肺結節肺段定位

肺結節分割算法

全新

對肺結節進行分割,并計算長短徑

輔助醫生測量肺結節體積,長短徑

肺結節密度分類算法

全新

對肺結節密度類型(磨玻璃,實性,鈣化,部分實性)進行分類

輔助醫生判斷肺結節密度類型

肺結節惡性程度評估算法

全新

對肺結節的良惡性進行評估,輸出惡性程度(0-100%)

輔助醫生對肺結節良惡性進行判斷

肺結節密度測量算法

公認成熟算法

基于肺結節分割,測量肺結節平均HU值

輔助醫生測量肺結節內部HU值

……




4.算法研究資料

4.1算法基本信息

肺結節CT影像輔助檢測軟件所涉及的算法一般包括肺結節檢出算法、肺結節分類算法和肺結節測量算法。其中肺結節檢出算法目的在于在胸部CT影像中利用人工智能技術自動檢出肺結節,輔助醫生篩查;肺結節分類算法對每個肺結節的屬性進行歸類,按照類別不同,肺結節分類算法包括但不限于肺結節密度分類算法,肺結節解剖定位分類算法等;肺結節測量算法對每個肺結節的屬性進行量化測量,區別于肺結節分類算法,肺結節測量算法輸出的是連續的量化值,而肺結節分類算法輸出的是離散的類別。按照測量屬性不同,肺結節測量算法包括但不限于肺結節體積測量算法,肺結節密度值測量算法和肺結節長短徑測量算法等。

4.1.1肺結節檢出算法

肺結節檢出算法需明確算法的輸入,比如算法采用的是2D,2.5D還是3D的胸部CT圖像作為神經網絡的輸入;算法的輸出,比如緊密包裹肺結節的矩形框端點(二維/三維),肺結節中心點;

明確算法所采用的神經網絡結構,如 Faster RCNN;明確算法訓練采用的損失函數,如交叉熵,L1范數;明確算法設計過程中網絡結構、損失函數等核心組件選擇和設計的原則、方法與風險考量,如肺結節大小尺度的差異,肺結節與背景正負樣本的不均衡性、假陽性、過擬合等;若肺結節檢出采用多個模型融合,需明確不同模型訓練與推理的方式,以及模型融合的策略,如級聯,多數投票;

肺結節檢出存在同一個目標多個重疊框的問題,算法需明確匹配關系所采用的策略,如交并比(IoU),定位框中心距離;

明確算法的流程圖,需包含算法運行前所進行的前處理(圖像縮放、圖像像素值歸一化、圖像重采樣)以及算法運行后所進行的后處理操作(圖像重采樣、非最大化抑制)。明確訓練與部署所采用的框架(如Tensorflow, Pytorch)、算法運行環境(如內存、顯存的需求)。

若使用遷移學習技術,除上述內容外還需補充預訓練模型的數據集構建、驗證與確認等總結信息,并論證遷移學習的適用性。

4.1.2肺結節分類算法

??? 肺結節分類算法包括密度分類算法、肺結節解剖定位分類。

肺結節密度分類算法需明確輸出(密度類別),密度類別制定依據以及臨床適用性。

肺結節密度分類算法需明確算法的輸入,比如算法采用的是2D,2.5D還是3D的圖像作為神經網絡的輸入。若采用2D,需明確肺結節選取的圖像層面,如中心層面,最大面積層面;明確算法所采用的神經網絡結構,如Residual Net,Dense-Net;明確算法訓練采用的損失函數,如交叉熵,Focal損失函數;損失函數等核心組件選擇和設計的原則、方法與風險考量,如肺結節大小尺度的差異,不同類別肺結節樣本的不均衡性、過擬合等;若肺結節分類采用多個模型融合,需明確不同模型訓練與推理的方式,以及模型融合的策略,如多數投票;最后,明確算法的流程圖,訓練與部署所采用的框架(如Tensorflow, Pytorch)、算法運行環境(如內存、顯存的需求)。

肺結節解剖定位分類中,明確肺結節定位的類別,如左/右肺定位、肺葉定位、肺段定位。明確算法輸入的類型,如肺結節二維切片,肺結節三維圖像塊,若輸入類型為二維切片,明確二維切片選取標準(肺結節長短徑交點所在切片、肺結節最大面積切片)。肺結節解剖定位分類算法需明確實現的機理,如圖像分割算法,圖像分類算法。

4.1.3肺結節測量算法

針對肺結節測量算法,明確測量實現的方式。肺結節體積測量算法、密度值測量算法與長短徑測量算法可以通過肺結節分割技術來實現,也可以通過機器學習中的回歸方法來進行預測。其中密度值測量算法需明確測量的類型,如平均值,標準差,最大值,最小值,中位數。

若申報產品涉及上述多個算法,需提供算法整體流程圖,明確各個算法調用先后關系,以及輸入輸出依賴關系。

若使用遷移學習技術,除上述內容外還需補充預訓練模型的數據集構建、驗證與確認等總結信息,并論證遷移學習的適用性。

4.2算法需求規范

算法功能需求建議關注數據庫需求、算法性能評價指標及制定依據。

4.2.1數據庫需求

算法性能評價需要基于訓練和測試數據庫,數據庫具體要求詳見附錄2。

4.2.2算法性能評價指標

在指定肺結節檢出算法評估指標之前,需明確標記匹配的方式,即算法標記目標與參考標準目標的匹配方式,常見的標記匹配方式有按照區域重疊的比例、中心點的距離、中心是否落入來判斷標記是否匹配;明確算法任務,明確算法訓練和調優過程中不同任務的的評估指標及定義。有關標記匹配方式與評估指標的定義可以參考“人工智能醫療器械 肺部影像輔助分析軟件算法性能測試方法”5.1.1.1章節。

明確不同任務的算法評價指標的確定依據、分層影響因素選擇依據,建議參考《人工智能醫療器械 肺部影像輔助分析軟件 算法性能測試方法》、肺結節診療中國專家共識、美國國立綜合癌癥網絡NCCN指南、Fleishner年學會指南、中華醫學會肺癌臨床診療指南等。

結節檢出指標包括不限于召回率、精確度、特異度。

結節分類指標包括不限于靈敏度、特異度、總體的Kappa系數、準確率。

結節分割指標包括不限于體積交并比、Dice系數、Hausdorff距離。

尺寸測量指標包括不限于結節體積相對誤差率、肺結節平均徑相對誤差率、肺結節長徑絕對誤差均值MAE、肺結節短徑絕對誤差均值MAE。

提供文獻綜述論證評價指標選擇及分層影響因素選擇的合理性。分層分析的影響因素包括年齡、病變類型、大小、層厚、采集協議等重要變量。

算法質量特性包括泛化能力、魯棒性(面向硬件變化的對抗測試、面向軟件前處理的對抗測試、壓力測試)、重復性、一致性、效率。

隨訪評估功能包括倍增時間、數值參數的百分比(%)和絕對變化,如結節長軸、短軸、平均直徑、最大三維直徑、有效直徑、體積、平均HU。

4.2.3算法性能測試基本要求

4.2.3.1結節檢出

軟件檢出肺結節的召回率和精確度不低于X%。

召回率和精確度的計算一般針對全體結節進行。在設置篩選條件后,可以使用篩選后的參考標準與篩選后的AI結果進行匹配。如篩選后假陽性結果難以定義,建議以召回率為主要指標,常見情形為:

-對具體某一種結節類型,計算結節的召回率。結節類型包括實性結節、純磨玻璃結節、部分實性結節、鈣化結節等。

-對平均直徑、長徑處于某一區間的結節,計算召回率

-·對類型、尺寸范圍組合的結節,計算召回率。

4.2.3.2結節分類準確度

明確分類場景,如二分類場景、多分類場景。對于二分類場景下的指標,如軟件能夠對A類型的肺結節進行分類,準確率不低于X%,靈敏度不低于Y%,特異性不低于Z%。總體的Kappa系數不低于N%;多分類問題可以轉化為二分類問題,按每一類進行描述。

4.2.3.3結節分割

體積交并比不小于XX;如果產品只輸出最大層面則計算最大層面交并比,或DICE系數不小于XX

4.2.3.4尺寸測量

體積測量偏差±XX%;長徑測量偏差±XX%。長徑小于等于10mm則增加平均直徑允差,大于10mm則增加短徑允差。

4.2.4樣本量

明確樣本量估計的公式、參數及制定依據。

4.3數據質控

建議參考“人工智能醫療器械注冊審查指導原則”及“人工智能醫療器械質量要求和評價 第2部分:數據集通用要求”。

  1. 4.3.1明確數據庫信息(詳見附錄2)

  2. 4.3.2數據預處理

數據預處理需明確數據轉移保存的方法。

數據入庫前完成清洗,主要是讀取Patient數據確定數據是否完成脫敏,是否合規;讀取Study和Series的識別碼確定圖像的唯一性,通過Image的標識碼判定圖像是否連續完整。此外,通過讀取層厚、層間距等信息確定圖像的質量并加以篩選。流程圖示例如圖1所示:

圖1 數據清洗流程圖

?

4.3.3數據標注

數據標注建議參考“人工智能醫療器械質量要求和評價 第3部分:數據標注通用要求”。

需明確標注任務分類(包括數據模態、執行主體、標注結果格式、標注結果性質、標注結果形式等維度),提供標注任務描述文檔(標準規則、標注人員、標注工具、標注環境、數據)。其中標注規則需明確制定依據并提供參考文獻。標注人員建議列表給出標注、審核、仲裁人員的基本信息,如數量、醫療機構、科室、工作年限、職稱、培訓、培訓考核情況、工作量、標注任務、參考的所有受檢者臨床信息(如病理檢測結果)。

標注與質控流程建議提供業務架構、過程組織(任務生成、任務分配、任務實施、質量控制、驗收準則及驗收報告。其中業務架構宜采用流程圖介紹單張圖片的標注、審核、仲裁過程。

如標注工具、標注平臺使用人工智能算法進行輔助標注,需提交標注工具、標注平臺算法性能研究資料。

4.3.4數據集構建

依據《人工智能醫療器械注冊審查指導原則》指南明確訓練集、調優集、測試集的劃分方法、劃分依據、數據分配比例。

提供查重驗證結果,以證實訓練集、調優集、測試集的樣本兩兩無交集。

明確數據擴增需明確擴增的對象、范圍、方式(離線、在線)、方法(如翻轉、旋轉、鏡像、平移、縮放、濾波、生成對抗網絡等)、倍數、在線數據擴增記錄。

提供擴增數據庫與標注數據庫樣本量、樣本分布(注明擴增倍數)對比表,以證實擴增數據庫樣本量的充分性以及樣本分布的合理性。

提供采用生成對抗網絡數據擴增的算法基本信息以及算法選用依據資料。

4.4算法訓練

?????? 算法訓練需明確訓練過程所采用的優化器及其相關參數,如Adam,SGD;在算法訓練階段,需明確驗證集的劃分方式,如留出法,交叉驗證法;需明確訓練目標,即判斷何時停止訓練,如設定最大的訓練epoch數目,依據損失函數判斷損失穩定且不繼續下降,根據訓練epoch數量-評估指標曲線判斷評估指標不繼續提升等。當訓練停止后,明確訓練模型最佳epoch的選擇方法,如在留出法中,根據留出部分的驗證集選取評價指標最優的epoch;在交叉驗證法中,計算多次隨機劃分驗證集的評價指標平均值,選擇最優的epoch。同時,結合臨床需求(如靈敏度、精準度),明確算法出廠閾值的選擇與方法,并論證訓練所得模型是否滿足產品既定目標。算法出廠閾值的選擇需提供制定依據。

算法訓練階段需結合訓練數據量-評估指標曲線驗證算法訓練數據量的充分性,常用的方式有以最小訓練數據量為基礎,逐步增加數據量。對于不同的訓練數據量,計算對應的評價指標。當評價指標為單一標量時(如靈敏度),訓練數據量-評估指標曲線的x軸為訓練數據的樣本量(如CT序列個數),y軸為在使用特定訓練量時,算法在測試集的評價指標。結合訓練數據量-評估指標曲線,判斷當訓練數據量有限時,評價指標是否隨數據量的增加而增加,并在數據量達到一定程度后,評價指標趨于平穩。當評價指標為曲線時,可考慮根據不同訓練數據量,繪制對應的評價指標曲線,判斷曲線下面積(AUC)是否先隨數據量的增加而增加,最后當數據量達到一定程度后趨于平穩。以fROC曲線為例,在評估訓練數據量的充分性時,當訓練數據量有限時,fROC曲線下面積需隨數據量增加而增加,fROC曲線逐步逼近坐標左上角;當訓練數據量達到一定程度后,fROC曲線下面積慢慢趨于穩定。

若訓練過程中采用了數據擴增的方式,需明確擴增方式,如離線數據擴增,在線數據擴增。同時,需明確數據擴增的方法以及相應的參數設置,如圖像平移,旋轉,縮放,彈性形變等。若訓練過程未采用數據擴增,需論證未進行數據擴增的理由,或者通過對比試驗(數據擴增 vs 未數據擴增)來論證合理性。

4.5算法驗證與確認

明確算法任務,明確不同任務的算法評價指標的閾值及確定依據。明確算法標記目標與參考標準的匹配方式和匹配閾值。明確病例水平和結節水平計算方法及定義一個結節的處理方法及病例陽性的方法。區分算法任務制定具體測試方法和結果計算方法。建議參考《人工智能醫療器械 肺部影像輔助分析軟件 算法性能測試方法》。

4.5.1檢出算法性能評估

基于算法的出廠閾值,明確算法在訓練集,調優集和測試集的假陰性(召回率)與假陽性(精確度),通過比較三個數據集的性能來評估算法的泛化性。

若在訓練過程中使用數據擴增,需在調優集上比較使用與不使用數據擴增對肺結節檢出性能的影響。

對于肺結節檢出算法,需分層統計算法對于不同大小和不同密度的肺結節的檢出效能,可以通過fROC曲線,召回率以及精確度等指標來評價,同時結合臨床需求論述結果的合理性。在肺結節大小的維度,可將肺結節分為4-5mm,5-8mm以及8-10mm來進行分層統計,一般而言,肺結節尺寸越大,檢出的難度越低。在肺結節密度維度,需明確是二分類還是多分類,需明確密度類型及制定依據,進行密度類型的分層統計。

除此之外,還需考慮性別、年齡、設備廠家、重建方式、層厚/層間距、管電流、管電壓等參數對肺結節檢出算法效能的影響。需明確設備廠家,且必須符合DICOM 3.0協議標準數據;管電壓考慮70-140 kV,管電流考慮10-400 mA;層厚與層間距需不超過5mm,在分層統計中可以考慮將層厚與層間距歸為兩大類0.625-1.250mm和1.25-5mm,前者為“胸部CT肺結節數據集構建及質量控制專家共識”推薦的肺結節診斷層厚的范圍;重建方式需考慮常見的肺算法與標準算法(軟組織算法)。

在亞組的分層統計中,肺結節檢出效能需在不同因素下均能取得較好性能。若在某些影響因素下,肺結節檢出效能存在差異,需進行合理地論證,并在說明書給出使用限制。

需提供算法性能測試報告,至少包括軟件環境、硬件環境、測試平臺描述(如適用)、測試集描述、算法性能指標的符合性分析(性能指標的定義、測試通過準則、統計分析)、算法錯誤統計。需包括算法性能及算法質量特性、隨訪功能測試結果。

4.6 算法性能綜合分析

結合算法訓練、算法性能評估、臨床評價等結果開展算法性能綜合評價,針對訓練樣本量和測試樣本量過少、測試結果明顯低于算法設計目標、算法性能變異度過大等情況,對產品的適用范圍、使用場景、核心功能進行必要限制。

5.用戶培訓方案

對于軟件安全性級別為嚴重級別的產品,原則上需單獨提供一份用戶培訓方案,包括用戶培訓的計劃、材料、方式、師資等。

用戶培訓需關注以下內容:預期用戶要求,如工作年限或執業資格;醫生必須對軟件結果進行確認,軟件只用于輔助檢測,不能替代醫生。CT圖像要求,如嚴重呼吸、金屬偽影或有掃描質量問題的CT影像慎用;基于臨床試驗驗證,不宜使用該軟件的疾病;

(四)產品說明書和標簽樣稿

說明書、標簽和包裝標識需符合《醫療器械說明書和標簽管理規定》(國家食品藥品監督管理總局令第6號)和《醫療器械軟件技術審查指導原則》、《醫療器械網絡安全技術審查指導原則》、《人工智能醫療器械注冊審查指導原則》和相關標準的規定。

說明書內容需重點關注:

1.用戶說明

對預期用戶和推薦用戶培訓的詳細說明。如,預期用戶工作年限或執業資格要求,且需經培訓合格。

2.使用限制

若產品采用人工智能黑盒算法,需根據算法影響因素分析報告,在說明書中明確產品使用限制和必要警示提示信息。

示例:不應僅僅依靠本器械所標識的輸出,應由專業醫師對結果進行解釋。

已發現該器械對于XX的受檢者無效。具有這種疾病/病癥/異常的受檢者不應使用該器械。

對訓練數據、測試數據與臨床試驗的算法性能評估結果不佳,數據量偏少的,此類受檢者使用該器械,應由專業醫師結合受檢者的病史、癥狀、體征、其他檢查結果情況綜合給出最終的肺結節檢出結論,核實是否需要進行一步診療的決策,并對臨床診斷結果負責。

3.注意事項

測量準確性(如圖像長度、CT值平均值、最大值、最小值、面積值、體積、密度、位置坐標)、測量功能警示信息,如體積測量是基于體素個數的圖形學測量,并不能完全反映人體真實的體積,測量體積僅供醫生參考。

CT影像質量要求,如嚴重呼吸、金屬偽影或有掃描質量問題的CT影像慎用;圖像序列未完整包含肺臟全部組織的圖像數據禁用。

醫生必須對軟件結果進行確認,軟件只用于輔助檢測,不能替代醫生。原始的AI結果應保留,確保軟件結果的可追溯性與可責性。

4.預防措施

需明確與器械使用相關的不良事件,并提供緩解措施建議。不良事件討論需至少包括對假陽性事件和假陰性事件的不良事件的討論。

5.器械描述

需提供以下內容:

-算法設計和功能的概述,如有特殊聲明,如用于繼發性結節或更小結節檢測,可以特別說明。

-培訓范例和培訓或開發數據庫的概述

-研發和調整算法中所用的受檢者數據的參考標準的描述

-與本器械兼容的采集技術

-適當顯示器械標記的要求

6.軟件

需明確軟件發布版本、提供網絡安全說明和使用指導,明確用戶訪問控制機制、電子接口(含網絡接口、電子數據交換接口)及其數據類型和技術特征、網絡安全特征配置、數據備份與災難恢復、運行環境(含硬件配置、外部軟件環境、網絡環境,若適用)、安全軟件兼容性列表(若適用)、外部軟件環境與安全軟件更新(若適用)、現成軟件清單(SBOM,若適用)等要求。

7.產品接口和聯合使用設備

需明確對配合使用的圖像工作站和PACS適當顯示器械標記的要求。

需明確CT設備兼容性與掃描參數要求(如層厚、排數)、

8.算法訓練總結

訓練集基本信息、訓練指標與結果

9.算法性能評估總結

-算法輸入與輸出

-測試集基本信息

-用于確定器械標記的每個區域的性質的評分標準

-每個可用器械操作點的總體敏感度和假陽性率指標

-分層分析(如,根據病變大小、病變類型、采集參數、成像或數據特征)

-獨立FROC性能(如適用),需和操作特性曲線一起說明。

-測試結果

10.臨床試驗總結

需包括臨床試驗設計基本類型、研究對象(受試者及閱片者情況)、評價指標,金標準、對收集臨床信息方法的描述、統計方法描述、樣本量,臨床試驗結果(含各結節尺寸、密度影、閱片者亞組情況)。

11.公開數據庫及測試結果(如有)

12.第三方測評數據庫及測試結果(如有)

13.決策指標定義(或提供決策指標定義所依據的臨床指南、專家共識等參考文獻)等信息。

三、參考文獻

[1]國家市場監督管理總局. 醫療器械注冊與備案管理辦法(市場監管總局令第47號),2021.8

[2]原國家食品藥品監督管理總局. 醫療器械說明書和標簽管理規定(總局令第6號),2014.7

[3]國家藥品監督管理局. 醫療器械注冊申報資料要求和批準證明文件格式(2021年第121號),2021.9

[4]國家藥品監督管理局. 醫療器械通用名稱命名指導原則(2019年第99號通告),2019.12

[5]國家藥品監督管理局. 醫療器械安全和性能基本原則(2020年第18號通告),2020.3

[6]原國家食品藥品監督管理總局.醫療器械產品技術要求編寫指導原則(2014年第9號通告),2014.5

[7]國家藥品監督管理局醫療器械技術審評中心. 醫療器械軟件技術審查指導原則(第二版)(征求意見稿),2020.6

[8] 國家藥品監督管理局醫療器械技術審評中心. 醫療器械網絡安全技術審查指導原則(第二版)(征求意見稿),2020.9

[9]原國家食品藥品監督管理總局. 移動醫療器械注冊技術審查指導原則(2017年第222號通告),2017.12

[10]國家藥品監督管理局醫療器械技術審評中心. 深度學習輔助決策醫療器械軟件審評要點(2019年第7號通告),2019.7

[11] 國家藥品監督管理局醫療器械技術審評中心. 肺炎CT影像輔助分診與評估軟件審評要點(試行)(2020年第8號通告),2020.3

[12]國家藥品監督管理局醫療器械技術審評中心. 人工智能醫療器械審查指導原則(征求意見稿),2021.6

[13]國家藥品監督管理局. 醫療器械生產質量管理規范附錄獨立軟件(2019年第43號通告),2019.7

[14] 國家藥品監督管理局. 醫療器械生產質量管理規范獨立軟件現場檢查指導原則(藥監綜械管〔2020〕57號),2020.5

[15] 國家藥品監督管理局. 人工智能類醫用軟件產品分類界定指導原則(2021年第47號)),2021.7

[16] 國家藥品監督管理局標準管理中心. 輔助決策類醫用軟件產品分類界定指導原則(征求意見稿),2021.6

??? [17] 國家衛生健康委員會. 人工智能輔助診斷技術管理規范(國衛辦醫發〔2017〕7號),2017.2

??? [18]國家衛生健康委員會. 人工智能輔助治療技術管理規范(國衛辦醫發〔2017〕7號),2017.2

[19]YY/T 0287-2017 醫療器械 質量管理體系 用于法規的要求[S]

[20] YY/T 0316-2016 醫療器械 風險管理對醫療器械的應用[S]

[21] YY/T 0664-2020 醫療器械軟件 軟件生存周期過程[S]

[22] YY/T 1406.1-2016 醫療器械軟件 第1部分:YY/T 0316應用于醫療器械軟件的指南[S]

[23]GB/T 25000.10-2016 系統與軟件工程 系統與軟件質量要求與評價(SQuaRE)系統與軟件質量模型[S]

[24]GB/T 39725-2020 信息安全技術? 健康醫療數據安全指南 [S]

[25]YY/T 1833.1人工智能醫療器械 質量要求和評價 第1部分:術語(報批稿) [S]

[26] YY/T 1833.2人工智能醫療器械 質量要求和評價 第2部分:數據集通用要求(報批稿) [S]

??? [27]YY/T 1833.3人工智能醫療器械 質量要求和評價 第3部分:數據標注通用要求(報批稿) [S]

[28] YY/T 人工智能醫療器械 肺部影像輔助分析軟件 算法性能測試方法(報批稿) [S]

[29 ]AIMDICP-WG6-2020-002 基于胸部CT的肺結節影像輔助決策產品性能指標和測試方法 [S]

[30] AIMDICP-WG12-2021-001 醫學人工智能技術學名詞(草稿) [S]

[31] FDA. Computer-Assisted Detection Devices Applied to Radiology Images and Radiology Device Data, 2012.7

[32] FDA. Considerations for Computer-Assisted Detection Devices Applied to Radiology Images and Radiology Device Data, 2012.7

[33] FDA. Proposed Regulatory Framework for Modifications to Artificial Intelligence/Machine Learning (AI/ML) - Based Software as a Medical Device (SaMD) Draft, 2019.5

[34] FDA. Artificial Intelligence and Machine Learning(AI/ ML) Software as a Medical Device(SaMD) Action Plan, 2021.1

[35] 人工智能醫療器械創新網合作平臺. www.aimd.org.cn

[36] IMDRF AIMD. ww.imdrf.org/workitems/wi-aimd.asp

[37] ITU&WHO AI4H. www.itu.int/go/fgai4h

[38] 胸部CT肺結節數據集構建及質量控制專家共識[J].中華放射學雜志,2021,55(02):104-110.?

附件:1.風險管理文檔?

2.數據庫(集)


附錄1

風險管理文檔

下表所列為常見可預見事件及事件序列/可能的損害示例,需關注:

?

采取風險控制措施前后的風險矩陣表示例

?

?附錄2

數據庫(集)

按照產品開發時間順序明確使用的數據庫/集情況,需明確數據量變化原因,抽樣及合并方法及合理性。數據庫/集包括不限于基礎數據庫、標注數據庫、訓練集、調優集、測試集、對抗測試集、公開數據庫,測評數據庫、臨床試驗數據庫。

每個數據庫建議提供以下信息:

-數據庫名稱及版本、類型(如外部、內部;訓練、測調優、測試)

-受檢者數據收集的納入和排除標準

-人口統計學數據(年齡、種族、人種)

-采集方式(前瞻性、回顧性)

-放射學檢查條件,如CT增強掃描,CT平掃

-采集數據的方法

數據來源(體檢篩查、門診病房)

設備廠家、型號、探測器排數

掃描參數:管電壓范圍、管電流范圍、層厚范圍、輻射劑量(低劑量平掃CT,劑量小于等于1.5mSv;常規劑量平掃或增強,劑量大于1.5mSv)

-重建方式(標準算法、肺算法、其他

-樣本量(正常案例數、疾病案例數、確定疾病狀態、位置、范圍的方法)

-按影像因素分層的病例分布,如年齡、性別、地區、結節大小、結節類型、圖像重建層厚/層間距、疾病類型、重建方式、掃描協議、成像廠家、醫療機構。

需明確總體數據范圍及分層數量及占比,并需列表對比分析各數據庫信息。

采用公開數據數據庫的需明確用途,不應作為測評數據庫使用。

返回列表
醫療器械創新網網 醫療器械創新網網 醫療器械創新網網 醫療器械創新網網 醫療器械創新網網 久久97超碰 | 999电影免费在线观看 | 亚洲视频每日更新 | 久久精品一区八戒影视 | 视频国产一区二区三区 | 四虎国产精 | 精品国产乱码久久久久久久 | 欧美日韩一区二区三区免费视频 | 欧美日韩一区二区三区视频 | 日日躁你夜夜躁你av蜜 | 激情综合久久 | 成人免费91| 在线观看久久 | 国产免费黄视频在线观看 | 在线观看av网站 | 精精国产xxxx视频在线播放 | 天天搞天天干 | 911精品美国片911久久久 | 美女视频黄是免费的 | 粉嫩av一区二区三区免费 | 国产亚州精品视频 | 欧美性色综合网 | 国产精品亚洲综合久久 | 精品国产一区二区三区在线 | 国产小视频在线 | 天天色综合久久 | 色网址99 | 91看成人 | 午夜国产福利在线 | 91最新国产 | 一级黄色在线视频 | 色在线网站 | 探花视频在线观看 | 精品久久久久久亚洲综合网站 | 欧美精品免费视频 | 在线国产日韩 | 在线观看免费91 | 午夜精品福利在线 | 国产99久久精品一区二区永久免费 | 亚洲成人资源在线 | 日韩va欧美va亚洲va久久 | 中文字幕资源网在线观看 | 久久久久国产精品免费 | 免费a现在观看 | 欧美日本不卡视频 | 国产视频九色蝌蚪 | 免费在线观看黄网站 | 丰满少妇在线观看资源站 | 五月婷婷激情五月 | 婷婷资源站 | 丝袜美腿亚洲综合 | 婷婷在线五月 | 黄色大片中国 | 色婷婷狠狠五月综合天色拍 | 久久草在线免费 | 午夜精品久久久久久中宇69 | 玖玖玖国产精品 | 免费一级片观看 | 五月天色网站 | 日韩精品久久一区二区 | 国产精品久久久久高潮 | 激情大尺度视频 | 国产亚洲精品久久久网站好莱 | 欧美性做爰猛烈叫床潮 | 国产最顶级的黄色片在线免费观看 | 天天干,夜夜操 | 国产精品入口a级 | 成人av中文字幕在线观看 | 欧美在线free | 中文字幕丰满人伦在线 | 一区二区三区精品在线视频 | 国产精品视频在线看 | 免费观看十分钟 | 91在线看网站 | 亚洲视频1区2区 | 999在线视频 | 久久久激情网 | 91中文在线 | 国产视频在线观看免费 | 在线观看亚洲 | 日韩区在线观看 | 日本bbbb摸bbbb | 一区二区三区四区精品 | 欧美怡红院视频 | 色综合久久久久综合 | 久久av一区二区三区亚洲 | 尤物九九久久国产精品的分类 | 香蕉视频一级 | 国产在线免费观看 | 国产亚洲精品久久久久久久久久久久 | 在线观看日韩精品 | 久久精品美女 | 91完整视频| 亚洲精品视频偷拍 | 五月天亚洲综合小说网 | 深爱激情五月综合 | 成人免费视频网址 | 国产精品丝袜在线 | 久草在线观 | av韩国在线 | 97视频资源 | 五月婷在线播放 | 在线91精品 | 久久艹久久 | 国产精品69av | 综合久久久久久 | 在线免费观看视频一区二区三区 | 亚洲成av人片在线观看香蕉 | 精品国产三级a∨在线欧美 免费一级片在线观看 | av丝袜在线| 国产一级黄 | 91av亚洲| 欧美日韩破处 | 国产高清视频在线 | 国产91精品久久久久久 | 成人sm另类专区 | 亚洲精品美女久久久 | 色av男人的天堂免费在线 | 四虎影视成人精品国库在线观看 | 日本在线免费看 | 精品视频专区 | 91在线超碰| 久久国产精品二国产精品中国洋人 | www.xxxx变态.com| 国产高清av免费在线观看 | 日韩综合一区二区 | 日本系列中文字幕 | 久久高视频 | 人人澡人摸人人添学生av | 99高清视频有精品视频 | 欧美一区二区三区特黄 | 亚洲精品中文字幕在线观看 | 十八岁以下禁止观看的1000个网站 | 国色天香av | 婷婷视频导航 | 国产黄a三级三级三级三级三级 | 欧美性黑人 | 午夜性生活 | 97色资源 | 国产一线天在线观看 | 免费看国产黄色 | 国产日韩精品久久 | 丁香在线观看完整电影视频 | 久久综合色天天久久综合图片 | 欧美三级免费 | 国产黄色片久久久 | 国产精品综合av一区二区国产馆 | 成人黄色大片在线免费观看 | 久草综合在线观看 | 国产精品免费在线视频 | 日韩欧美在线观看一区二区三区 | 成人黄色国产 | 三级黄在线 | 五月综合婷| 国产美腿白丝袜足在线av | 亚洲伊人成综合网 | 亚洲精品免费观看视频 | 午夜精品久久久久久久久久久 | 欧美大片在线观看一区 | 91成人免费视频 | 国产视频在线观看一区二区 | 深夜福利视频一区二区 | 成人播放器 | 在线视频日韩 | 美女黄网站视频免费 | 婷婷性综合| 婷婷久草 | 成人黄在线观看 | 久久精品久久精品久久 | 免费在线一区二区 | 久久综合婷婷国产二区高清 | 中文在线免费一区三区 | 99精品美女 | 国产免费a | 久久久激情网 | 99精品观看 | 69国产精品视频免费观看 | 在线观看国产成人av片 | 久草com| 天天操天天射天天爱 | 天天射天天搞 | 亚洲视频在线观看免费 | 国产一级一片免费播放放a 一区二区三区国产欧美 | 91少妇精拍在线播放 | av视屏在线 | av三级在线免费观看 | 精品国产精品久久 | 五月婷在线视频 | 日本色小说视频 | 在线观看视频黄色 | 国产一区成人在线 | 国产精品一区二区av | 国产高清视频免费最新在线 | 粉嫩av一区二区三区四区五区 | 免费看片成年人 | 黄色软件大全网站 | 欧美巨大荫蒂茸毛毛人妖 | 免费日韩 精品中文字幕视频在线 | 毛片的网址| 四虎成人精品永久免费av九九 | 91电影福利| 色婷婷亚洲婷婷 | 亚洲精品免费在线观看 | av千婊在线免费观看 | 亚洲日本中文字幕在线观看 | 天天摸天天舔 | 一区二区精品在线视频 | 五月天综合激情网 | 国产区高清在线 | 国产成人亚洲在线观看 | 日韩av高清在线观看 | 精品久久一区 | 中文字幕韩在线第一页 | 在线视频日韩欧美 | 久久国产精品视频免费看 | www.狠狠插.com | 久久99精品久久久久久 | 在线视频 国产 日韩 | 夜夜摸夜夜爽 | 久久一区二区三区日韩 | 在线日韩中文字幕 | 麻豆免费视频网站 | 三级黄色免费 | 精品国产大片 | 久久一二三四 | 狠狠的操狠狠的干 | 亚洲国产午夜 | 天天操天天操天天操天天操 | 色播99| 日韩大片在线 | 欧美日韩在线播放一区 | 久久精品欧美一区二区三区麻豆 | 国产麻豆视频 | 欧美aⅴ在线观看 | 国产免费高清 | 国产午夜在线观看视频 | 500部大龄熟乱视频 欧美日本三级 | 日韩精品在线看 | 日韩免费观看高清 | 久久综合九色综合网站 | 天天色中文 | 狠狠色狠狠色综合系列 | 欧美精品资源 | 国产精品99久久久久久有的能看 | 免费av在线播放 | 中文字幕av全部资源www中文字幕在线观看 | 免费色视频在线 | 亚洲精品字幕 | 欧美国产日韩一区二区 | 亚洲一区欧美激情 | 特级西西444www大精品视频免费看 | 日韩精品无 | a级片在线播放 | 久久国产精品二国产精品中国洋人 | 黄色av一级片 | 最新国产在线 | 中文字幕色站 | 日韩免费观看高清 | 国产高清不卡 | 91看片在线播放 | 免费av在线播放 | av免费电影网站 | 黄色小说视频在线 | 精品少妇一区二区三区在线 | 黄色一级动作片 | 日韩中文字幕免费视频 | 精品久久久久久久久中文字幕 | 久久久国产精品人人片99精片欧美一 | 午夜视频在线观看一区二区三区 | 国产白浆视频 | 一区二区三区国产精品 | 日本精品一区二区三区在线观看 | 天天射天天做 | 日韩免费在线视频观看 | 日韩免费在线观看视频 | 久久人人爽爽人人爽人人片av | 国产欧美精品一区aⅴ影院 99视频国产精品免费观看 | 国内精品毛片 | 美女视频黄是免费的 | 成人av地址 | 国产中文在线字幕 | 99国产精品一区二区 | 国产视频在线观看免费 | 一区二区三区在线观看中文字幕 | 成人久久久久 | 亚洲欧美日韩一级 | 天天操夜夜拍 | 中文字幕 国产精品 | 免费av网址大全 | 色综合婷婷久久 | 超碰在线免费97 | 国产在线精品一区二区 | 九九热在线精品视频 | 欧美网站黄色 | 成人免费在线观看入口 | 免费大片黄在线 | 久久成人午夜视频 | 国产精品资源网 | 久久理论影院 | 免费久久精品视频 | 国产精品一区二区果冻传媒 | 久久精品导航 | 日批视频在线播放 | 久久神马影院 | 国产伦精品一区二区三区照片91 | 国内精品99| 久久精品精品电影网 | 国产精品日韩久久久久 | 九九热在线观看视频 | 久久精品中文字幕少妇 | 国产成人一区二区三区久久精品 | 久久国产精品一二三区 | 亚洲黄污| 韩国精品福利一区二区三区 | 日韩中文字幕国产 | 国产一级a毛片视频爆浆 | 日本中文字幕在线免费观看 | 久久热首页 | 国产精品久久久久久久久久免费看 | 日韩美女免费线视频 | 丁香婷婷激情国产高清秒播 | 久久激情久久 | www.伊人网 | 精品免费视频. | 偷拍福利视频一区二区三区 | 亚洲国产精品推荐 | 成人国产精品免费 | 久久久国产精品网站 | 一区二区中文字幕在线 | 麻豆成人在线观看 | 久久久久久国产一区二区三区 | 亚洲日韩中文字幕 | 日韩高清免费在线观看 | 日韩二区精品 | 亚洲精品在线观看视频 | 国产一级电影网 | 亚洲国产999 | 日本成人免费在线观看 | 最近2019中文免费高清视频观看www99 | 久久激情影院 | 日韩欧美大片免费观看 | 国产99久久久国产精品成人免费 | 一区电影 | 久草精品在线 | 天天综合网 天天 | 亚洲国产色一区 | 久久精品99国产国产 | 国产精品久久久久久久久久久久午 | 日本三级香港三级人妇99 | 西西4444www大胆无视频 | 免费久久网| 成人91视频 | 成人亚洲免费 | 91视频三区 | 成人av在线网 | 在线 高清 中文字幕 | 在线免费观看国产 | 在线播放 亚洲 | 成 人 黄 色 视频 免费观看 | 九九精品视频在线 | 丁香综合激情 | 亚洲激情视频在线观看 | 天天综合成人网 | 天天综合网在线 | 国内久久视频 | 成年人三级网站 | 欧美a在线看 | 天天干,夜夜爽 | 一区三区视频 | 99热精品免费观看 | 丝袜制服天堂 | 插久久| 国产精品视频地址 | www久久国产 | 国产99区| 天天天天综合 | 国产在线黄 | 在线中文字母电影观看 | 中文乱码视频在线观看 | 在线播放日韩 | 人人澡超碰碰97碰碰碰软件 | 在线观看午夜 | 久久黄色a级片 | 日韩精品免费一区二区 | 色哟哟国产精品 | 高清国产午夜精品久久久久久 | 欧美日本日韩aⅴ在线视频 插插插色综合 | 日日干日日操 | 中文字幕一区二区三区乱码不卡 | 国产精品v a免费视频 | 国产美女视频一区 | 亚洲国产视频网站 | 久久久久亚洲精品国产 | 激情五月色播五月 | 久久天天躁夜夜躁狠狠85麻豆 | 91探花国产综合在线精品 | 国产综合视频在线观看 | 四虎成人精品永久免费av | 久久福利小视频 | 中文字幕人成人 | 天天激情天天干 | 一级片免费在线 | 欧美一二三专区 | 亚洲成人免费在线 | 又黄又爽又刺激视频 | 久久成人一区 | 亚洲黄色在线 | 在线一级片 | 天天操天天透 | 麻豆视屏 | 日韩精品 在线视频 | 亚洲国产精品一区二区久久,亚洲午夜 | 五月婷社区 | 国产在线色站 | 久久免费视频网站 | 国产精品中文字幕在线播放 | 国产精品美女免费视频 | 亚洲一区网 | 国产一区精品在线 | 久久伦理电影 | 天天操天天干天天爽 | 国产又粗又猛又色又黄网站 | 国产视频 亚洲精品 | 亚洲天天综合网 | 亚洲天堂自拍视频 | 色综合网| 国产精品自产拍在线观看蜜 | 久久99久久99精品中文字幕 | 日本精品在线视频 | 亚洲另类视频在线观看 | 久久老司机精品视频 | 中文字幕在线观 | 一本到视频在线观看 | 婷婷五综合| 福利av影院 | 911精品视频 | 99国内精品久久久久久久 | 国产精品成人免费精品自在线观看 | 亚洲黄色成人网 | 亚洲精品中文在线 | 国产专区欧美专区 | 91麻豆精品国产自产在线游戏 | 久久成人免费视频 | www蜜桃视频| www.色就是色| 亚洲 欧美变态 另类 综合 | 国产国语在线 | 亚洲欧美日韩国产精品一区午夜 | 一区二区免费不卡在线 | 激情五月开心 | 91九色老| 丁香综合五月 | 手机av网站| 夜色资源网 | 国产精品麻豆免费版 | 色婷婷av国产精品 | 欧美久久综合 | 日韩丝袜在线观看 | 精品一二三四视频 | 日韩免费网址 | 成人中文字幕+乱码+中文字幕 | 日韩理论在线视频 | 欧美在线视频一区二区 | 欧美在线观看小视频 | 色com| 伊人中文字幕在线 | 少妇18xxxx性xxxx片 | 亚洲九九九在线观看 | 国产精品日韩欧美一区二区 | 婷婷网站天天婷婷网站 | 国产高清在线观看av | 亚洲区精品| 最近中文字幕高清字幕在线视频 | 精品国产理论 | 九色琪琪久久综合网天天 | 久久国产热视频 | 亚洲日本欧美在线 | 精品国模一区二区三区 | 成人亚洲免费 | 国产99久久久久 | 久久久久久国产精品免费 | 欧美日韩精品在线一区二区 | 免费色视频网址 | 久久蜜桃av | 国产精品少妇 | 国产精品一区二区三区视频免费 | 97精品国产97久久久久久免费 | 国产亚洲欧洲 | 国产成人精品免费在线观看 | www.天天操| 丁香在线观看完整电影视频 | 国产高清在线不卡 | 国产女人40精品一区毛片视频 | 精品国产欧美一区二区三区不卡 | 久久久精品国产免费观看同学 | 视频在线91 | 91热精品| 日韩精品一区二区三区电影 | 五月天色丁香 | 日韩视频免费在线观看 | 亚州精品在线视频 | 久久免费国产精品1 | 久久全国免费视频 | 日韩精品专区在线影院重磅 | 久久综合五月婷婷 | 日韩一区二区三区高清免费看看 | 97成人精品| 久久精品首页 | 国模吧一区 | 久久理论电影网 | 99久久99久久综合 | 久久99在线观看 | 精品国产精品久久一区免费式 | 中文字幕精品在线 | 亚洲精品乱码久久久久久蜜桃欧美 | 亚洲,国产成人av | 日韩av区| 中文字幕亚洲精品日韩 | 国产日韩精品一区二区三区 | 97av在线视频免费播放 | 国产一级黄色电影 | 成人蜜桃 | 97精品一区| 久操伊人| 久久久精品影视 | 九九九热精品 | 国产日韩欧美在线 | 在线观看日韩专区 | 18女毛片 | 欧美日韩大片在线观看 | 激情av资源| 日本黄色片一区二区 | 99精品国产高清在线观看 | 色视频在线看 | 久久久久久久久久久综合 | 日本黄色一级电影 | 中文一区二区三区在线观看 | 色多多在线观看 | 亚洲成人资源网 | 天天搞天天 | 国产99久 | 成人在线观看免费 | 一级特黄aaa大片在线观看 | 久久任你操 | 亚洲日本中文字幕在线观看 | 欧美色图亚洲图片 | 久久夜色精品国产欧美乱极品 | 久久论理 | 欧美日韩国产一区二区在线观看 | 92中文资源在线 | 精品在线小视频 | 国产999| 麻豆国产精品视频 | 九色琪琪久久综合网天天 | 香蕉影院在线播放 | 一区二区三区高清在线 | 黄色成人毛片 | av电影免费 | 免费观看成人网 | 亚洲三区在线 | 午夜在线观看一区 | 中文字幕第一页在线 | 伊人视频 | 国产精品国产自产拍高清av | 99视频免费在线观看 | 丁香影院在线 | 精品国产亚洲一区二区麻豆 | 欧美黄色高清 | 国产在线观看你懂的 | 在线免费观看黄网站 | 伊人网av | 国产精品久久久久久久久搜平片 | 综合久久2023| 色在线亚洲 | 夜夜躁天天躁很躁波 | 最新国产在线 | 日韩精品中文字幕在线 | 色狠狠狠| 免费看成人| 99视频一区二区 | 狠狠色噜噜狠狠狠 | 99久久久久 | 成人一级视频在线观看 | 天天干天天干天天 | 少妇精品久久久一区二区免费 | 午夜性色 | 一区二区三区 亚洲 | 国产最新精品视频 | 一级片黄色片网站 | 五月婷婷中文字幕 | 99国产一区二区三精品乱码 | 九九在线免费视频 | 丁香久久激情 | 天天射网站 | 丁香花中文在线免费观看 | 黄网站免费看 | 国产超碰在线 | 国产精品久久久久久久久大全 | 久久激情视频 久久 | 又色又爽的网站 | 91精品久久久久久久久 | 国产精品完整版 | 免费视频久久久久久久 | 91久久久久久久 | 五月婷婷在线播放 | 免费av网址在线观看 | 午夜视频欧美 | 亚洲免费视频观看 | 美女黄濒 | 久久超碰99 | 欧美日韩一区二区三区不卡 | 97超碰在线人人 | 成人国产精品久久久春色 | 日日躁夜夜躁xxxxaaaa | 日韩在线观看三区 | 天天鲁天天干天天射 | 久久网页 | 久久少妇免费视频 | 99久久精品国产系列 | 欧美一二三区在线观看 | 免费亚洲黄色 | 婷婷色 亚洲 | 日韩狠狠操| 欧美日韩国产在线一区 | 青草草在线视频 | 色噜噜日韩精品欧美一区二区 | 成年免费在线视频 | 久久综合久色欧美综合狠狠 | 91网址在线看 | 欧美日韩国内在线 | 日韩一区二区三 | 久久99热国产 | 日韩欧美国产精品 | 日韩精品极品视频 | av在线a | 成人网中文字幕 | 日韩av进入 | 永久免费的av电影 | 丁香五婷 | 不卡的av中文字幕 | 中文字幕电影高清在线观看 | 国产一区免费在线 | 中文字幕一区二区三区四区视频 | av三级av | 天天躁日日躁狠狠躁av中文 | 久久久官网| 国产精品热视频 | 婷婷丁香在线视频 | 日韩三级av | 婷婷午夜激情 | 日韩一区二区三区高清在线观看 | 一级一片免费观看 | 欧美日韩观看 | 国产系列精品av | 丁香午夜婷婷 | 婷婷免费视频 | av+在线播放在线播放 | 久久人人爽爽人人爽人人片av | 全久久久久久久久久久电影 | 国产精品欧美精品 | 日韩精品一区二区三区免费观看 | 午夜av日韩 | 日韩激情在线视频 | 日韩三级av| 99理论片| 久久激情小说 | 黄色大全免费观看 | 天天干天天操人体 | 国产在线精品一区二区 | 日韩久久精品一区二区 | 天天射天天干天天操 | 91黄视频在线观看 | 国产成人一区二区三区在线观看 | 日韩在线大片 | 久久你懂得 | 欧美午夜精品久久久久 | 国产伦理久久 | 综合色中色| 天天综合网 天天 | 亚洲黄色av网址 | 免费进去里的视频 | www.com久久久 | 岛国一区在线 | 亚洲综合色视频 | 久久久黄视频 | 国产精品一区二区 91 | 免费在线观看不卡av | 精品国产一区二区久久 | 国产精品视频免费 | 99re8这里有精品热视频免费 | 丝袜网站在线观看 | 国产一区二区三区在线免费观看 | 韩国三级av在线 | 一区二区视 | 日韩av手机在线观看 | 日韩免费在线视频 | 欧美成人一区二区 | 国产高清视频免费 | 噜噜色官网 | 欧美一区免费观看 | 在线观看韩国av | 国产精品一区久久久久 | 一区二区三区高清不卡 | 国产区在线 | 久久久久久综合 | 久久国产亚洲 | 日韩高清www | 日韩视频在线播放 | 国产自偷自拍 | 蜜臀久久99精品久久久无需会员 | 国产成人精品一区二三区 | 99亚洲视频 | 可以免费观看的av片 | 日韩理论电影在线 | 欧美日韩国产网站 | 国产精品理论片 | bbw av| 久久免费视频4 | 偷拍区另类综合在线 | 91看片在线看片 | 亚洲精品视频在线观看视频 | 亚洲久草在线 | av短片在线 | 中文字幕麻豆 | 久久国产综合视频 | 99视频精品免费观看, | 免费在线观看av | 中文字幕在线影视资源 | 成人国产精品久久久久久亚洲 | 亚洲一区二区麻豆 | 毛片区 | 综合影视| 日本狠狠干| 色天天综合久久久久综合片 | 美女在线观看网站 | 国产精品一区二区久久精品爱微奶 | 国产韩国日本高清视频 | 午夜精品一区二区三区在线观看 | 国产高清永久免费 | 日产乱码一二三区别在线 | 天天干.com | a色网站| 亚洲一本视频 | 国产手机在线精品 | 丁香婷婷社区 | 国产精品网站 | 婷婷色在线播放 | 久久免费av电影 | 免费日韩三级 | 精品毛片在线 | 欧美激情精品一区 | 成人啊 v | 成人性生活大片 | 国产999精品久久久久久麻豆 | 久久人人精 | 黄网站app在线观看免费视频 | 久久综合福利 | 成人av片在线观看 | av网址在线播放 | 免费色视频在线 | 国内精品免费 | 中文在线a在线 | 91网在线看 | 成人在线一区二区三区 | 国产高清在线不卡 | 久久精品男人的天堂 | 欧美一区二区在线免费观看 | 成人欧美一区二区三区在线观看 | 狠狠狠狠狠狠 | 欧美一级片在线播放 | 国产麻豆精品传媒av国产下载 | 精品999在线观看 | 香蕉免费在线 | 日韩欧美在线高清 | 成人毛片在线视频 | 久草在线观看 | 97天堂网 | 毛片网站观看 | 在线 影视 一区 | 西西大胆啪啪 | 久久激情日本aⅴ | 免费看的黄色 | 麻豆高清免费国产一区 | 日韩中文字幕免费视频 | 丁香激情综合 | 亚洲免费av一区二区 | 国产精品一区电影 | 中文字幕视频三区 | www.香蕉视频在线观看 | 精品久久久久国产 | 9草在线| 欧美一级大片在线观看 | 欧美性天天 | 欧美综合干 | 日日摸日日碰 | 丁香婷婷深情五月亚洲 | 夜夜躁狠狠躁日日躁 | 97小视频| 国产精品视频最多的网站 | 首页av在线| 亚洲精品国产综合99久久夜夜嗨 | www久久久久 | 在线 高清 中文字幕 | 一区二区国产精品 | 国产精品一区二区久久精品爱涩 | 综合色婷婷 | 亚洲va欧美va国产va黑人 | 深爱激情五月网 | 免费国产视频 | 日韩一区二区三区免费电影 | 91热爆视频| 国产成人av一区二区三区在线观看 | 在线免费观看黄色大片 | 五月婷香蕉久色在线看 | 在线播放日韩av | 二区三区毛片 | 一本一道久久a久久精品 | 一区二区精品久久 | 狠狠色丁香婷婷综合基地 | 日韩视频在线不卡 | 精品一区二区三区四区在线 | 韩国一区二区av | 婷婷久久网| 美女精品久久久 | 久久经典国产视频 | 日韩精品视频免费专区在线播放 | 亚洲激情视频在线观看 | 狠狠色综合网站久久久久久久 | 精品免费国产一区二区三区四区 | 毛片永久免费 | 天天干人人 | 亚洲免费观看在线视频 | 免费视频区 | 亚洲午夜激情网 | 国产亚洲精品久久久久动 | 久久综合九色综合欧美就去吻 | 高清精品在线 | 91九色视频在线观看 | 色偷偷男人的天堂av | 国产日韩中文在线 | 久久久久久久久久亚洲精品 | 九九热国产视频 | www天天干com| av播放在线 | 国产一区二区在线观看免费 | av一区二区三区在线观看 | 色国产在线 | 91亚洲精品久久久中文字幕 | 干干夜夜 | 国产午夜三级一区二区三桃花影视 | 四虎在线观看网址 | 日韩av视屏 | 欧美精品生活片 | 黄色av影视 | 成人a在线| 国产精品久久久久久欧美 | 国产精品免费av | 亚洲成人精品 | 日本精品一区二区三区在线播放视频 | 天天干天天拍 | 激情视频91| 日韩无在线 | 国产一级淫片免费看 | 精品在线观看一区二区 | 日韩中文字幕视频在线观看 | 国产精品麻豆视频 | 99久久精品国产毛片 | 婷婷色在线播放 | 天天射天天搞 | 精品国产_亚洲人成在线 | 精品99在线| 色丁香久久 | 精品日韩av| 日本精品二区 | 中文字幕.av.在线 | 成人在线视频在线观看 | 国产在线一区观看 | 中文字幕91视频 | 免费观看性生活大片 | 久久久精品视频成人 | 黄色特级一级片 | 色吧av色av| 欧美999 | a视频免费| 国产视频导航 | 91视频网址入口 | 日韩av在线免费看 | 91.dizhi永久地址最新 | 成人a级免费视频 | 精品久久久久久久久久国产 | 久久综合九色综合网站 | 国产va饥渴难耐女保洁员在线观看 | 婷婷视频| 黄色免费大片 | 韩国精品福利一区二区三区 | 欧洲成人av| 97看片网 | 久久精品99精品国产香蕉 | 日韩视频在线观看视频 | 中文在线a∨在线 | 九九热在线视频免费观看 | 亚洲国产精品久久 | 天天骚夜夜操 | 久久午夜精品视频 | 国产精品成人免费精品自在线观看 | 久草视频免费在线观看 | 日韩黄色在线 | 国产视频精品在线 | 久久九九精品 | 中文字幕在线观看亚洲 | 中文字幕一区二区三区四区视频 | 亚洲视频电影在线 | 婷婷六月天在线 | 亚洲理论影院 | 在线国产不卡 | 免费男女羞羞的视频网站中文字幕 | 亚洲免费视频在线观看 | 国内精品视频久久 | 中文字幕av在线播放 | 中文字幕免费看 | 精品影院一区二区久久久 | 亚洲精品成人av在线 | 999成人 | 91亚洲欧美激情 | 国内精品久久久久国产 | 在线免费视频一区 | www.久久色 | 日韩精品最新在线观看 | 九九九热精品免费视频观看网站 | 久草视频观看 | 天天射综合 | av高清一区 | 深爱激情五月综合 | 最近高清中文在线字幕在线观看 | 国产va饥渴难耐女保洁员在线观看 | 久草免费在线视频观看 | 免费在线观看的av网站 | 亚洲成色777777在线观看影院 | 国产高清绿奴videos | 国产一二区精品 | 91中文字幕一区 | 国产九九九视频 | 欧美日韩国产一区二区在线观看 | 91在线91 | 天堂在线成人 | 久久久久久久久久久久久国产精品 | 亚洲午夜av| 69性欧美| 麻豆mv在线观看 | 91香蕉久久 | 亚洲精品日韩在线观看 | 中文字幕亚洲综合久久五月天色无吗'' | 91精品国产乱码在线观看 | 少妇自拍av | 国产成人精品国内自产拍免费看 | 一区二区三区视频在线 | 亚洲成人资源网 | 国产中文字幕三区 | 九九九九九精品 | 婷婷综合视频 | 高清av免费一区中文字幕 | 国产91精品欧美 | 午夜久久久影院 | 久久99国产综合精品免费 | 久草精品视频在线观看 | 欧美大香线蕉线伊人久久 | 国产精品嫩草影视久久久 | 日本一区二区不卡高清 | 日本精品久久久久影院 | 97福利视频| 久久黄色小说视频 | 正在播放 国产精品 | 色www精品视频在线观看 | 久久色视频 | 最近最新中文字幕视频 | 国产精品视频在线观看 | 一区二区三区日韩精品 | 国产黄色片免费 | 美女黄频在线观看 | www.国产在线视频 | 国产a国产a国产a | 日韩二区在线观看 | 日本中文字幕网 | 国产在线国产 | 久久精品91久久久久久再现 | 伊人五月 | 欧美a级片网站 | 天天干,天天射,天天操,天天摸 | 草莓视频在线观看免费观看 | 日韩丝袜 | 伊人欧美 | 亚洲欧美国产精品 | 九九九热精品免费视频观看网站 | 成人免费在线播放视频 | 国产一级免费在线观看 | 免费91在线| 久久99在线观看 | 欧美aaa大片 |