一区中文字幕在线观看I91九色成人蝌蚪首页I最新中文在线视频I中文字幕乱在线伦视频中文字幕乱码在线I日日草天天草I91精彩视频在线观看I久久精品99精品国产香蕉I久久成人午夜视频

醫(yī)療器械創(chuàng)新網(wǎng)

logo

距離創(chuàng)新創(chuàng)業(yè)大賽報(bào)名結(jié)束
48
16
時(shí)
37

會(huì)員登錄

用戶登錄 評(píng)委登錄
一周內(nèi)自動(dòng)登錄 建議在公共電腦上取消此選項(xiàng)
一周內(nèi)自動(dòng)登錄 建議在公共電腦上取消此選項(xiàng)
一周內(nèi)自動(dòng)登錄 建議在公共電腦上取消此選項(xiàng)
手機(jī)驗(yàn)證碼登錄 還未賬號(hào)?立即注冊(cè)

會(huì)員注冊(cè)

已有賬號(hào)?
醫(yī)療器械創(chuàng)新網(wǎng)
醫(yī)療器械創(chuàng)新網(wǎng)

【廣東】人工智能醫(yī)學(xué)軟件網(wǎng)絡(luò)安全技術(shù)審評(píng)指導(dǎo)原則發(fā)布

日期:2022-12-19

各有關(guān)單位:

? ? ? ?根據(jù)國家重點(diǎn)研發(fā)計(jì)劃專項(xiàng)課題《人工智能醫(yī)學(xué)信息系統(tǒng)軟件審評(píng)指導(dǎo)體系構(gòu)建》的要求,由我中心負(fù)責(zé)起草的《超聲影像人工智能診斷軟件技術(shù)審評(píng)指導(dǎo)原則》等11項(xiàng)人工智能醫(yī)學(xué)信息系統(tǒng)軟件指導(dǎo)原則(見附件)已經(jīng)完成制定流程,并通過專家組審定,現(xiàn)予以發(fā)布,供參考。

? ? ? ?附件:

? ? ? ?1.人工智能醫(yī)學(xué)軟件網(wǎng)絡(luò)安全技術(shù)審評(píng)指導(dǎo)原則


廣東省藥品監(jiān)督管理局審評(píng)認(rèn)證中心

2022年12月13日

本文為附件1:

人工智能醫(yī)學(xué)軟件網(wǎng)絡(luò)安全技術(shù)審評(píng)指導(dǎo)原則

本指導(dǎo)原則是人工智能醫(yī)學(xué)信息系統(tǒng)軟件審評(píng)指導(dǎo)體系構(gòu)建的組成部分,基于人工智能醫(yī)療器械審評(píng)指導(dǎo)原則和醫(yī)療器械網(wǎng)絡(luò)安全注冊(cè)審查指導(dǎo)原則的通用要求,細(xì)化了人工智能醫(yī)學(xué)軟件網(wǎng)絡(luò)安全的一般要求。
本指導(dǎo)原則旨在指導(dǎo)注冊(cè)人規(guī)范人工智能醫(yī)學(xué)軟件網(wǎng)絡(luò)安全生存周期過程和為技術(shù)審評(píng)提供參考。不涉及相關(guān)行政審批事項(xiàng),亦不作為法規(guī)強(qiáng)制執(zhí)行,應(yīng)在遵循相關(guān)法規(guī)的前提下使用本指導(dǎo)原則。
本指導(dǎo)原則是在現(xiàn)行法規(guī)和標(biāo)準(zhǔn)體系以及當(dāng)前認(rèn)知水平下制定的,隨著法規(guī)和標(biāo)準(zhǔn)的不斷完善,以及科學(xué)技術(shù)的不斷發(fā)展,在使用過程中應(yīng)對(duì)相關(guān)內(nèi)容適時(shí)進(jìn)行調(diào)整。
一.適用范圍
本指導(dǎo)原則適用于人工智能醫(yī)學(xué)軟件的網(wǎng)絡(luò)安全的產(chǎn)品注冊(cè),人工智能醫(yī)學(xué)軟件指采用人工智能技術(shù)(AI)實(shí)現(xiàn)其預(yù)期用途的醫(yī)學(xué)軟件,包括人工智能醫(yī)學(xué)獨(dú)立軟件和人工智能醫(yī)學(xué)軟件組件。如采用機(jī)器學(xué)習(xí)、模式識(shí)別、規(guī)則推理等技術(shù)實(shí)現(xiàn)醫(yī)療用途的獨(dú)立軟件和軟件組件。
. 主要概念
(一)人工智能醫(yī)學(xué)軟件網(wǎng)絡(luò)安全
通過采取必要措施、防范對(duì)數(shù)據(jù)、模型等攻擊、侵入、干擾、破壞和非法使用以及意外事故,使軟件設(shè)備處于穩(wěn)定可靠運(yùn)行的狀態(tài),以及保障數(shù)據(jù)、模型等的完整性、保密性、可得性的能力。此外,人工智能醫(yī)學(xué)軟件是基于海量醫(yī)學(xué)數(shù)據(jù)和高算力算法的軟件,醫(yī)療數(shù)據(jù)包含個(gè)人標(biāo)識(shí)、健康狀況以及醫(yī)療情況等相關(guān)信息,盡管信息安全、網(wǎng)絡(luò)安全、數(shù)據(jù)安全的定義和范圍各有側(cè)重,即有聯(lián)系又有區(qū)別,但本指導(dǎo)原則對(duì)三者不做嚴(yán)格區(qū)分,統(tǒng)一采用網(wǎng)絡(luò)安全進(jìn)行表述,綜合考慮軟件的信息安全和數(shù)據(jù)安全。
(二)網(wǎng)絡(luò)安全特性
1.保密性
數(shù)據(jù)不被未授權(quán)實(shí)體(含產(chǎn)品、服務(wù)、個(gè)人、組織)獲得或知悉的特性,即人工智能醫(yī)學(xué)軟件相關(guān)數(shù)據(jù)僅可由授權(quán)用戶在授權(quán)時(shí)間以授權(quán)方式進(jìn)行訪問和使用。
2.完整性
數(shù)據(jù)的創(chuàng)建、傳輸、存儲(chǔ)、顯示未以非授權(quán)方式進(jìn)行更改(含刪除、添加)的特性,即人工智能醫(yī)學(xué)軟件相關(guān)數(shù)據(jù)是準(zhǔn)確和完整的,且未被篡改。
3.可得性
數(shù)據(jù)可根據(jù)授權(quán)實(shí)體要求進(jìn)行訪問和使用的特性,即人工智能醫(yī)學(xué)軟件自身和相關(guān)數(shù)據(jù)能以預(yù)期方式適時(shí)進(jìn)行訪問和使用。
除保密性、完整性、可得性三個(gè)基本特性外,人工智能醫(yī)學(xué)軟件產(chǎn)品網(wǎng)絡(luò)安全還需考慮真實(shí)性、抗抵賴性、可核查性、可靠性等特性。注冊(cè)人應(yīng)結(jié)合人工智能醫(yī)學(xué)軟件產(chǎn)品的預(yù)期用途、使用場(chǎng)景、核心功能進(jìn)行綜合考量,從而確定人工智能醫(yī)學(xué)軟件產(chǎn)品網(wǎng)絡(luò)安全特性的具體要求。
(三) 網(wǎng)絡(luò)安全的風(fēng)險(xiǎn)級(jí)別
人工智能醫(yī)學(xué)軟件網(wǎng)絡(luò)安全風(fēng)險(xiǎn)與軟件風(fēng)險(xiǎn)存在差異,但是網(wǎng)絡(luò)安全風(fēng)險(xiǎn)作為軟件風(fēng)險(xiǎn)的重要組成部分,其風(fēng)險(xiǎn)級(jí)別亦可參照軟件采用安全性級(jí)別進(jìn)行表述 。在通常情形下,人工智能醫(yī)學(xué)軟件網(wǎng)絡(luò)安全的安全性級(jí)別與所屬人工智能醫(yī)學(xué)軟件的安全性級(jí)別相同;在特殊情形下,網(wǎng)絡(luò)安全的安全性級(jí)別可低于軟件的安全性級(jí)別,如軟件運(yùn)行于不通公網(wǎng)的環(huán)境或軟件運(yùn)行于完全受控的環(huán)境,此時(shí)需詳述理由并按網(wǎng)絡(luò)安全的安全性級(jí)別提交相應(yīng)注冊(cè)申報(bào)資料。
人工智能醫(yī)學(xué)軟件產(chǎn)品網(wǎng)絡(luò)安全風(fēng)險(xiǎn)同樣結(jié)合軟件的預(yù)期用途、使用場(chǎng)景、核心功能進(jìn)行綜合判定,特別是使用場(chǎng)景。不同使用場(chǎng)景的網(wǎng)絡(luò)環(huán)境不同,甚至存在巨大差異,對(duì)于人工智能醫(yī)學(xué)軟件產(chǎn)品網(wǎng)絡(luò)安全的影響亦不同,如門診、手術(shù)、住院、急救、家庭、轉(zhuǎn)運(yùn)、公共場(chǎng)所等使用場(chǎng)景的網(wǎng)絡(luò)環(huán)境均有所不同,因此對(duì)于適用于多個(gè)使用場(chǎng)景的人工智能醫(yī)學(xué)軟件,注冊(cè)申請(qǐng)人需保證軟件在每個(gè)使用場(chǎng)景的網(wǎng)絡(luò)安全。
. 網(wǎng)絡(luò)安全風(fēng)險(xiǎn)管理
(一)概述
隨著人工智能技術(shù)的發(fā)展,越來越多醫(yī)學(xué)軟件產(chǎn)品使用人工智能技術(shù)實(shí)現(xiàn)輔助診斷、輔助分析等功能,大部分軟件具備網(wǎng)絡(luò)連接功能以實(shí)現(xiàn)電子數(shù)據(jù)交換或遠(yuǎn)程控制,在提升醫(yī)療服務(wù)質(zhì)量與效率的同時(shí)面臨著網(wǎng)絡(luò)攻擊的威脅。人工智能醫(yī)學(xué)軟件是基于海量醫(yī)學(xué)數(shù)據(jù)和高算力算法的軟件,醫(yī)療數(shù)據(jù)包含個(gè)人標(biāo)識(shí)、健康狀況以及醫(yī)療情況等相關(guān)信息,鑒于醫(yī)療數(shù)據(jù)的特殊性,這些信息如被泄露、篡改或?yàn)E用,會(huì)影響健康護(hù)理、醫(yī)學(xué)治療以及科學(xué)研究效果,在更嚴(yán)重的情況下會(huì)導(dǎo)致醫(yī)療事故發(fā)生。另一方面,醫(yī)療數(shù)據(jù)大量涉及個(gè)人信息,數(shù)據(jù)的泄露、濫用和不正當(dāng)披露會(huì)對(duì)個(gè)人信息安全造成侵害,甚至可能影響個(gè)人正常生活。因此,對(duì)于人工智能醫(yī)學(xué)軟件將帶來更多的網(wǎng)絡(luò)安全方面的考量,為保護(hù)個(gè)人健康醫(yī)療數(shù)據(jù)需要采取合理和適當(dāng)?shù)墓芾砗图夹g(shù)保證措施,以達(dá)到以下目標(biāo):
a)保護(hù)醫(yī)療數(shù)據(jù)使用和披露過程中的保密性 、完整性和可得性 ;
b)確保醫(yī)療數(shù)據(jù)使用和披露過程的隱私性 ,保護(hù)個(gè)人隱私、個(gè)人權(quán)益。
(二)風(fēng)險(xiǎn)分析
人工智能醫(yī)學(xué)軟件除考慮軟件自身網(wǎng)絡(luò)安全能力建設(shè)外,還應(yīng)當(dāng)在軟件全生命周期過程中考慮網(wǎng)絡(luò)與數(shù)據(jù)安全過程控制要求,包括上市前設(shè)計(jì)開發(fā)階段和上市后使用階段。
上市前設(shè)計(jì)開發(fā)階段包括算法數(shù)據(jù)構(gòu)建階段、算法訓(xùn)練生成階段。
算法數(shù)據(jù)構(gòu)建階段包括兩個(gè)過程,分別是數(shù)據(jù)獲取和數(shù)據(jù)整理:
1.數(shù)據(jù)獲取部分是獲取用于訓(xùn)練/更新算法的數(shù)據(jù),其中數(shù)據(jù)包括自身私有數(shù)據(jù)、供應(yīng)鏈數(shù)據(jù)、標(biāo)準(zhǔn)數(shù)據(jù)集、模型運(yùn)行反饋數(shù)據(jù)等從多渠道獲取的數(shù)據(jù)。
2.數(shù)據(jù)整理部分是為將獲取的數(shù)據(jù)整合成為能夠作為訓(xùn)練模型使用的數(shù)據(jù),包括數(shù)據(jù)預(yù)處理、數(shù)據(jù)標(biāo)注、數(shù)據(jù)集構(gòu)建等過程及數(shù)據(jù)存儲(chǔ)。
人工智能醫(yī)療軟件,區(qū)別一般的醫(yī)療器械軟件,人工智能醫(yī)學(xué)軟件依靠海量數(shù)據(jù)訓(xùn)練,所以應(yīng)識(shí)別該過程中網(wǎng)絡(luò)與數(shù)據(jù)安全風(fēng)險(xiǎn)并進(jìn)行有效控制。該階段的具體風(fēng)險(xiǎn)如表1所示(包括但不限于):
1
風(fēng)險(xiǎn)點(diǎn)
階段
風(fēng)險(xiǎn)描述及危害
數(shù)據(jù)投毒
數(shù)據(jù)獲取
訓(xùn)練數(shù)據(jù)植入被修改的樣本,使模型效果不佳, 或定向使得某些實(shí)例被檢測(cè)為指定的結(jié)果
模型后門注入
數(shù)據(jù)獲取
模型植入部分具有特定模式特征的樣本,訓(xùn)練后使模型產(chǎn)生后門
數(shù)據(jù)濫用
數(shù)據(jù)獲取
可能使用未經(jīng)用戶授權(quán)的數(shù)據(jù),或者用戶要求“遺忘”的數(shù)據(jù),造成法律風(fēng)險(xiǎn)
不安全的數(shù)據(jù)存儲(chǔ)
數(shù)據(jù)整理
不安全的數(shù)據(jù)存儲(chǔ)環(huán)境或配置管理缺陷,可能 導(dǎo)致數(shù)據(jù)泄露,造成數(shù)據(jù)隱私泄露
算法訓(xùn)練與生成階段包括模型選型實(shí)現(xiàn)及模型訓(xùn)練測(cè)試兩個(gè)流程:
1.模型選型實(shí)現(xiàn)階段是參照涉及與規(guī)范,選取適當(dāng)?shù)拈_發(fā)框架、預(yù)訓(xùn)練模型等,對(duì)模型進(jìn)行編碼實(shí)現(xiàn)。
2.模型訓(xùn)練測(cè)試階段中訓(xùn)練過程一般劃分多個(gè)批次進(jìn)行迭代優(yōu)化和驗(yàn)證,直到滿足性能要求或達(dá)到最優(yōu)結(jié)果。測(cè)試過程通常依賴大量的現(xiàn)實(shí)/模擬數(shù)據(jù)對(duì)模型表現(xiàn)進(jìn)行評(píng)估,還包括對(duì)抗測(cè)試來確保模型抗魯棒性。
模型訓(xùn)練與生成階段具體風(fēng)險(xiǎn)如表2所示(包括但不限于):表2

風(fēng)險(xiǎn)

階段

風(fēng)險(xiǎn)描述及危害
預(yù)訓(xùn)練模型后門
模型選型實(shí)現(xiàn)
采用的預(yù)訓(xùn)練模型可能引入后門,進(jìn)行 Fine-Tune后后門可能繼續(xù)存在,造成模型推理時(shí)觸發(fā)錯(cuò)誤預(yù)測(cè)
聯(lián)邦學(xué)習(xí)惡意參與者投毒
模型訓(xùn)練測(cè)試
聯(lián)邦學(xué)習(xí)惡意的參與者可能對(duì)數(shù)據(jù)投毒造成整個(gè)模型訓(xùn)練表現(xiàn)下降,或者植入后門
聯(lián)邦學(xué)習(xí)惡意參與者模型隱私竊取
模型訓(xùn)練測(cè)試
聯(lián)邦學(xué)習(xí)惡意的參與者可能利用共享的 非加密梯度信息恢復(fù)相鄰參與者的數(shù)據(jù)
開發(fā)框架&依賴庫漏洞
模型選型實(shí)現(xiàn)
AI模型開發(fā)依賴的框架、組件可能存在 漏洞,造成模型預(yù)測(cè)時(shí)執(zhí)行惡意程序
不可靠第三方環(huán)境風(fēng)險(xiǎn)
模型訓(xùn)練測(cè)試
目前許多企業(yè)采用公有云訓(xùn)練環(huán)境,可能由于公有云安全問題,造成數(shù)據(jù)及模型泄露,或被植入后門
上市后產(chǎn)品部署應(yīng)用階段包括產(chǎn)品部署使用和模型更新兩個(gè)流程:
1.產(chǎn)品部署使用階段是將算法部署到相應(yīng)的業(yè)務(wù)流程、系統(tǒng)環(huán)境中,根據(jù)輸入計(jì)算推理結(jié)果。算法使用可能涉及到從物理世界向數(shù)字平面轉(zhuǎn)換等數(shù)據(jù)采集、預(yù)處理過程,也涉及到與系統(tǒng)、軟件、硬件及第三方環(huán)境的集成和數(shù)據(jù)聯(lián)動(dòng)。
2.算法更新可分為算法驅(qū)動(dòng)型更新和數(shù)據(jù)驅(qū)動(dòng)型更新。其中,算法驅(qū)動(dòng)型更新是指人工智能醫(yī)學(xué)軟件所用算法、算法結(jié)構(gòu)、算法流程、算法編程框架、輸入輸出數(shù)據(jù)類型等發(fā)生改變。此外,算法重新訓(xùn)練即棄用原有訓(xùn)練數(shù)據(jù)而采用全新訓(xùn)練數(shù)據(jù)進(jìn)行算法訓(xùn)練,亦屬于算法驅(qū)動(dòng)型更新。數(shù)據(jù)驅(qū)動(dòng)型更新是指僅由訓(xùn)練數(shù)據(jù)量增加而發(fā)生的算法更新。
產(chǎn)品部署應(yīng)用階段的具體風(fēng)險(xiǎn)如表3所示(舉例如下):
3
風(fēng)險(xiǎn)點(diǎn)
階段
風(fēng)險(xiǎn)描述及危害
數(shù)字對(duì)抗樣本
模型部署應(yīng)用
在數(shù)字形態(tài)的模型輸入中添加定向的噪聲,欺騙模型,做出錯(cuò)誤的預(yù)測(cè)
物理對(duì)抗攻擊
模型部署應(yīng)用
將數(shù)字形態(tài)對(duì)抗樣本在物理世界中實(shí)現(xiàn),造成模型錯(cuò)誤預(yù)測(cè),也可以定向添加噪聲
模型后門觸發(fā)
模型部署應(yīng)用
輸入數(shù)據(jù)中具有特定的模式,促使模型給出指定的結(jié)果,與正常推理相違背
模型竊取
模型部署應(yīng)用
模型參數(shù)被竊取,AI模型被逆向獲取,造成企業(yè)核心競(jìng)爭(zhēng)力AI資產(chǎn)損害
模型逆向
模型部署應(yīng)用
構(gòu)造特殊的輸入及查詢模型,通過輸出結(jié)果來還原輸入數(shù)據(jù)(可為訓(xùn)練集中樣本),從而造成數(shù)據(jù)隱私泄露
成員推理攻擊
模型部署應(yīng)用
利用模型輸出置信度分布特征,判斷某一樣本數(shù)據(jù)是否在訓(xùn)練數(shù)據(jù)集中,造成訓(xùn)練集中數(shù)據(jù)隱私泄露
對(duì)抗資源消耗攻擊
模型部署應(yīng)用
利用對(duì)抗手段分析模型推理資源消耗,構(gòu)造樣本造成模型推理損耗提高,造成拒絕服務(wù)
輸入預(yù)處理攻擊
模型部署應(yīng)用
攻擊者對(duì)輸入預(yù)處理方法(例如圖片的預(yù)處理縮放算法)進(jìn)行攻擊,向其中定向插入擾動(dòng),使得輸入發(fā)生頂下擾動(dòng),欺騙模型做出錯(cuò)誤預(yù)測(cè)
反饋更新投毒
模型更新
很多模型引入了用戶反饋對(duì)模型進(jìn)行更新,攻擊者利用投毒反饋數(shù)據(jù)來對(duì)模型進(jìn)行“誘導(dǎo)”,為攻擊謀利
AI硬件后門
模型部署應(yīng)用
硬件環(huán)境中植入后門,在模型部署后使用該硬件執(zhí)行時(shí)觸發(fā)后門
模型部署文件篡改
模型部署應(yīng)用
模型部署環(huán)境可能存在漏洞,導(dǎo)致模型文件被惡意篡改,植入后門或者竊取信息
AI模型側(cè)信號(hào)竊取
模型部署應(yīng)用
利用AI模型運(yùn)行時(shí)CPU、內(nèi)存等資源進(jìn)行側(cè)信道分析, 能夠?qū)崿F(xiàn)對(duì)模型的關(guān)鍵信息竊取
軟件&系統(tǒng)漏洞
模型部署應(yīng)用
模型所屬業(yè)務(wù)系統(tǒng),與傳統(tǒng)軟件&系統(tǒng)安全面臨的威脅相同,可能導(dǎo)致模型泄露或執(zhí)行惡意程序
AI模型濫用
模型部署應(yīng)用
AI模型服務(wù)被攻擊者利用做惡意用途,可能造成危害
產(chǎn)品制造商按照產(chǎn)品特點(diǎn)對(duì)產(chǎn)品本身的風(fēng)險(xiǎn)進(jìn)行分析,提供風(fēng)險(xiǎn)管理文檔,基于風(fēng)險(xiǎn)分析。并在全生命周期中持續(xù)關(guān)注網(wǎng)絡(luò)安全問題,包括但不限于設(shè)計(jì)開發(fā)、生產(chǎn)、分銷、部署、更新維護(hù)、上市后監(jiān)測(cè)等。重點(diǎn)關(guān)注數(shù)據(jù)采集、數(shù)據(jù)集構(gòu)建、算法學(xué)習(xí)、云計(jì)算、遠(yuǎn)程控制和外部軟件環(huán)境等網(wǎng)絡(luò)安全風(fēng)險(xiǎn)點(diǎn)。基于保密性、完整性、可得性等網(wǎng)絡(luò)安全特性,確定人工智能醫(yī)學(xué)軟件網(wǎng)絡(luò)安全能力建設(shè)要求。
. 網(wǎng)絡(luò)安全能力
人工智能醫(yī)學(xué)軟件產(chǎn)品網(wǎng)絡(luò)安全的保障,是用戶、網(wǎng)絡(luò)設(shè)施提供方與注冊(cè)人共同參與的結(jié)果。注冊(cè)人可以通過參考醫(yī)療器械網(wǎng)絡(luò)安全相關(guān)標(biāo)準(zhǔn)和技術(shù)報(bào)告,識(shí)別人工智能醫(yī)學(xué)軟件產(chǎn)品的網(wǎng)絡(luò)安全能力,進(jìn)行網(wǎng)絡(luò)安全風(fēng)險(xiǎn)控制。注冊(cè)人在對(duì)這些網(wǎng)絡(luò)安全能力進(jìn)行配置以配合用戶進(jìn)行網(wǎng)絡(luò)安全風(fēng)險(xiǎn)管理時(shí),應(yīng)綜合考慮人工智能醫(yī)學(xué)軟件產(chǎn)品的預(yù)期用途與使用場(chǎng)景限制,對(duì)于網(wǎng)絡(luò)安全威脅應(yīng)必要的識(shí)別、保護(hù)能力和適當(dāng)?shù)奶綔y(cè)、響應(yīng)、恢復(fù)能力,通用能力詳見《醫(yī)療器械網(wǎng)絡(luò)安全審查指導(dǎo)原則》中22項(xiàng)網(wǎng)絡(luò)安全能力,此外針對(duì)人工智能醫(yī)學(xué)軟件提出2項(xiàng)新增網(wǎng)絡(luò)安全能力。開發(fā)商應(yīng)該決策網(wǎng)絡(luò)安全能力:
1.訓(xùn)練數(shù)據(jù)保護(hù)驗(yàn)證
產(chǎn)品確保在數(shù)據(jù)構(gòu)建階段有效保護(hù)訓(xùn)練數(shù)據(jù)的能力,如提供安全的存儲(chǔ)環(huán)境、完備的安全配置、確保數(shù)據(jù)不被惡意修改等,并確保訓(xùn)練數(shù)據(jù)得到用戶授權(quán)。
2.模型訓(xùn)練生成階段依賴的環(huán)境和庫的安全
確保有訓(xùn)練環(huán)境、開發(fā)框架、組件、依賴庫安全性能的驗(yàn)證能力。
基于以上所述網(wǎng)絡(luò)安全能力,申請(qǐng)人應(yīng)逐項(xiàng)分析所申報(bào)人工智能醫(yī)學(xué)軟件對(duì)于該項(xiàng)網(wǎng)絡(luò)安全能力的適用性,若適用明確網(wǎng)絡(luò)安全能力的實(shí)現(xiàn)方式,可通過產(chǎn)品自身功能實(shí)現(xiàn),亦可通過必備軟件、外部軟件環(huán)境等外部措施實(shí)現(xiàn)。反之說明不適用的理由。
五、網(wǎng)絡(luò)安全技術(shù)考量
(一)軟件全生命周期
1.數(shù)據(jù)采集
采集的數(shù)據(jù)應(yīng)進(jìn)行數(shù)據(jù)脫敏以保護(hù)患者隱私,數(shù)據(jù)脫敏應(yīng)描述用于保護(hù)受試者隱私的技術(shù)手段,如數(shù)據(jù)去標(biāo)識(shí)化、數(shù)據(jù)匿名化等。數(shù)據(jù)轉(zhuǎn)移應(yīng)明確轉(zhuǎn)移方法,轉(zhuǎn)移方法應(yīng)保證數(shù)據(jù)的安全,如對(duì)數(shù)據(jù)進(jìn)行加密壓縮、通過硬盤拷貝等方法。
2.數(shù)據(jù)整理
需在封閉或受控的網(wǎng)絡(luò)環(huán)境下開展以防止數(shù)據(jù)污染。
3.數(shù)據(jù)標(biāo)注
應(yīng)有防止數(shù)據(jù)污染的防護(hù)措施,特別是在開放網(wǎng)絡(luò)環(huán)境下。如標(biāo)注軟件部署在云服務(wù)器,應(yīng)提供云服務(wù)商的名稱、住所和資質(zhì),明確云服務(wù)的服務(wù)模式、部署模式、確保云服務(wù)器的網(wǎng)絡(luò)安全能力。
4.數(shù)據(jù)集構(gòu)建
需在封閉或受控的網(wǎng)絡(luò)環(huán)境下開展以防止數(shù)據(jù)污染,描述數(shù)據(jù)集存儲(chǔ)方式與存儲(chǔ)路徑、安全控制、備份(方法、頻次)、恢復(fù)方式,若數(shù)據(jù)集使用云服務(wù)存儲(chǔ),應(yīng)提供云服務(wù)商的名稱、住所和資質(zhì)、訪問路徑、使用權(quán)限等。
5.算法訓(xùn)練
需在封閉或受控的網(wǎng)絡(luò)環(huán)境下開展以防止數(shù)據(jù)污染,避免訓(xùn)練數(shù)據(jù)被污染。
6.算法性能評(píng)估
需在封閉或受控的網(wǎng)絡(luò)環(huán)境下開展以防止數(shù)據(jù)污染。若基于第三方數(shù)據(jù)庫開展算法性能評(píng)估,應(yīng)保證第三方測(cè)評(píng)數(shù)據(jù)庫的網(wǎng)絡(luò)安全與數(shù)據(jù)安全。
7.軟件驗(yàn)證
需在封閉或受控的網(wǎng)絡(luò)環(huán)境下開展以防止數(shù)據(jù)污染,應(yīng)描述網(wǎng)絡(luò)能力的驗(yàn)證過程。
8.軟件確認(rèn)
軟件確認(rèn)如需要模擬實(shí)際情況在開放網(wǎng)絡(luò)下進(jìn)行,應(yīng)有防止數(shù)據(jù)污染的防護(hù)措施,應(yīng)描述網(wǎng)絡(luò)能力的確認(rèn)過程。
9.上市后使用
上市后產(chǎn)品在醫(yī)療機(jī)構(gòu)內(nèi)部環(huán)境下運(yùn)行,需要考慮醫(yī)療機(jī)構(gòu)關(guān)于網(wǎng)絡(luò)安全與數(shù)據(jù)安全的接口要求。產(chǎn)品使用時(shí)應(yīng)有用戶訪問控制措施、數(shù)據(jù)傳輸過程應(yīng)有加密措施等來保證網(wǎng)絡(luò)安全。
所有利益相關(guān)方在軟件全生命周期中主動(dòng)積極共享網(wǎng)絡(luò)安全相關(guān)信息。注冊(cè)申請(qǐng)人需充分利用網(wǎng)絡(luò)安全漏洞披露機(jī)制加強(qiáng)人工智能醫(yī)學(xué)軟件網(wǎng)絡(luò)安全的設(shè)計(jì)開發(fā)和上市后監(jiān)測(cè),如基于國家互聯(lián)網(wǎng)應(yīng)急中心(CNCERT/CC,www.cert.org.cn)的國家信息安全漏洞共享平臺(tái)(CNVD,www.cnvd.org.cn),或其互認(rèn)的國際信息安全漏洞庫所披露的漏洞信息,定期開展網(wǎng)絡(luò)安全風(fēng)險(xiǎn)管理工作。
注冊(cè)申請(qǐng)人需基于相關(guān)標(biāo)準(zhǔn)和技術(shù)報(bào)告建立網(wǎng)絡(luò)安全事件應(yīng)急響應(yīng)機(jī)制,保證人工智能醫(yī)學(xué)軟件的安全有效性并保護(hù)患者隱私。應(yīng)制定網(wǎng)絡(luò)安全事件應(yīng)急響應(yīng)預(yù)案,涵蓋現(xiàn)成軟件要求,明確計(jì)劃與準(zhǔn)備、探測(cè)與報(bào)告、評(píng)估與決策、應(yīng)急響應(yīng)實(shí)施、總結(jié)與改進(jìn)等階段的任務(wù)和要求。建立網(wǎng)絡(luò)安全事件應(yīng)急響應(yīng)團(tuán)隊(duì),根據(jù)工作職能形成管理、規(guī)劃、監(jiān)測(cè)、響應(yīng)、實(shí)施、分析等工作小組,必要時(shí)可邀請(qǐng)外部網(wǎng)絡(luò)安全專家成立專家小組。
根據(jù)網(wǎng)絡(luò)安全事件的嚴(yán)重程度、緊迫程度、廣泛程度等因素進(jìn)行分類分級(jí)管理,結(jié)合產(chǎn)品風(fēng)險(xiǎn)級(jí)別,按照風(fēng)險(xiǎn)管理要求開展應(yīng)急響應(yīng)措施的驗(yàn)證工作并予以記錄,在事件發(fā)生期間及時(shí)告知用戶應(yīng)對(duì)措施。若適用,按照醫(yī)療器械不良事件、召回相關(guān)法規(guī)要求處理;必要時(shí),向國家網(wǎng)絡(luò)安全主管部門報(bào)告。
(二)其他考量
1.軟件運(yùn)行環(huán)境
應(yīng)滿足軟件運(yùn)行需要,包括CPU、GPU、RAM、ROM、網(wǎng)絡(luò)、操作系統(tǒng)、數(shù)據(jù)庫等要求。
2. 網(wǎng)絡(luò)通信要求
2.1網(wǎng)絡(luò)架構(gòu)
應(yīng)保證網(wǎng)絡(luò)架構(gòu)的處理能力和帶寬滿足業(yè)務(wù)高峰的需要,軟件的部署位置需要有邊界防護(hù)措施,且通信線路、網(wǎng)絡(luò)設(shè)備做好硬件冗余,保證軟件的可用性。
2.2通信傳輸
應(yīng)采用校驗(yàn)碼技術(shù)或密碼技術(shù)保證通信過程中數(shù)據(jù)的完整性和敏感信息的保密性。
2.3訪問控制
不允許非授權(quán)設(shè)備或程序聯(lián)到人工智能醫(yī)學(xué)軟件所在設(shè)備,不允許人工智能醫(yī)學(xué)軟件非授權(quán)用戶訪問并使用軟件。跨網(wǎng)訪問人工智能醫(yī)學(xué)軟件需要設(shè)置訪問控制策略,對(duì)源地址、目的地址、源端口、目的端口和協(xié)議等進(jìn)行檢查,以允許/拒絕訪問。在信息交互過程中應(yīng)具備內(nèi)容過濾能力,實(shí)現(xiàn)對(duì)內(nèi)容的訪問控制。
3.主機(jī)安全要求
3.1訪問控制
應(yīng)對(duì)登錄主機(jī)的用戶進(jìn)行身份標(biāo)識(shí)和鑒別,身份標(biāo)識(shí)具有唯一性和不可抵賴性,對(duì)用戶進(jìn)行角色設(shè)置,授予所需的最小權(quán)限,制定登錄處理策略,包括限制失敗次數(shù)、連接超時(shí)、訪問終端等。定期梳理用戶帳號(hào),及時(shí)刪除或停用多余的、過期的和弱口令帳號(hào)。
3.2入侵防范
應(yīng)遵循最小安裝的原則,僅安裝需要的組件和應(yīng)用程序,關(guān)閉不需要的系統(tǒng)服務(wù)、默認(rèn)共享和高危端口,定期對(duì)人工智能醫(yī)學(xué)軟件及涉及到的主機(jī)、操作系統(tǒng)、中間件進(jìn)行漏洞掃描、安全檢測(cè)和惡意代碼檢測(cè),并及時(shí)進(jìn)行修補(bǔ)。建議醫(yī)療機(jī)構(gòu)對(duì)主機(jī)進(jìn)行實(shí)時(shí)安全監(jiān)控,能夠識(shí)別違規(guī)操作或攻擊行為,并及時(shí)告警。
4.軟件和數(shù)據(jù)安全要求
4.1身份鑒別
應(yīng)對(duì)人工智能醫(yī)學(xué)軟件的用戶進(jìn)行身份標(biāo)識(shí)和鑒別,且具有唯一性和不可抵賴性,限制登錄失敗次數(shù)和連接時(shí)長(zhǎng),并對(duì)口令進(jìn)行強(qiáng)制要求,規(guī)避弱口令情況。用戶帳號(hào)信息丟失或遺忘時(shí),應(yīng)采用技術(shù)措施確保重置過程的安全,并對(duì)其進(jìn)行二次驗(yàn)證,驗(yàn)證手段至少使用動(dòng)態(tài)口令、手機(jī)驗(yàn)證碼、密碼技術(shù)、生物特征技術(shù)中的一種實(shí)現(xiàn)。
4.2訪問控制
人工智能醫(yī)學(xué)軟件應(yīng)具備訪問控制功能,對(duì)用戶能夠分配角色和權(quán)限,權(quán)限需要達(dá)到功能級(jí)。定期開展帳號(hào)梳理工作,及時(shí)刪除或停用多余的、過期的帳號(hào)。
4.3數(shù)據(jù)安全
應(yīng)采用密碼技術(shù)保證重要數(shù)據(jù)在傳輸和存儲(chǔ)過程中的安全性,避免未授權(quán)用戶訪問數(shù)據(jù)。密碼技術(shù)的使用應(yīng)遵循國家相關(guān)要求和規(guī)定。建立數(shù)據(jù)備份和恢復(fù)機(jī)制,定期開展演練,保證軟件業(yè)務(wù)的連續(xù)性。
5.軟件運(yùn)行對(duì)云安全的基本要求
云服務(wù)商的名稱、住所和資質(zhì),明確云服務(wù)的服務(wù)模式、部署模式、確保云服務(wù)器的網(wǎng)絡(luò)安全能力。
六、人工智能醫(yī)學(xué)軟件網(wǎng)絡(luò)安全更新
1.網(wǎng)絡(luò)安全更新
人工智能醫(yī)學(xué)軟件網(wǎng)絡(luò)安全更新從內(nèi)容上可分為功能更新、補(bǔ)丁更新,類似于增強(qiáng)類軟件更新、糾正類軟件更新。根據(jù)其對(duì)人工智能醫(yī)學(xué)軟件安全性和有效性的影響程度分為以下兩類:
1)重大網(wǎng)絡(luò)安全更新:影響到人工智能醫(yī)學(xué)軟件的安全性或有效性的網(wǎng)絡(luò)安全更新,即重大網(wǎng)絡(luò)安全功能更新,應(yīng)申請(qǐng)變更注冊(cè)。
2)輕微網(wǎng)絡(luò)安全更新:不影響人工智能醫(yī)學(xué)軟件的安全性與有效性的網(wǎng)絡(luò)安全更新,包括輕微網(wǎng)絡(luò)安全功能更新、網(wǎng)絡(luò)安全補(bǔ)丁更新。輕微網(wǎng)絡(luò)安全更新通過質(zhì)量管理體系進(jìn)行控制,無需申請(qǐng)變更注冊(cè),待下次變更注冊(cè)時(shí)提交相應(yīng)注冊(cè)申報(bào)資料。
此外,涉及召回的網(wǎng)絡(luò)安全更新,無論功能更新還是補(bǔ)丁更新均屬于重大網(wǎng)絡(luò)安全更新,按照醫(yī)療器械召回相關(guān)法規(guī)要求處理。
網(wǎng)絡(luò)安全更新同樣遵循風(fēng)險(xiǎn)從高原則,即同時(shí)發(fā)生重大和輕微網(wǎng)絡(luò)安全更新按重大網(wǎng)絡(luò)安全更新處理。同時(shí),軟件版本命名規(guī)則應(yīng)涵蓋網(wǎng)絡(luò)安全更新情況,區(qū)分重大和輕微網(wǎng)絡(luò)安全更新。
2.重大網(wǎng)絡(luò)安全更新判定原則
網(wǎng)絡(luò)安全功能更新若影響到人工智能醫(yī)學(xué)軟件的預(yù)期用途、使用場(chǎng)景或核心功能原則上均屬于重大網(wǎng)絡(luò)安全更新,包括但不限于:產(chǎn)品預(yù)期運(yùn)行的網(wǎng)絡(luò)環(huán)境發(fā)生改變,如由封閉網(wǎng)絡(luò)環(huán)境變?yōu)殚_放網(wǎng)絡(luò)環(huán)境、局域網(wǎng)變?yōu)閺V域網(wǎng);產(chǎn)品網(wǎng)絡(luò)安全能力發(fā)生實(shí)質(zhì)性改變,如自動(dòng)注銷能力由操作系統(tǒng)自帶功能實(shí)現(xiàn)改為產(chǎn)品自身功能實(shí)現(xiàn)、物理防護(hù)能力由有變無等。
除非影響到人工智能醫(yī)學(xué)軟件的安全性或有效性,以下網(wǎng)絡(luò)安全功能更新和網(wǎng)絡(luò)安全補(bǔ)丁更新通常視為輕微網(wǎng)絡(luò)安全更新:產(chǎn)品預(yù)期運(yùn)行的網(wǎng)絡(luò)環(huán)境數(shù)據(jù)傳輸效率單純提高,產(chǎn)品網(wǎng)絡(luò)安全能力發(fā)生非實(shí)質(zhì)性改變;外部軟件環(huán)境的網(wǎng)絡(luò)安全補(bǔ)丁更新。
七、注冊(cè)申報(bào)相關(guān)要求
申請(qǐng)人根據(jù)《人工智能醫(yī)療器械注冊(cè)審查指導(dǎo)原則》、《醫(yī)療器械網(wǎng)絡(luò)安全技術(shù)審查指導(dǎo)原則》、《醫(yī)療器械軟件技術(shù)審查指導(dǎo)原則》、《移動(dòng)醫(yī)療器械技術(shù)審查指導(dǎo)原則》等相關(guān)指導(dǎo)原則要求,提交相應(yīng)注冊(cè)申報(bào)資料。
申請(qǐng)人應(yīng)依據(jù)《醫(yī)療器械網(wǎng)絡(luò)安全注冊(cè)技術(shù)審查指導(dǎo)原則》提交網(wǎng)絡(luò)安全描述文檔。其中,基本信息應(yīng)圍繞數(shù)據(jù)類型進(jìn)行描述;風(fēng)險(xiǎn)管理、驗(yàn)證與確認(rèn)應(yīng)基于24項(xiàng)網(wǎng)絡(luò)安全能力進(jìn)行分析和實(shí)施,不適用項(xiàng)詳述理由;可追溯性分析報(bào)告應(yīng)追溯網(wǎng)絡(luò)安全需求、設(shè)計(jì)、測(cè)試、風(fēng)險(xiǎn)管理的相互關(guān)系;維護(hù)計(jì)劃應(yīng)包含網(wǎng)絡(luò)安全日常維護(hù)計(jì)劃、網(wǎng)絡(luò)安全事件應(yīng)急響應(yīng)預(yù)案。
若使用云計(jì)算服務(wù)、移動(dòng)計(jì)算終端,生產(chǎn)企業(yè)應(yīng)依據(jù)《移動(dòng)醫(yī)療器械注冊(cè)技術(shù)審查指導(dǎo)原則》提交相應(yīng)研究資料。其中,使用云計(jì)算服務(wù)應(yīng)明確服務(wù)模式、部署模式、核心功能、數(shù)據(jù)接口、網(wǎng)絡(luò)安全能力、服務(wù)(質(zhì)量)協(xié)議等要求;使用移動(dòng)計(jì)算終端應(yīng)結(jié)合終端的類型、特點(diǎn)、使用風(fēng)險(xiǎn)明確相應(yīng)性能指標(biāo)要求。
八、編寫單位
廣東省藥品監(jiān)督管理局審評(píng)認(rèn)證中心、華為終端有限公司、騰訊醫(yī)療健康(深圳)有限公司、深圳邁瑞生物醫(yī)療電子股份有限公司
九、參考文獻(xiàn)
[1]醫(yī)療器械監(jiān)督管理?xiàng)l例[Z].
[2]醫(yī)療器械注冊(cè)與備案管理辦法[Z].
[3]醫(yī)療器械軟件注冊(cè)技術(shù)審查指導(dǎo)原則(2022年修訂版)[Z].
[4]醫(yī)療器械網(wǎng)絡(luò)安全注冊(cè)技術(shù)審查指導(dǎo)原則[Z].
[5]人工智能醫(yī)療器械注冊(cè)審查指導(dǎo)原則[Z]
[6] YY/T 0316,醫(yī)療器械 風(fēng)險(xiǎn)管理對(duì)醫(yī)療器械的應(yīng)用[S].
[7]?YY/T 1833.1,人工智能醫(yī)療器械 質(zhì)量要求和評(píng)價(jià) 第1部分:術(shù)語[S].
[8] YY/T 1833.2,人工智能醫(yī)療器械 質(zhì)量要求和評(píng)價(jià) 第2部分:數(shù)據(jù)集通用要求[S].
[9]?YY/T 1833.3,人工智能醫(yī)療器械 質(zhì)量要求和評(píng)價(jià) 3部分:數(shù)據(jù)標(biāo)注通用要求[S].
[10]?YY/T 1843-2022 ?醫(yī)用電氣設(shè)備網(wǎng)絡(luò)安全基本要求[S]
[11]?N. Papernot A Marauder’s Map of Security and Privacy in Machine Learning: //arxiv.org/pdf/1811.01134.pdf
[12] A Taxonomy and Terminology of 3 Adversarial Machine Learning." Draft NISTIR 8269?

醫(yī)療器械創(chuàng)新網(wǎng)網(wǎng): 返回列表
醫(yī)療器械創(chuàng)新網(wǎng)網(wǎng) 醫(yī)療器械創(chuàng)新網(wǎng)網(wǎng) 醫(yī)療器械創(chuàng)新網(wǎng)網(wǎng) 醫(yī)療器械創(chuàng)新網(wǎng)網(wǎng) 醫(yī)療器械創(chuàng)新網(wǎng)網(wǎng) 精品国产大片 | 91精品国产自产91精品 | 91麻豆精品91久久久久同性 | 欧美日韩精品在线免费观看 | 521色香蕉网站在线观看 | 欧美成人xxx | 色视频成人在线观看免 | 国产精品一区免费观看 | 成人免费视频在线观看 | 久久久久久久久精 | 97国产在线视频 | 国产字幕在线播放 | 中文字幕超清在线免费 | 在线观看国产永久免费视频 | 夜夜操天天 | 久久影视精品 | 精品亚洲免费 | 国产中文在线视频 | 国产精品99久久久久久小说 | 久久精品91视频 | 黄在线免费观看 | 久久久久久久免费看 | 91在线免费视频观看 | 欧美日韩免费一区二区 | 美女视频永久黄网站免费观看国产 | 久久精品国产99国产 | 91在线免费公开视频 | 欧美在线一二 | 亚洲国产精品视频 | 摸bbb搡bbb搡bbbb | 免费三及片 | 免费日韩在线 | 久久精品免费看 | av中文天堂 | 中文字幕亚洲国产 | 九九日韩| 欧美一级在线看 | 国产明星视频三级a三级点| 国产精品一区二区久久精品 | 欧美中文字幕久久 | 久久免费视频这里只有精品 | 日韩av视屏 | 中文字幕亚洲精品在线观看 | www黄| 国产精品一区一区三区 | 国产精品永久免费观看 | 黄色a级片在线观看 | 国产精品欧美日韩 | 成人精品电影 | 深爱激情五月网 | 国产中文欧美日韩在线 | 午夜精品福利一区二区三区蜜桃 | 2023国产精品自产拍在线观看 | 国产一区免费 | 欧美成人69av | 精品久久久网 | 91精品视频免费在线观看 | 日韩精品一区二区不卡 | 婷婷中文字幕在线观看 | 欧美日韩a视频 | 69av在线播放 | 免费在线看成人av | 午夜色婷婷| 色福利网站 | www免费看片com | 中文字幕第一页在线播放 | bayu135国产精品视频 | 在线免费三级 | 成年人在线观看免费视频 | 视频国产区 | 国产香蕉视频在线观看 | 亚洲夜夜网 | 国产精品专区一 | 色婷婷免费视频 | 国产精品自产拍在线观看中文 | 亚洲精品乱码久久久久久9色 | 91插插插网站 | 久草热视频 | 久久成年视频 | 天天色天天搞 | www.国产毛片 | 精品一区二区在线免费观看 | 日韩成人精品在线观看 | 亚洲精品一区二区三区在线观看 | 亚洲精品在线观看不卡 | 97超碰在线播放 | 婷婷六月综合网 | 免费 在线 中文 日本 | 国产色视频一区二区三区qq号 | 国产成人av福利 | 人人爱人人添 | 午夜久久福利视频 | 99av在线视频| 超碰在线97免费 | 国产黄色网 | 日韩视频中文字幕 | 在线看黄色的网站 | 色片网站在线观看 | 天天草天天 | 成人黄色资源 | 国产精久久久久久久 | 亚洲 欧美 综合 在线 精品 | 欧美久久久 | 成人在线观看你懂的 | 精品久久久久一区二区国产 | 国产主播99 | 人人搞人人爽 | 超碰免费公开 | 最近中文字幕大全中文字幕免费 | 五月天婷亚洲天综合网鲁鲁鲁 | 色婷婷99 | 在线视频久| 在线电影a | 午夜视频免费在线观看 | 亚洲不卡av一区二区三区 | 日本久久久影视 | 三上悠亚一区二区在线观看 | 国产真实精品久久二三区 | 精品久久中文 | 四虎成人av| 欧美日性视频 | 天天操天天干天天爱 | 日韩精品免费一线在线观看 | 精品久久久久久久久久岛国gif | 天天插天天狠 | 欧美一级性生活 | 91插插视频 | 一级a性色生活片久久毛片波多野 | 美女久久久| 97超碰在线人人 | 在线欧美a | 亚洲国产影院av久久久久 | 成人欧美日韩国产 | 久久黄色小说 | 日韩高清成人在线 | 美女性爽视频国产免费app | 国产高清久久 | 日本超碰在线 | 久久精品一二区 | 日韩精品久久久久 | 免费观看性生活大片3 | av网站有哪些| 一区二区欧美日韩 | 亚洲精选在线观看 | 国产一区国产二区在线观看 | 国产又粗又猛又色 | 欧美日韩在线视频观看 | 欧美日韩精品影院 | 91精品久| www色av| 日韩高清免费观看 | 一本一本久久a久久 | 91精品一区国产高清在线gif | 亚洲 在线 | 日本公妇在线观看高清 | 亚洲精选在线观看 | 91精品高清| 久草视频在线观 | 日韩欧美在线国产 | 日韩欧美视频在线观看免费 | 黄色免费网站大全 | 免费在线观看成人 | 日韩欧美精品在线观看 | 99视频免费在线观看 | 日韩在线视频观看免费 | 99久久www免费 | 天堂在线成人 | 欧美国产日韩一区二区三区 | 日韩欧美精品免费 | 婷婷激情五月 | 欧美日韩高清免费 | 欧美精品一区二区在线播放 | 久久久精品网 | 中文乱码视频在线观看 | 久久精品视频免费观看 | 日韩高清精品一区二区 | 久久精品视频免费 | 天天做天天爱天天综合网 | 中文字幕在线观看的网站 | 五月婷婷爱 | 九九热视频在线播放 | 天天色天天骑天天射 | 欧美一级视频在线观看 | 久久av中文字幕片 | 午夜少妇一区二区三区 | h网站免费在线观看 | 亚洲欧美视频在线播放 | 91香蕉亚洲精品 | 色停停五月天 | 超碰人人99 | av在线a| 久久无码av一区二区三区电影网 | 在线观看成人av | 男女激情片在线观看 | 狠狠色网 | 激情导航 | 日韩乱色精品一区二区 | 国产美女免费观看 | 五月婷婷导航 | 色欧美88888久久久久久影院 | 麻豆传媒视频在线播放 | 国产小视频你懂的在线 | 久久av网址 | 国产亚洲精品久久久久5区 成人h电影在线观看 | 在线观看精品一区 | 欧美久久久久久久 | 色久综合 | 国产午夜在线观看视频 | 91精品天码美女少妇 | 中文字幕韩在线第一页 | 日韩精品专区在线影院重磅 | 91最新视频在线观看 | 国产成人久 | 日韩欧美69| 在线观看91久久久久久 | 亚洲精品视 | 探花视频在线观看 | 麻豆一精品传二传媒短视频 | 久青草国产在线 | 欧美成年人在线视频 | 91久久国产综合精品女同国语 | 黄色三级久久 | 91九色蝌蚪视频网站 | 久久国产高清视频 | 99久久精品视频免费 | 久久成人一区 | 999ZYZ玖玖资源站永久 | 色婷婷狠狠五月综合天色拍 | 久草电影在线观看 | 国产视频日本 | 91精品国产福利在线观看 | 精品九九九 | 国产午夜精品理论片在线 | 久久人人爽人人爽人人片av免费 | 亚洲国产精品成人va在线观看 | 一区二区视频在线看 | 99热只有精品在线观看 | 国产精品久久久久aaaa九色 | 热久久免费视频 | 精品一区 在线 | 日韩av免费在线看 | 韩国精品一区二区三区六区色诱 | 国产中文字幕在线播放 | 日韩久久精品一区二区三区 | 精品久久99 | 免费黄a | 亚洲91在线| 精品亚洲免a | 久久福利国产 | 国产高清成人 | 国产美女主播精品一区二区三区 | 999亚洲国产996395 | 日本公妇在线观看高清 | 特级西西444www大精品视频免费看 | 欧美日韩中文国产 | 日韩一三区 | 久久久久亚洲精品中文字幕 | 精品国产免费久久 | 亚洲激情电影在线 | 成人在线你懂得 | 色综合亚洲精品激情狠狠 | 黄色网大全 | 亚洲精色 | 91探花系列在线播放 | 久久超碰在线 | 欧美福利视频 | 在线观看成人av | 久草综合在线观看 | 久草在线免费色站 | 国产精品永久在线 | 91丨九色丨国产丨porny精品 | 欧美日韩性视频在线 | 在线观看免费一区 | 久久只精品99品免费久23小说 | 精品福利在线观看 | 国产黄色精品视频 | 婷婷午夜 | 中文字幕影视 | 精品国产乱码久久久久久久 | 91在线免费播放 | 黄色小说视频网站 | 久久天天躁狠狠躁夜夜不卡公司 | 久久免费在线 | 在线看片a| 久久艹人人 | 免费观看黄色12片一级视频 | 国产美女视频免费观看的网站 | 国产精品爽爽爽 | 精品专区一区二区 | 亚洲欧洲成人精品av97 | 国产精品一区二区久久国产 | 国产精品毛片一区二区在线 | 人人插人人玩 | 四虎影视成人永久免费观看视频 | 香蕉视频在线视频 | 免费福利视频网 | 精品女同一区二区三区在线观看 | 久久久网 | 亚洲三级在线播放 | 天天综合网入口 | av官网在线 | 97超碰站 | 国产一区二区精品91 | 久久精品国产精品亚洲 | 中文视频一区二区 | 成人av片在线观看 | 91精品无人成人www | 日本视频精品 | 91福利视频久久久久 | 国产精品一二三 | 看毛片网站 | 天天色天天射天天干 | 国产精品精品视频 | 中文字幕在线一区观看 | 国产精品精品久久久久久 | 久久精品国产一区二区电影 | 天天色图 | 一区在线免费观看 | 久久优| 丁香高清视频在线看看 | 成片免费观看视频 | 免费成人结看片 | 人人爽人人爽人人爽 | 韩国av在线 | 久久久亚洲国产精品麻豆综合天堂 | 最近日本韩国中文字幕 | 国产中文字幕av | 日韩天天干 | 久久综合婷婷 | av电影av在线 | 日本中文在线 | www.69xx| 亚洲女欲精品久久久久久久18 | 91中文在线视频 | 开心激情网五月天 | 波多野结衣在线观看一区二区三区 | 欧美一级黄色视屏 | 操少妇视频 | 天天操天天干天天爱 | 超级碰碰碰视频 | 久久久国产一区二区三区 | 在线观看国产中文字幕 | 成人一区二区在线 | 伊甸园av在线 | 久久少妇免费视频 | 黄色片免费电影 | 又色又爽又激情的59视频 | 亚洲欧美在线视频免费 | 中文字幕日本特黄aa毛片 | 久草在线电影网 | av日韩av| 欧美日韩另类在线 | 天天操比 | 久久久精品福利视频 | 亚a在线| 久久成人高清视频 | av三区在线 | 国产精品久久精品国产 | 91麻豆精品一区二区三区 | 日韩精品在线观看视频 | 人人澡人摸人人添学生av | 99国产成+人+综合+亚洲 欧美 | 日韩经典一区二区三区 | 中文字幕乱码电影 | 99久久夜色精品国产亚洲96 | 久久视频网 | 日韩在线电影 | 亚州精品一二三区 | 人人爽人人干 | 91精品国产乱码在线观看 | 久久免费av电影 | 成人在线视频你懂的 | 色吊丝在线永久观看最新版本 | 香蕉视频网站在线观看 | 91精品国产麻豆 | 亚洲国产精品成人va在线观看 | 操久久免费视频 | 欧美性色综合 | 中文一区二区三区在线观看 | 国产成人精品一二三区 | 国产精品va在线观看入 | 日韩欧美精品在线观看视频 | 久久午夜电影 | 伊人狠狠色丁香婷婷综合 | 亚洲国产视频网站 | 狠狠的干狠狠的操 | 国产色婷婷精品综合在线手机播放 | 一区二区三区免费 | 碰天天操天天 | 9999亚洲 | 亚洲婷婷在线视频 | 日日日操操 | 亚洲v欧美v国产v在线观看 | 91福利区一区二区三区 | 亚洲成年片 | 九九精品在线观看 | 毛片一区二区 | 日韩视频免费在线 | 久久人人爽爽 | 婷婷精品国产欧美精品亚洲人人爽 | 国内精品视频在线 | 人人插人人草 | 91精品视频网站 | 国产精品免费久久久久久 | 97超碰国产精品女人人人爽 | 国产一二三四在线观看视频 | 亚洲 欧美 成人 | 一区二区精品 | 久久久久久久久精 | 在线观看视频你懂的 | 看片一区二区三区 | 黄色影院在线免费观看 | 91大神免费在线观看 | 免费观看成年人视频 | 色综合久 | 99久久精 | www视频在线观看 | 激情综合亚洲 | 精品免费 | 亚洲美女久久 | 成年人在线观看视频免费 | 国产视频九色蝌蚪 | 亚洲精品久久久久999中文字幕 | 9999国产精品 | 91九色porny在线| 欧美日韩国内在线 | 免费亚洲视频在线观看 | 免费黄色小网站 | 欧洲在线免费视频 | 91视频免费看网站 | 天天天天爱天天躁 | 黄色成人免费电影 | 韩日在线一区 | 少妇资源站 | 欧美中文字幕久久 | 五月天婷亚洲天综合网鲁鲁鲁 | 伊色综合久久之综合久久 | 精品国产一区二区三区在线观看 | 超碰97人人干 | 日韩在线观看免费 | 果冻av在线 | 欧美日韩在线视频一区 | 国产成人一区二区在线观看 | 国产视频精品免费 | 成人一区二区三区在线观看 | 久操视频在线 | 99热9 | 91福利国产在线观看 | 西西人体4444www高清视频 | 亚洲爱爱视频 | 亚洲午夜久久久久久久久电影网 | 91九色成人蝌蚪首页 | 免费中文字幕视频 | 一区av在线播放 | 久久av观看| 欧美日韩精品二区第二页 | 婷婷网站天天婷婷网站 | 国产麻豆精品在线观看 | 国产日本亚洲 | 国产精品99精品 | www在线免费观看 | 亚洲视频一区二区三区在线观看 | 久久视频二区 | 免费日韩在线 | 久久大视频 | 精品在线播放视频 | 免费av小说 | www久久久久 | 国产成人av一区二区三区在线观看 | 国产一二三在线视频 | 日韩精品视频一二三 | 在线观看日韩专区 | 天天干天天操天天入 | 黄色一级大片免费看 | 99久久夜色精品国产亚洲96 | 欧美人人| www黄色软件 | 综合网成人| 91av中文 | 人人爽人人爽人人 | 亚洲在线视频免费观看 | 久草久热 | 毛片网站在线 | 丁香婷婷综合五月 | 日韩免费视频 | 伊人狠狠色 | 国产一区二区在线观看视频 | 在线观看aa | 91在线看片 | 夜色在线资源 | 美女露久久 | 久久国产精彩视频 | 日韩精品视频免费专区在线播放 | 91视频-88av | 国产精品成人久久久久 | 久久九九影院 | 久久久免费av | 亚洲视频免费在线看 | 伊人婷婷激情 | 97网站| 亚洲人在线视频 | 超碰在线人人艹 | 成年人视频免费在线 | 国产成人精品久久 | 夜夜夜夜操 | 操操色| 久艹在线观看视频 | 九九涩涩av台湾日本热热 | 99免费在线视频 | 欧美永久视频 | 天天天插 | 国产精品久久久久久久毛片 | 午夜久久成人 | 久久综合色影院 | 国产精品久久久久久久久久99 | 综合色在线| 激情视频免费在线 | 成人av地址 | 免费a现在观看 | 在线你懂 | av中文字幕日韩 | 一区二区欧美在线观看 | 久久99精品波多结衣一区 | 国产伦精品一区二区三区四区视频 | 亚州国产精品久久久 | 国产91综合一区在线观看 | 亚洲国产精彩中文乱码av | 国产91精品高清一区二区三区 | av在线播放一区二区三区 | 久久爱992xxoo| 久久五月婷婷丁香社区 | 婷婷色综合 | 免费看国产精品 | 丁香六月在线观看 | 精品视频区 | 久久都是精品 | 最近日本mv字幕免费观看 | 日本不卡一区二区三区在线观看 | 97人人澡人人爽人人模亚洲 | 日韩视频一区二区三区 | 美女免费黄网站 | 欧美日韩超碰 | 国产在线观看黄 | 91视频在线免费看 | 精品视频 | 免费av在线 | 黄色av播放 | 一区二区三区手机在线观看 | 亚洲国内精品视频 | 日韩欧美视频在线 | 五月天久久激情 | 九九九九九九精品 | 日韩精品在线看 | 人人插人人做 | 国产成人在线播放 | 久久精品亚洲综合专区 | 成人黄色免费观看 | av高清网站在线观看 | 久草在线视频网 | av在观看| 成人欧美一区二区三区在线观看 | 国产男女爽爽爽免费视频 | 亚洲国产精品女人久久久 | 国产流白浆高潮在线观看 | 欧美激情在线看 | 激情视频91 | 久久国产麻豆 | 午夜国产福利在线 | www.国产在线视频 | 午夜精品一区二区国产 | 96精品高清视频在线观看软件特色 | 久久综合久久综合久久 | a天堂在线看 | 日韩天天综合 | 亚洲精品视频在线观看免费 | 天天操夜操 | 五月激情视频 | 丁香六月av | 99视频精品视频高清免费 | 亚洲理论片 | 午夜久操 | 婷五月激情 | 天天操月月操 | 日日操天天爽 | 国产亚洲精品日韩在线tv黄 | 狠狠成人| 欧美色伊人 | 成人午夜剧场在线观看 | 悠悠av资源片 | 午夜国产一区二区 | 粉嫩一二三区 | av三区在线 | 日韩免费视频在线观看 | 高清精品在线 | 国产日韩中文字幕 | 国产精品对白一区二区三区 | 亚洲色图 校园春色 | 久久97超碰| 国产91精品高清一区二区三区 | 亚洲精品乱码久久久久久久久久 | 综合婷婷久久 | 久久草在线视频国产 | 国产美女久久 | 亚洲综合色丁香婷婷六月图片 | 久久情侣偷拍 | 亚洲视频一区二区三区在线观看 | 日韩精品视频免费 | 亚洲精品裸体 | 丁香婷婷电影 | 久久人人爽人人 | 色婷婷av在线 | 一区二区三区四区五区六区 | 天天做天天爱天天爽综合网 | 三上悠亚一区二区在线观看 | 色爱区综合激月婷婷 | 亚洲成a人片在线www | 久久久久久久久久网站 | 四虎免费在线观看 | 99久久久国产精品美女 | 免费黄色在线网址 | 一区二区三区av在线 | 欧美成人黄色 | 天天射综合 | 在线观看久久久久久 | 欧美精品在线观看 | 日韩视频一二三区 | 欧美日韩在线视频一区二区 | 中文字幕视频免费观看 | 日日夜夜天天人人 | 欧美日韩中文字幕综合视频 | 精品国产乱码久久久久久久 | 91视频在线免费看 | 中文字幕av一区二区三区四区 | 亚洲深夜影院 | 午夜视频久久久 | 一区二区三区在线观看免费 | 深爱激情五月婷婷 | 九九久久电影 | 久久精品国产亚洲a | 国产精品69av| 日韩激情精品 | 国产在线精品福利 | 97伊人网 | 久久电影网站中文字幕 | 亚洲天天在线日亚洲洲精 | 99精品欧美一区二区三区黑人哦 | 一区二区三区四区精品视频 | 日韩欧美视频免费看 | 国产精品一区二区免费视频 | 国产免费又黄又爽 | 国产69精品久久99不卡的观看体验 | 国产69久久久 | 又紧又大又爽精品一区二区 | 欧美日韩视频在线观看免费 | 国产成人精品电影久久久 | 91桃色在线播放 | 免费h视频 | 欧美一二三区播放 | 六月丁香久久 | 粉嫩av一区二区三区四区 | 五月天天av | 色综合 久久精品 | 欧美午夜视频在线 | 国产一区二区三区在线 | 九色精品| 色综合天天综合 | 麻豆久久久久 | 亚洲v欧美v国产v在线观看 | 午夜性生活 | 久草免费看 | 成人免费影院 | 国产精品久99 | av视屏在线 | 69久久久| 欧美最猛性xxxxx(亚洲精品) | 久久久久久久久久亚洲精品 | 国产精品成人一区 | 国内丰满少妇猛烈精品播放 | 九九免费在线观看视频 | 国产区在线| 999ZYZ玖玖资源站永久 | 玖玖在线视频观看 | 99精品观看| 欧美亚洲三级 | 日韩av在线网站 | 一本一道久久a久久精品蜜桃 | 麻豆 91 在线 | 午夜精品久久久久久99热明星 | 91香蕉视频黄色 | av在线免费在线观看 | 女人高潮特级毛片 | 久久99久久99精品免费看小说 | 黄色a级片在线观看 | 亚洲欧美日本一区二区三区 | 日韩手机视频 | 青草视频在线看 | 精品超碰 | 天天综合网在线观看 | 狠狠色丁香婷婷综合久久片 | 99色资源 | 97在线视频观看 | 亚洲综合激情五月 | 国产亚洲精品成人av久久影院 | 欧美一区二区伦理片 | 久插视频 | 1区2区3区在线观看 三级动图 | 午夜视频导航 | 91视频 - v11av | 午夜在线免费观看视频 | 美女亚洲精品 | 国产一区二区在线播放视频 | 91麻豆精品国产91久久久久久久久 | 最近中文国产在线视频 | 在线看国产一区 | 午夜成人影视 | 综合色天天 | 日韩精品第一区 | 中文一区在线观看 | 国产乱对白刺激视频不卡 | 国产精品va在线观看入 | 狠狠色伊人亚洲综合网站色 | 国产精品久久精品国产 | 91桃色免费视频 | 国产裸体视频bbbbb | 国产又粗又猛又爽又黄的视频免费 | 国产又粗又猛又色又黄视频 | 天天曰夜夜爽 | 久久综合九色综合欧美就去吻 | 日本精品一区二区在线观看 | 日韩精品你懂的 | 麻豆视频在线观看免费 | 国产九色在线播放九色 | 深夜免费福利在线 | 久久天天躁夜夜躁狠狠85麻豆 | 91视频免费观看 | 夜夜干天天操 | 免费在线看成人av | 欧美久草视频 | 免费a级黄色毛片 | 婷婷综合伊人 | 免费看片成年人 | 免费久久视频 | 成人在线一区二区 | 五月婷婷综合激情网 | 久久福利综合 | 99自拍视频在线观看 | 五月天中文字幕 | 免费欧美高清视频 | 9999亚洲 | 最近中文字幕视频完整版 | 国产.精品.日韩.另类.中文.在线.播放 | 欧美大荫蒂xxx| 丁香婷婷久久 | 日本在线视频网址 | 久久久久久久久久久久电影 | 久久99日韩 | 久久久久久久久毛片精品 | 91成年人在线观看 | 五月香视频在线观看 | 国产成人福利片 | 999成人 | 日韩福利在线观看 | 伊人久操 | 日韩在线视频看看 | 国产精品久久久久久久久婷婷 | 天天射狠狠干 | 亚洲欧洲精品视频 | 久久高清国产 | 天天天天爱天天躁 | 91精品视频在线 | av网址aaa| 黄色毛片视频免费 | 国产中文字幕一区 | 欧美激情精品久久久久久免费印度 | 国产视频 久久久 | 蜜桃视频日本 | 一级a毛片高清视频 | 久久一区国产 | 综合色婷婷 | 综合网中文字幕 | 808电影免费观看三年 | 九九热在线精品视频 | 日韩在线理论 | 国产精品门事件 | 五月激情站 | 伊人激情综合 | 六月丁香社区 | 久久蜜臀一区二区三区av | 免费网站在线观看成人 | 在线a视频 | 欧美日韩久久不卡 | 成人av片免费观看app下载 | 成人av一区二区兰花在线播放 | sm免费xx网站| 天天舔天天搞 | 9草在线 | 久久久午夜影院 | 国产精品区在线观看 | 久99视频| 久久精品在线免费观看 | www免费网站在线观看 | 国产不卡视频在线 | 欧美夫妻生活视频 | 国产探花视频在线播放 | 免费看的毛片 | 国产区在线看 | 亚洲欧美日韩国产 | 99热最新在线 | 天天激情在线 | 久久精品电影院 | 亚洲最新在线 | 99精品在线看 | 2022久久国产露脸精品国产 | 亚洲精品午夜一区人人爽 | 狠狠成人| 久久久国产精品一区二区三区 | 国产精品 欧美 日韩 | 99久高清在线观看视频99精品热在线观看视频 | 91视频久久久 | 国产精品岛国久久久久久久久红粉 | 国产精品18p | 97视频在线看 | 操操碰 | 亚洲精品美女久久久久 | 香蕉视频久久久 | 亚洲va男人天堂 | 国产又粗又猛又黄视频 | 97在线观看 | 美女免费黄视频网站 | 中中文字幕av在线 | 国产又黄又爽又猛视频日本 | 久草在线官网 | 亚洲国产精品一区二区久久,亚洲午夜 | 亚洲电影av在线 | 视频国产在线 | 天天看天天干天天操 | av女优中文字幕在线观看 | 亚洲在线精品视频 | 九九久久久久久久久激情 | av成年人电影 | 久久精品a| 免费久久99精品国产 | 骄小bbw搡bbbb揉bbbb | 992tv在线观看| 天天操狠狠操网站 | 色婷婷亚洲精品 | 96久久| 97综合视频 | 天天操夜夜爱 | 中文字幕资源网 国产 | 婷婷综合五月天 | 一区二区三区四区影院 | 91福利区一区二区三区 | 久久亚洲电影 | 日韩一区二区免费在线观看 | 日韩激情一二三区 | 在线91观看 | 精品久久久影院 | 在线观看不卡视频 | 亚洲伦理一区二区 | 亚洲亚洲精品在线观看 | 欧美欧美 | 欧美日韩在线免费观看视频 | 久久99最新地址 | 99久免费精品视频在线观看 | 亚洲全部视频 | 日本高清dvd | 狠狠gao| 成人一级视频在线观看 | 日韩videos| 久久在线电影 | 91av在线看| 国产黄色视| 国产亚洲午夜高清国产拍精品 | 国产香蕉久久 | 日本一区二区免费在线观看 | 国产亚洲欧洲 | 天海冀一区二区三区 | 日韩欧美国产精品 | www色,com| 免费看特级毛片 | 欧美黑吊大战白妞欧美 | 激情小说网站亚洲综合网 | 麻豆传媒视频在线播放 | 在线免费高清一区二区三区 | 成在人线av | 国产一区二区久久久久 | 夜夜操网站 | 国产麻豆成人传媒免费观看 | 午夜精品电影 | 天天插天天操天天干 | 97超碰在线免费 | 综合网五月天 | 日韩精品中文字幕在线观看 | 黄色av一区二区三区 | 久久久婷| 亚洲成人国产 | 欧美网址在线观看 | 欧美韩日精品 | 欧美日韩免费观看一区=区三区 | 成人在线视频观看 | 日韩一区视频在线 | 午夜电影中文字幕 | 中文字幕高清免费日韩视频在线 | 人人盈棋牌 | 亚洲精品在线视频播放 | 久久久久久久免费观看 | 91中文视频 | 亚洲另类久久 | 久久久穴| 在线观看一二三区 | 欧美一级片免费播放 | 成 人 黄 色 片 在线播放 | 狠狠久久综合 | 五月天综合网站 | 亚洲网久久 | 久久久久久久免费 | 日日草视频 | 久久艹免费 | 久久在现 | 日精品在线观看 | 日本高清免费中文字幕 | 在线免费观看国产精品 | 97视频免费在线观看 | 97在线看 | av在线免费在线观看 | 久久久久久久久久久久久国产精品 | 91最新中文字幕 | 亚洲小视频在线观看 | 久久精品中文视频 | 国产高清专区 | 人人藻人人澡人人爽 | 欧美日韩二区在线 | 成人av一二三区 | 五月婷婷精品 | 美女很黄免费网站 | 亚洲精品久久久蜜桃直播 | 天天色宗合 | 欧美日韩性 | 天天操天天操天天操天天操天天操 | 成年人视频在线免费播放 | 精品久久久久久久久久久久久久久久久久 | 久久国产电影 | 91精品啪在线观看国产 | 亚洲人成在 | 五月天色丁香 | 人人爽人人澡人人添人人人人 | 91网址在线看 | 国产精品久久久久久久7电影 | 91禁在线观看 | 亚洲成av人片在线观看 | 国产精品免费看 | 亚洲免费在线观看视频 | 欧美精品资源 | 日韩高清不卡一区二区三区 | 国产一二区视频 | 成人免费看片98欧美 | 国产精品毛片 | 国产精品一区二区av麻豆 | 久久99国产视频 | 日韩在线视频二区 | 91一区啪爱嗯打偷拍欧美 | 精品美女久久久久久免费 | 偷拍区另类综合在线 | 日韩| 国产在线2020 | 在线黄色国产 | 婷婷精品国产欧美精品亚洲人人爽 | 欧美日韩高清国产 | 日韩二区三区在线 | 中文字幕欧美日韩va免费视频 | 日韩理论片在线 | a久久久久 | 亚洲精品免费看 | 成人影音在线 | 免费看毛片网站 | avhd高清在线谜片 | 99在线免费观看 | 国内精品毛片 | 久久视讯 | 免费高清在线观看成人 | 99热精品久久 | 成人国产精品久久久久久亚洲 | 色综合天天综合网国产成人网 | 欧美一级在线看 | 一区二区精品在线 | 999热视频 | 国产黄色成人av | 日韩免费高清在线 | 成年人在线看片 | 激情五月综合 | 国产日产在线观看 | 天天操天天色天天射 | 欧美午夜久久久 | 亚洲视频综合 | 高清av中文字幕 | 激情久久影院 | 日韩欧美在线综合网 |