国家药监局器审中心关于发布影像超声人工智能软件（流程优化类功能）技术审评要点等4个审评要点的通告（2023年第23号）

为规范人工智能医疗器械相关产品的管理，国家药监局器审中心组织制定了《影像超声人工智能软件（流程优化类功能）技术审评要点》《病理图像人工智能分析软件性能评价审评要点》《病理图像人工智能分析软件临床评价审评要点》《血液病流式细胞学人工智能分析软件性能评价审评要点》，现予发布。

特此通告。

附件：

1.影像超声人工智能软件（流程优化类功能）技术审评要点

2.病理图像人工智能分析软件性能评价审评要点

3.病理图像人工智能分析软件临床评价审评要点

4.血液病流式细胞学人工智能分析软件性能评价审评要点

国家药品监督管理局

医疗器械技术审评中心

2023年7月10日

附件1

影像超声人工智能软件（流程优化类功能）技术审评要点

本审评要点旨在指导注册申请人对影像超声产品中流程优化类人工智能软件功能注册申报资料的准备及撰写，同时也为技术审评部门审评注册申报资料提供参考。

本审评要点是对影像超声产品中流程优化类人工智能软件功能的一般要求，注册申请人应依据产品的具体特性确定其中内容是否适用，若不适用，需具体阐述理由及相应的科学依据，并依据产品的具体特性对注册申报资料的内容进行充实和细化。本审评要点不包括临床评价的要求。

一、适用范围

本审评要点适用于影像超声产品中流程优化类人工智能软件功能（以下简称“超声流程优化AI功能”）的注册。上述功能应由有相应超声诊断资质和能力的医生使用。上述功能通常集成于影像超声设备中，其产品分类依从于影像超声设备，按现行《医疗器械分类目录》，该类产品分类编码为06-07，管理类别为II类或III类；上述功能若集成于独立软件，分类编码为21-02，基于《人工智能医疗器械分类界定指导原则》，作为流程优化功能，管理类别为II类。

辅助诊断类超声AI功能由于尚无产品批准，缺乏审评经验，暂不纳入本审评要点，可参考适应的内容。

二、产品简介

超声流程优化AI功能主要实现定位标准切面、生理结构识别与分割、自动测量、诊断流程自动化等功能，进而起到减少医生重复劳动、提高效率的作用，目前多见于妇产科胎儿、心脏的超声检查和频谱多普勒检查，也见于实质器官、肌骨、神经的检查，少见于彩色多普勒检查。以上提到的结构分割，仅限于分割正常组织结构（包括先天畸形或后天发育失常或受伤导致的正常组织结构发生异于常人的变化，如先天性心脏病），不用于分割疑似病灶组织结构，如甲状腺结节、乳腺结节，否则属于辅助诊断功能，不属于流程优化功能。对疑似病灶进行辅助识别和辅助诊断是超声诊断中的常见任务，该任务中病灶辅助识别不属于本要点讨论的流程优化功能。

不同于放射科影像设备的固定位置、标准参数的采集方式，影像超声需要超声医师自行寻找所需切面同时进行诊断，或为了观察到特定结构、病灶需要从多个角度不同切面进行观察，超声诊断标准化是一个重要问题。影像超声的诊断流程经常要求采集标准切面，在切面中找到指定生理结构或标志点，进行测量，通过与标准图谱或标准数据库对比作出诊断。有些诊疗流程规定须观察到的切面、结构、标志点、特征多普勒频谱以及相关测量非常多，如产科排畸检查、超声心动图检查，工作量大而重复，亟需自动化工具。相应的流程优化功能不但可以减少医生重复劳动提高效率，还有利于实现超声诊断标准化提高诊断质量。

不同于放射影像通常在医生已经对疾病有所怀疑时才进行检查，超声诊断的应用场景更广，在体检、定期检查、诊断、手术中均有应用。诊疗流程越靠前的检查，检查量越大，部分检查目的侧重于确认正常，并同时发现异常或定期观察进展。需求量越大、诊断流程越复杂的超声检查，流程优化功能的价值就越大。部分超声流程优化AI功能的临床风险相对较低，但其中的高风险因素必须予以重视。

三、参考文件

[1] 国家食品药品监督管理局.医疗器械说明书和标签管理规定:国家食品药品监督管理总局令第6号[Z].

[2] 国家药品监督管理局.医疗器械安全和性能的基本原则:国家药品监督管理总局公告2020年第18号 [Z]

[3] 国家药品监督管理局.医疗器械通用名称命名规则:国家药品监督管理总局令第19号[Z].

[4] 国家药品监督管理局.医用软件通用名称命名指导原则: 国家药品监督管理总局通告2021年第48号[Z]

[5] 国家食品药品监督管理局.医疗器械分类目录:国家食品药品监督管理总局公告2017年第104号[Z].

[6] 国家药品监督管理局. 人工智能医用软件产品分类界定指导原则: 国家药监局器审中心通告2021年第47号[Z]

[7] 国家药品监督管理局.医疗器械产品技术要求编写指导原则:国家药监局通告2022年第8号[Z].

[8] 国家药品监督管理局医疗器械审评中心.医疗器械软件注册审查指导原则（2022年修订版）:国家药监局器审中心通告2022年第9号[Z].

[9] 国家药品监督管理局医疗器械审评中心.医疗器械网络安全注册审查指导原则（2022年修订版）:国家药监局器审中心通告2022年第7号[Z].

[10] 国家药品监督管理局医疗器械审评中心.人工智能医疗器械注册审查指导原则:国家药监局器审中心通告2022年第8号[Z].

四、审评主要关注点

在参照的法规、规章、指导原则、标准的情况前提下，结合下列关注点开展技术审评。

（一）综述资料

1.产品名称

此类功能一般集成于影像超声主机或超声图像处理软件中，产品名称依从于所集成产品。功能名称可以包含英文，应保持同一功能的规范名称在产品资料中保持一致。功能名称相似的，应明确实质差异，如同名的不同代际功能，可以通过名称或版本号予以区别。

2.结构组成

集成于影像超声主机时，结构功能无需体现。集成于处理超声影像的独立软件时，结构组成应体现出包括AI的功能模块。

其他按照《人工智能医疗器械注册审查指导原则》在算法研究报告中提供算法基本信息，结合本产品特点应注意和细化的要求详见下文算法研究资料的算法基本信息。

（二）非临床资料

1.产品技术要求及检测报告

1.1规格信息

应给出软件发布版本和版本命名规则。软件版本命名规则原则上应涵盖算法驱动型更新和数据驱动型更新，明确并区分重大软件更新和轻微软件更新，其中重大软件更新列举常见典型情况。AI功能若是软件模块，若有单独的版本、版本命名规则均需说明。

明确AI功能可处理的超声影像输入，如超声机型、探头、成像参数、检查方式、检查部位、影像形式。超声机型和探头应明确制造商和型号，且应为国内上市的产品。成像参数应考虑频率、增益、深度、动态范围、焦点、帧频、谐波成像、多波束成像等，若是某探头用于某部位的默认参数，可以简化描述。影像形式明确单帧或序列图像，对全图处理还是需要先分割出特定区域，是否包括种子点、采样窗、患者病历（如年龄、性别、地域、主诉、病史等）等其他信息。相应内容应已通过算法影响因素分析论证。

若预期操作者包括超声医师之外的用户，应在此处予以明确。

1.2性能指标

以AI功能为单位（而不是算法）描述临床功能、使用限制、运行环境（若适用）、性能效率（若适用）。临床功能应简要描述输入输出，并在附录中提供典型界面图片，明确采用深度学习AI算法的部分；实现分类、分割功能和生成自然语言描述的枚举可给出的所有情况；明确AI输出的哪些内容可由医生修改。使用限制考虑从流行病学分布、预期应用场景、成像质量不佳或范围不够、易混淆图像、有影响的身体状态或疾病、植入物、先天或后天身体结构异常等方面简要描述。运行环境（含云计算）明确典型配置，包括硬件配置、外部软件环境、网络条件，仅运行在所申报超声主机上的AI功能，运行环境可不适用。性能效率明确软件在典型运行环境下完成典型核心功能的时间特性。

2.软件研究

申请人应依据《医疗器械软件技术审查指导原则（2022年修订版）》、《医疗器械网络安全技术审查指导原则（2022年修订版）》、《移动医疗器械注册技术审查指导原则》、《人工智能医疗器械注册审查指导原则》等指导原则，提交相应注册申报资料。

3.算法研究资料

应基于《人工智能医疗器械审查指导原则》第四章生存周期过程、第五章技术考量、第六章算法研究资料的所有相关要求提供算法研究报告或算法更新研究报告，认为不适用的应详述理由。不同功能应分别提供算法研究报告，一个功能中包括多个相对独立AI算法的建议分别提供算法研究报告，有工作流衔接关系的算法、功能应说明其关系，宜合并算法研究报告中相同相似内容，但验证与确认应分别进行。根据此类功能特点需要细化之处如下。以下要求主要针对基于深度学习等新一代人工智能算法的功能，采用传统模式识别算法的可供参考。

3.1算法基本信息

AI功能及其核心的AI算法穿插于检查流程中，在某些环节发挥作用。AI功能控制AI算法模块（可能不只1个）的启动、运行、停止、结果显示，以及与其他功能模块的配合。申请人应对功能和算法分别进行描述，由于超声检查流程的复杂性，应重视功能描述。

3.1.1功能描述

应从临床角度在说明常规诊断流程的基础上，明确常规流程的哪些环节被AI功能替代或是改变，从技术角度配合流程图详细说明功能如何控制各核心AI算法及相关模块完成功能。简述功能带来的临床价值，用于提高效率的功能，宜给出量化指标。

按照国家药监局发布的注册申报资料要求提供产品的适用范围、预期使用环境、适用人群、禁忌证，需与申报产品的性能、功能相符，并需与临床评价资料结论一致。使用环境明确预期使用的医疗机构类型、级别、科室及应用场景，如超声室常规检查、穿刺引导、麻醉引导、手术中等，适用人群应明确医生的专业（超声科、其他科室）、资质、能力水平（年资、培训），患者的年龄、性别、生理疾病状态（怀孕的明确孕龄范围）。

明确产品的设计依据，给出切面、结构、标志点、多普勒频谱等特征识别功能和测量功能所依据的医学图谱、诊疗指南等的名称和具体内容，并说明其权威性以及在我国的接受情况和使用情况。

涉及定位标准切面的，应明确针对实时扫查、存储的图像序列还是后处理重建图像，输出是否可为重建切面（即扫查自然生成切面之外的切面）。处理实时超声扫查的，明确扫查的帧率和图像稳定性要求，明确扫查过快图像不稳定时，功能如何处理和显示。

涉及多普勒频谱的，应明确取样窗放置要求（如位置、角度）。

涉及识别生理结构的，应明确可检出结构的最小、最大尺寸；是否需要先定位切面再识别结构，还是在扫查中直接识别结构；是否需要从不同角度切面观察同一结构，关注点有何差异。

涉及测量的，应明确测量的规则，宜展示各参数测量的起止点或区域，并可由医生调整。

明确算法输出的展示形式。以图像区域增强形式展示的，明确图像增强的方式，给出典型影像表现图像增强前后的图片。以提示框、分割区域勾画展示的，给出典型影像表现的图片，明确框画的规则，明确一帧中出现多个同样结构时分立或融合的规则。以成像区域外示意图或体标展示的，明确是否有提示医生注意或确认医生已注意到的方式，如闪烁、抖动、发声、点击确认等，明确是否仅在当前帧检出目标切面、结构时显示，还是出现后会延时显示，是否会自动记录检出目标的帧等。若有AI算法输出但并不进行展示的应进行说明，如作为默认项或作为中间结果参与后续处理再展示的。

涉及多个功能或算法串联的，明确各功能或算法启动、展示结果和退出的条件，例如满足条件后自动启动，或需点击按钮等启动后续功能。明确AI分析功能的激活时段，如仅在所选帧激活，在采集一段图像序列时激活，在患者一次检查的全程激活。

图像质量问题，如由于机器故障、扫查参数设置不合适、耦合不佳等原因造成图像模糊、过明过暗、结构失真、伪影等，以及存在治疗痕迹、测量/注释标记等图像问题，明确算法是否对存在上述情况的图像进行AI计算并给出结果。是否有图像质控模块，还是由医生评价图像质量以决定是否启动核心功能的AI算法。对于在图像质量不佳时仍运行AI算法的，宜有相关提示，并对结果可靠性可能降低给出提示。

明确在同一帧中切面或结构无法完整显示时如何处理，如不进行AI计算，或结合相邻帧，或无需出现完整目标也可识别。由于声窗和患者身材的限制，有时难以找到包括所有特征的完整切面，但由于超声检查的实时，小范围移动探头即可覆盖整个关注区域，检查到所有结构。如果功能设计为必须先找到完整切面，再启动找结构的算法，上述情况会导致功能无法正常运行，但只要考虑前后帧这一问题即可解决。

3.1.2算法描述

按照《人工智能医疗器械注册审查指导原则》明确每个核心AI算法的名称、类型、结构、输入输出、流程图、算法框架、运行环境等基本信息以及算法选用依据。

算法的输入应考虑但不限于机型、探头、成像参数、检查方式、扫查角度/切面/深浅、成像质量不佳或范围不足、流行病学分布、预期应用场景、易混淆图像、有影响的身体状态或疾病、植入物、先天或后天身体结构异常等。对于不同功能/算法，可能无需考虑上述所有方面，但应给出合理分析。机型考虑波束形成器、发射/接收通道数、成像算法等。探头考虑阵元数、频率、孔径、曲率半径、宽度、成像范围等。成像参数考虑频率、增益、深度、动态范围、焦点、帧频、谐波成像、多波束成像等。检查方式考虑体表、术中、腔内、超声内窥镜等。流行病学分布对不同功能可能差异很大，需要深入分析以保证算法设计满足临床实际，如某些生理结构、症状诊断需考虑性别、年龄、地域、疾病进展期等差异。预期应用场景考虑预期使用的医院级别、科室（如超声科、急诊科、麻醉科、手术室等），医生的资质、能力等。易混淆图像，如与预期图像相似或相关的图像，如同一切面或器官上的易混淆图像，其他器官与之类似的图像。有影响的身体状态或疾病：如产科胎龄，肺气肿对心脏检查的影响。其他因素已在本文其他部分有所描述。

算法输入应明确处理单帧还是序列图像（关联多帧共同输出结果，不是虽输入序列但仅处理单帧），对全图处理还是需要先分割出特定区域，是否包括种子点、采样窗、患者病历（如年龄、性别、地域、主诉、病史等）等其他信息。

应结合功能的特点，对以上因素进行性能影响因素分析，对于处理相应输入不能得出满足预期性能要求或未经验证的因素应考虑作为使用限制。

3.2算法风险管理

明确产品的软件安全性级别（轻微、中等、严重）并详述判定理由，提供算法风险管理资料。软件安全性级别可基于产品的预期用途、使用场景、核心功能进行综合判定，其中预期用途主要考虑用途类型、重要程度、紧迫程度等因素，使用场景主要考虑使用场合、疾病特征、适用人群、目标用户等因素。核心功能主要考虑功能类型、核心算法、输入输出、接口等因素。对于超声流程优化AI功能，还应考虑所优化流程的复杂程度、使用广泛程度，功能对现有流程的影响程度，算法的成熟度、性能、泛化能力，以及出现错误结果是否能够被医生识别纠正等。算法研究资料应与算法的软件安全性级别相适应。

3.3算法需求规范

提供算法需求规范文档，若无单独文档可提供软件需求规范，并注明算法需求所在位置。

明确算法训练数据集需求。样本量需考虑样本规模的充分性，明确样本总量及其确定依据。样本分布需考虑样本的科学性和合理性，应考虑机型、探头、成像参数、检查方式、扫查角度/切面/深浅、成像质量不佳或范围不足、流行病学分布、预期应用场景、易混淆图像、有影响的身体状态或疾病、植入物、先天或后天身体结构异常等。认为无需考虑的因素给出合理理由，应考虑但不计划考虑的因素应作为使用限制。训练数据宜纳入一定比例的易混淆样本和阴性样本，明确是预期图像扫查中临近区域易出现的样本，还是完全无关的样本。

明确各算法性能设计目标。结合算法特点、核心功能选择合理的评价指标，给出性能指标的限值要求及其设定依据。同一功能对于不同应用场景具有不同性能要求的，应分别规定。分类问题可考虑敏感性、特异性、阳性预测值、阴性预测值、准确率、一致率（如kappa）、F-measure、ROC-AUC等。多分类问题不能仅给出总体一致率，应对每一类给出敏感性、特异性等指标。多标签问题，应明确标签排序规则（如适用）。识别问题可考虑敏感性、特异性、ROC-AUC等，应明确识别正确的判定标准，如IoU、dice的阈值，并结合临床给出其合理性。分割问题可考虑交并比IoU、dice系数等，并给出识别准确性方面的指标，参考分类问题。不同算法即使有关联性，也应分别规定，重点关注最终输出结果的性能。

3.4数据质控

参考《人工智能医疗器械注册审查指导原则》四（二）数据收集、六（一）4.数据质控的要求提供相关资料。并注意：

3.4.1数据收集

明确采集数据样本的机型、探头、成像参数、采集时长（图像序列适用），以及来源机构、采集和被采集人员情况、采集时间，比较与算法训练数据需求的差异。流程优化功能的验证需要尽可能模拟使用过程，可能需要采集比AI诊断图像或序列更长的扫查序列，而不仅是训练核心算法的单帧图像。若存在这种情况，应在采集过程中予以说明。

3.4.2数据整理

明确经数据清洗弃用数据的原因和数量。数据预处理环节应采用典型图片/图像序列和流程图说明处理过程和每一步处理的结果。原始数据库的预处理过程若与产品中算法运行的预处理过程存在差异，应比较说明。

3.4.3数据标注

应列表给出标注、审核、仲裁人员的基本信息，如科室/专业、职称、工作年限、所在机构、培训考核情况、标注量，若有外国人员则需明确其资质要求。

标注规则应明确所依据的医学图谱、诊疗指南等的名称和具体内容，并说明其权威性以及在我国的接受情况和使用情况。若有存在争议的，或需要医生基于经验判断的，应分析其对标注一致性的影响。预期结构不能完整显示的，明确满足什么条件时进行标注，如何标注。

宜采用流程图介绍单张图片/单段序列的标注、审核、仲裁过程。若标注较复杂宜采用典型图片/序列加流程图说明每一步的标注内容以及特殊情况处理。图像序列明确逐帧标注，还是自动标注方式，若采用自动标注应予以详述。区域分割的标注，多人标注势必不完全一致，应配合图片说明如何融合多人的标注结果及其影响。简述全部图片标注的管理过程、时间周期，特别是标注周期内的质量评估。若用于不同功能做标注的数据集与数据量有所区别，应明确具体情况。

3.4.4数据集构建

对于标注前的基础数据库，标注后划分的训练集、调优集、测试集，应给出样本量和分布情况及其确定依据，以及集合划分的方法、依据。考虑“患者-结构-切面-图像/图像序列”层级（即某一人的某一结构，有不同切面的图像或图像序列），三个数据集原则上应在患者级两两无交，至少到结构级两两无交。若降低无交集的范围，应给出合理的理由。提供查重验证结果，以证实训练集、调优集、测试集的样本两两无交集。

样本分布应考虑机型、探头、成像参数、检查方式、扫查角度/切面/深浅、成像质量不佳或范围不足、流行病学分布、预期应用场景、易混淆图像、有影响的身体状态或疾病、植入物、先天或后天身体结构异常等因素。

可按照《人工智能医疗器械注册审查指导原则》的要求进行数据扩增，重点说明扩增方法和实现方式，分析扩增样本与真实样本的相似性，分析对算法的影响。采用生成对抗网络（GAN）数据扩增的，提供算法基本信息以及算法选用依据。

用于算法验证需采集扫查过程序列图像的，应参考以上要求另行说明序列图像特点、样本量、样本分布。

3.5算法训练

明确算法训练所用的评估指标、训练方式、训练目标、调优方式（若有），说明损失函数、主要超参数的确定思路，提供训练数据量-评估指标曲线等证据以证实算法训练的充分性和有效性。若使用迁移学习，应满足AI导则的要求。

3.6算法验证与确认

3.6.1算法性能评估

基于测试集提供设计需求要验证的算法性能指标、重复性与再现性、鲁棒性/健壮性等算法性能评估结果，以证明算法性能满足设计目标。亦可基于第三方数据库开展算法性能评估。可运行于不同的运行环境的功能，若运行环境不具有兼容性，应分别进行软件验证、性能评估和实时性验证。

用于提高效率的功能应开展效率提高的定量验证，建议采用多阅片者多病例（MRMC）研究的方式进行验证。

对实时超声图像进行处理的，准确性可通过离线方式验证，实时性须通过在线方式验证，可提前通过离线验证了解处理单一样本的时间，再通过在线实时验证确认软件集成后可以达到预期效率并保证超声采集和诊断流程的稳定性可满足正常使用。

分类问题和多标签问题，若可识别的种类较多，应给出完整的混淆矩阵，对在表格对应的行列给出每类的敏感性、特异性、阳性预测值、阴性预测值、准确性、一致率，分析各类出现假阳性、假阴性的情况（如集中在某一特定类型则说明该类是目标类的易混淆类），制定相关注意事项。

若在训练过程中使用数据扩增，应在调优集上比较使用与不使用数据扩增对算法性能的影响。

算法输出展示形式的临床使用效果验证。以图像增强、提示框、分割区域勾画形式展示的，应评价是否影响正常的超声诊断，如图像画质的改变，标记对超声图像的遮挡、干扰等。以图像区域外给出示意图或体标展示的，应评价是否可确保已引起医生注意。

3.6.2算法性能影响因素评估

应进行算法性能影响因素分析以提升算法可解释性，详述影响算法性能的主要因素及其影响程度，基于分析结果明确产品使用限制和必要警示提示信息。

性能影响因素应考虑机型、探头、成像参数、检查方式、扫查角度/切面/深浅、成像质量不佳或范围不足、流行病学分布、预期应用场景、易混淆图像、有影响的身体状态或疾病、植入物、先天或后天身体结构异常等。认为无需考虑的因素给出合理理由，应考虑但不计划考虑的因素应作为使用限制。

对于某一影响因素，可建立多个包含单一因素的子集和一个包含所有子集的合集（必要时）分别进行性能测试，统计分析各集合性能差异，评价影响程度。对于预期对性能有显著影响且存在相互关联的不同影响因素，也可建立包含多因素的子集进行分析。各集合应保证具有足够的样本量，性能评估结果应给出中心值和95%置信区间。各子集宜以产品研发时标注数据库中的测试集为主，当某一待评价因素的样本量较少或没有时，可补充其他数据集的样本，如临床试验、真实世界数据、第三方测试等的样本，但合并在一个子集的数据其标注规则应基本一致。简述各子集的构建情况，如数据来源、标注过程、标准规则、样本分布等。

3.6.3算法性能综合评价

结合算法训练、算法性能评估、临床评价等结果开展算法性能综合评价，针对训练样本量和测试样本量过少、测试结果明显低于算法设计目标、算法性能变异度过大等情况，对产品的适用范围、使用场景、核心功能进行必要限制。

4.用户培训

对于软件安全性级别为严重级别、在基层医疗机构使用的产品，原则上需单独提供一份用户培训方案，包括用户培训的计划、材料、方式、师资等。由于超声流程优化AI功能的使用者一般具备按照常规流程进行超声诊断的能力，因此培训重点宜放在AI功能与常规功能流程和操作的差异上，以及功能的使用限制和注意事项，如无法正常运行算法或算法性能下降的情形。

培训考核应纳入适当的医生数量和测试样本数量，被考核医生应与功能的预期使用者在培训前具有等同能力，以验证培训方案的可行性。

（三）说明书注意事项

根据算法性能综合评价结果，对产品的适用范围、使用场景、核心功能进行必要限制，并在说明书中明确产品使用限制和必要警示提示信息。必要时，可给出数据采集设备和数据采集过程相关要求，算法训练验证情况的总结。

五、《医疗器械安全和性能基本原则清单》各项内容的适用性

附件2

病理图像人工智能分析软件性能评价审评要点

本要点旨在指导注册申请人对病理图像人工智能分析软件注册申报资料中非临床评价部分的准备及撰写，同时也为技术审评部门提供参考。

本要点是对病理图像人工智能分析软件申报资料的一般要求，申请人需依据产品的具体特性确定其中内容是否适用。若不适用，需具体阐述理由及相应的科学依据，并依据产品的具体特性对注册申报资料的内容进行充实和细化。

本要点是供注册申请人和技术审评人员使用的指导性文件，但不包括审评审批所涉及的行政事项，亦不作为法规强制执行，需在遵循相关法规的前提下使用本指导原则。如果有能够满足相关法规要求的其他方法，也可以采用，但是需要提供详细的研究资料和验证资料。

本要点是在现行法规和标准体系以及当前认知水平下制定的，随着法规和标准的不断完善，以及科学技术的不断发展，本要点的相关内容也将进行适时的调整。

一、适用范围

病理图像人工智能分析软件是指基于数字病理图像，采用深度学习等人工智能技术实现对病理图像的分割、检测等功能的医疗器械。数字病理图像包括经数据成像设备获得的显微镜下细胞或组织图像、全玻片数字扫描技术（Whole Slide Imaging, WSI）的病理图像等。产品在医疗机构和/或医学实验室使用，可辅助病理医师为疾病的诊断、预后、治疗等提供信息，不能作为临床诊断决策的唯一依据。

根据《人工智能医用软件产品分类界定指导原则》，本文所述软件用于辅助决策，可为病理医生提供病灶特征识别、病变性质等信息，按第三类医疗器械管理。

分类编码：21-04-02。

产品名称：建议依据软件医疗用途进行产品名称命名，体现处理对象和临床用途，如宫颈细胞学数字病理图像计算机辅助分析软件、免疫组化病理图像计算机辅助诊断软件。申请人可结合申报产品的特征，根据《医用软件通用名称命名指导原则》，参考《医疗器械分类目录》中的品名举例确定命名。

若作为软件组件集成于其他医疗器械（如病理切片扫描仪、医学显微图像扫描分析产品）中，可以参考本要点的要求。

本要点基于《人工智能医疗器械注册审查指导原则》的基本框架要求，其中关于人工智能医疗器械的的术语定义、相关要求参照上述指导原则。

二、产品简介

产品的工作原理：产品为独立软件，采用深度学习技术对数字病理图像进行前处理（如图像质量改善）和常规后处理（如图像分割、细胞/组织定位、细胞分类等），实现对数字病理图像中疑似异常细胞的计数和定位识别功能或异常组织区域的定位和标记功能；通过算法对细胞/组织图像块的分类结果进行分析，实现对病理图像的辅助诊断功能。

主要结构及组成：结构组成明确交付内容和功能模块，其中交付内容包括软件安装程序、授权文件、外部软件环境安装程序等软件程序文件，功能模块包括客户端、服务器端（若适用）等，若适用注明选装、模块版本。

服务器端：负责接收并处理请求，对请求进行数据处理，调用人工智能算法（此处应体现核心算法名称，如AlexNet，ResNet，MobileNet，EfficientNet，ResNeXt等）对图像数据进行处理并输出分析结果。把用户请求的数据结果返回客户端。

客户端：将服务器端分析结果呈现到用户界面。用户可在用户界面进行辅助诊断/阅片、任务管理、报告管理、检索查询、用户管理、查看日志等功能操作。

三、基本要求

（一）综述资料

详细描述该产品的图像前处理和后处理功能及功能实现方法，描述配套使用图像采集设备、切片制作流程（包括配套试剂、设备）和图像质量的要求，简述软件采用的主要算法。

简述软件研发背景，包括对可辅助诊断疾病的介绍，目前相关疾病临床诊断参考标准、病理诊断类型或细胞异常类型等依据。申报产品的病理阅片标准和病理分型依据应与临床标准一致。

（二）非临床资料

1.产品技术要求及检验报告

产品技术要求可参考《医疗器械软件注册审查指导原则》（2022年修订版）附录中的模板进行编写，此外性能指标还应包括“临床功能”，如图像处理、图像分析、细胞/组织识别、病理图像诊断提示等内容。

2.软件研究资料

按照《医疗器械软件注册审查指导原则》（2022年修订版）、《医疗器械网络安全注册审查指导原则》（2022年修订版）、《人工智能医疗器械注册审查指导原则》的要求，提交研究资料。明确软件发布版本号。提交的研究资料主要包含软件研究资料、算法研究资料、网络安全研究资料。研究资料内容应涵盖申报产品适用范围中描述的全部内容。

2.1风险管理

参考YY/T 0316、YY/T 1406.1和YY/T 0664、GB/T 42062进行产品的风险管理活动。风险管理活动应当基于软件的预期用途、使用场景、核心功能予以实施，并贯穿软件全生命周期过程。此类产品临床使用中的风险主要包括图像分析过程中的识别、标记错误，非病理医师使用和样本采集错误等，造成的假阴性和假阳性错误。算法风险主要包括过拟合和欠拟合，数据扩增和数据偏移等。

2.2需求规范

提供软件需求规范文档，明确软件的功能、性能、接口、用户界面、运行环境、网络安全、数据采集等需求，另附软件开发所形成的原始文档。

数据采集需考虑数据来源的合规性、充分性和多样性，数据分布的科学性和合理性，数据质控的充分性、有效性和准确性。数据应来源于不同地域的不少于3家机构。机构应采用软件说明书明确的切片制作流程、组织染色和免疫组织化学技术制备的切片（包含指定的样本来源，即指定的切片制备流程和/或样本保存液、抗体试剂、染色液等）和配套的图像采集设备获得的符合要求的数字病理图片。数据分布的科学性和合理性，应考虑包括但不限于疾病构成（如分型、分级、分期）、人群分布（如高危人群、患者，性别、年龄）等情况。

算法性能需结合产品预期用途，综合考虑分析速度、敏感性、特异性、重复性与再现性、泛化性等性能指标的适用性及其要求。同时还需考虑因梯度消失、梯度爆炸、过拟合和欠拟合等影响算法性能的因素。

使用限制需考虑产品禁用、慎用等场景，准确表述产品使用场景，提供必要警示提示信息。

2.3软件性能研究

提供产品性能研究资料以及产品技术要求的研究和编制说明，给出软件相关的功能性、安全性指标的确定依据。注册申请人需在软件研究资料中提交GB/T 25000.51自测报告，亦可提交自检报告或检验报告代替自测报告。产品技术要求中各指标依据产品自身特点确定。

2.4算法研究资料

根据《人工智能医疗器械注册审查指导原则》提交算法研究资料。提交每个人工智能算法或算法组合的算法研究报告。

2.4.1算法基本信息

明确算法的名称、类型、结构、输入输出、流程图、算法框架、运行环境等基本信息以及算法选用依据。

其中，算法类型从学习策略、学习方法（基于模型的算法和基于数据的算法）、可解释性（白盒算法和黑盒算法）等角度明确算法特性。算法结构部分应明确算法的层数、参数规模等超参数信息。流程图应包含输入图像示例、学习方法示意图和输出图像示例。算法框架应明确所用人工智能算法框架的基本信息，包括名称、类型（自研算法框架、现成算法框架）、型号规格、完整版本、制造商等信息。若基于云计算平台，应明确云计算的名称、服务模式、部署模式、配置以及云服务商的名称、住所、服务资质。运行环境应明确算法正常运行所需的典型运行环境，包括硬件配置、外部软件环境、网络条件；若使用人工智能芯片应明确其名称、型号规格、制造商、性能指标等信息。算法选用依据详述算法或算法组合选用的理由和基本原则。

2.4.2算法风险管理

结合预期用途、使用场景、核心功能、算法成熟度、网络安全等因素，此类产品的软件安全性级别为严重级别。提供算法风险管理资料，若无单独文档可提供软件风险管理资料，并注明算法风险管理所在位置。

2.4.3算法需求规范

提供算法需求规范文档，若无单独文档可提供软件需求规范，并注明算法需求所在位置。

2.4.4数据收集

2.4.4.1提供数据来源合规性声明，列明数据来源机构的名称、所在地域、数据收集量、伦理批件（或科研合作协议）编号等信息。

2.4.4.2数据采集

建议参考2.2需求规范的要求，提供数据采集操作规范文档，包括数据采集方案和数据采集标准操作规程。

数据采集主要由临床机构实施，应明确病理切片或细胞涂片的制作流程、图像采集方式（如眀场扫描）和采集参数要求（包含扫描倍率、扫描层数、焦点数量要求、聚焦方式、采样阈值等）、采集设备要求（应包含扫描仪的型号、分辨率、图像尺寸等）、病理切片或细胞涂片要求、样本的来源与分布、样本质量要求（包含切片或涂片的保存时限、玻片完整性等）、图像质量要求（应包含图象区域、清晰度等要求）、采集过程、数据脱敏、数据转移等要求。采集过程应对样本数据进行编号并加密，方案中应包含编号规则。

2.4.4.3数据整理

明确数据清洗/预处理程序，对数据处理中应用的软件进行简述，并以附件的形式提交数据处理中各软件的软件研究资料。

2.4.4.4数据标注

明确标注人员和仲裁人员的资质要求和培训内容，标注人员和仲裁人员应为病理医师，数据应经过不少于2人标注。简述标记系统信息，配合病理图像和标注系统界面截图，介绍标注过程、标注对象和标注标准（注意与病理诊断标准的一致性）等。明确标注过程质控、标注质量评估、数据安全保证等要求。标注质量评估可抽选一定比例数据进行非标注人员的评估。

提供原始数据库、基础数据库、标注数据库、扩增数据库（如有），关于疾病构成的数据分布情况，包括适用人群、数据来源机构、采集设备、样本类型等因素。

若数据来自公开数据库，提供公开数据库的基本信息（如名称、创建者、数据总量等）和使用情况（如数据使用量、数据质量评估、数据分布等）。

2.4.4.5数据集构建

明确各数据集划分的方法及依据。训练集应当保证样本分布具有均衡性，训练样本应涵盖不同病理类型。调优集应保证样本分布符合临床实际情况，如阳性比例，不同病理类型比例、不同临床分型比例等均应符合临床实际情况。训练集、调优集、测试集的样本应两两无交集并通过查重予以验证。

进行数据扩增验证时，应当明确扩增的方式、方法、倍数，并考虑数据扩增对软件的影响及风险。列表比较扩增数据库与标注数据库的差异，论证扩增数据库样本量的充分性以及分布的合理性。

2.4.5算法训练

依据适用人群、数据来源机构、采集设备、样本类型等因素，提供训练集、调优集（若有）关于疾病构成的数据分布情况。

算法训练基于训练集、调优集进行训练和调优，应明确算法训练所用的评估指标、训练方式、训练目标、调优方法，提供ROC曲线或混淆矩阵等证据（如：迭代次数-训练CountIOU曲线和迭代册数-召回率曲线）证明训练目标满足医疗要求，提供训练数据量-评估指标曲线（如迭代次数-Loss曲线）等证据以证实算法训练的充分性和有效性。

2.4.6算法性能评估

基于测试集对算法设计进行评估，确认软件算法性能的效率、敏感性、特异性，性能应满足算法设计要求。

算法性能评估应包括软件对样本满意度评价的能力测试、泛化能力的测试、压力测试（指采用罕见或特殊的真实数据样本开展的算法性能测试）、对抗测试、重复性与再现性测试、敏感性与特异性测试、分析效率测试、算法性能影响因素分析、性能评估结果比较分析、偏差报告等研究。

通过样本量估算确定测试集中阴、阳性样本和压力样本的样本量，提供测试集关于疾病构成（包括年龄和病理类型、异常细胞类型等）、数据来源的数据分布情况。明确对抗样本的选择原则；明确性能评估的可接受标准和标准制定依据。提交测试报告和细胞/组织形态图示例。

若使用第三方数据库开展算法性能评估，提供第三方数据库的基本信息（如名称、创建者、数据总量等）和使用情况（如测试数据样本量、评估指标、评估结果等）。提交第三方数据库数据样本来源和本计算机辅助分析软件产品的产品技术要求、说明书中指定的制片流程和图像采集设备的一致性的评价（包含指定的样本来源，即指定的切片制备流程和/或样本保存液、抗体试剂、染色液等）和配套的图像采集设备获得的符合要求的数字病理图片。

根据研究结论，确定软件使用限制并在说明书中进行描述。

2.4.7算法可追溯性分析

提供算法可追溯性分析报告，即追溯算法需求、算法设计、源代码（明确软件单元名称即可）、算法测试、算法风险管理的关系表。

（三）产品说明书和标签样稿

明确该产品适用范围，明确产品适用的显微镜和图像采集设备的名称和型号，明确图像参数及质量。明确病理切片或细胞涂片的制备流程及试剂厂家信息。明确软件报告内容。对产品带来的假阳/假阴性风险进行提示。

根据算法影响因素分析报告，在说明书明确产品使用限制和必要的警示提示信息。列明算法训练总结和算法性能评估总结以及临床评价总结。

附件3

病理图像人工智能分析软件临床评价审评要点

本审评要点旨在指导注册申请人对病理图像人工智能分析软件临床评价注册申报资料的准备及撰写，同时也为技术审评部门提供参考。

本审评要点是对病理图像人工智能分析软件的一般要求，申请人应依据产品的具体特性确定其中内容是否适用。若不适用，需具体阐述理由并提供相应的科学依据，同时依据产品的具体特性对注册申报资料的内容进行充实和细化。

本审评要点是供注册申请人和技术审评人员使用的指导性文件，但不包括审评审批所涉及的行政事项，亦不作为法规强制执行，应在遵循相关法规的前提下使用本审评要点。如果有能够满足相关法规要求的其他方法，也可以采用，但是需要提供详细的研究资料和验证资料。

本审评要点是在现行法规和标准体系以及当前认知水平下制定，随着法规和标准的不断完善，以及科学技术的不断发展，相关内容也将适时进行调整。

一、适用范围

病理图像人工智能分析软件是指基于数字病理图像，采用深度学习等人工智能技术实现对病理图像的分割、检测等功能的医疗器械。数字病理图像包括经数据成像设备获得的显微镜下细胞或组织图像、全玻片数字扫描技术（Whole Slide Imaging, WSI）的病理图像等。产品在医疗机构和/或医学实验室使用，可辅助病理医师为疾病的诊断、预后、治疗等提供信息，不能作为临床诊断决策的唯一依据。

本审评要点基于全玻片数字扫描技术( whole slide imaging，WSI)的病理图像人工智能分析软件产品临床评价进行阐述，用于经数据成像设备获得的显微镜下细胞或组织图像分析的相关产品临床评价可以适当参考本审评要点。

二、临床评价路径

病理图像人工智能分析软件临床评价应符合《医疗器械临床评价技术指导原则》要求。影响该软件性能因素包括核心算法、算法训练等多个方面。针对两个不同的分析软件，即使采用的核心算法相同，但是，不同的分析软件在算法训练过程中使用的训练集不同，不同训练集的标注可能存在差异，因此，针对该类产品临床性能的确认应采用临床试验的方式，不适合采用同品种比对的方式。

三、临床试验

在开展临床试验之前，病理图像人工智能分析软件产品应完成产品开发，确保产品已经定型。基于该类产品的特点，产品在开发过程中需采用满足要求的数据对算法进行训练，在算法训练过程中，应保证训练集数据标注的质量以及训练集具有足够样本量，确保经过训练的软件在临床前研究中性能稳定。在软件开发过程中，有时存在算法调优的情况。需要注意的是，用于开展临床试验的产品必须为完成算法训练及调优的产品。产品临床试验启动后不能对算法进行训练或调优。产品应进行充分的临床前研究，以保证产品临床试验过程中，不会对受试者产生额外的伤害。

1.临床试验机构

考虑到病理图像判读容易在机构和阅片医师间产生差异，产品临床试验建议采用多中心临床进行，临床试验机构数量建议不少于3家。临床试验机构应获得国家药品监督管理局备案认可。临床试验机构应具有严格的质量管理体系，执行实验室内部日常质量控制。

临床试验建议选择具有相关学科优势的临床试验机构。临床试验中应根据试验设计设定不同资历的病理医师参与试验，病理医师资历划分应合理。

2.临床试验目的

产品临床试验应该能够充确认产品临床性能，证明产品能够实现其宣称的预期用途。病理图像人工智能分析软件的临床应用，应对病理医师的诊疗活动有所获益，如：提高病理医师诊断准确性，提高病理医师阅片重现性，缩短病理医师阅片时间等。临床试验应确认主要评价指标的优效性。

3.临床试验设计

根据产品特点和产品性能评价需要，病理图像人工智能分析软件临床试验可能包括不同的临床试验目的，有必要针对各个临床试验目的，分别进行科学的临床试验设计，包括选择适当的临床试验设计类型。本审评要点以提高病理医师诊断准确性或缩短阅片时间为例，进行临床试验设计阐述。

此类产品临床试验一般需考虑开展对照研究，对照研究有多种设计方法，根据产品特征及临床试验实际，可选择多阅片者多数据样本（multiple reader multiple case，MRMC）、随机交叉自身对照等试验设计。如临床试验采用其他设计，在阐明设计科学合理的前提下，也可用于评价产品临床性能。以下仅详细阐述多阅片者多数据样本（multiple reader multiple case，MRMC）、随机交叉自身对照两种设计。

3.1多阅片者多数据样本（multiple reader multiple case，MRMC）设计

如采用此种设计，整个临床试验由协调研究者组织，各临床试验机构阅片者整体进行分组，各临床试验机构入组的病例共同组成分析集。临床试验将参与的阅片者分为两组。两组病理医师分别在软件的辅助下及未使用软件的情况下对入组的病理图像（或病理切片）进行判读，判读结果以临床参考标准为准，分别评价软件辅助下及未使用软件的情况下病理医师诊断准确性。

试验过程分为两个阶段，第一组病理医师第一阶段在使用软件辅助的条件下完成所有病理图像（或病理切片）的判读；经一定的洗脱期后，第二阶段在不使用软件辅助的条件下完成所有病理图像（或病理切片）的判读。第二组医师第一阶段在不使用软件辅助的条件下完成所有病理图像（或病理切片）的判读；经一定的洗脱期后，第二阶段在使用软件辅助的条件下完成所有病理图像（或病理切片）的判读。该试验中医师使用软件辅助的判读结果作为试验组，不使用软件辅助判读的结果作为对照组，比较试验组与对照组同临床参考标准对比病理图像（或病理切片）判读的准确度。阅片过程中每名医师需分别在使用软件和不使用软件的条件下都完成所有入组病理图像（或病理切片）的阅片。

3.2随机交叉自身对照设计

该设计应在每家临床试验机构单独开展，临床试验协调研究者最终将各机构数据汇总统计。每家临床试验机构由资质满足要求的研究者参与。临床试验过程中研究者开展两个阶段工作，一是，研究者使用软件对病理图像（或病理切片）进行判读，二是，上述研究者未使用软件分别对入组的病理图像（或病理切片）进行判读。判读结果以临床参考标准为准，分别评价软件辅助下及未使用软件的情况下病理医师诊断准确性。

试验过程将入组的病理图像（或病理切片）随机平均分为两组，临床试验分为两个阶段，第一阶段病理医师在使用软件辅助的条件下完第一组病理图像（或病理切片）的判读，同时在不使用软件辅助的条件下完成第二组病理图像（或病理切片）的判读；经一定的洗脱期后，第二阶段在不使用软件辅助的条件下完成第一组病理图像（或病理切片）的判读，同时在使用软件辅助的条件下完第二组病理图像（或病理切片）的判读。该试验中医师使用软件辅助的判读结果作为试验组，不使用软件辅助判读的结果作为对照组，比较试验组与对照组同临床参考标准对比，病理图像（或病理切片）判读的准确度。阅片过程中每名医师需分别在使用软件和不使用软件的条件下都完成所有入组病例图像的阅片。

4.临床试验参考标准

临床参考标准是指现有条件下临床上可获得的能够用来确定受试者目标状态的最佳方法，通常来自临床和实验室的医学实践，包括：现有条件下公认的、可靠的、权威的疾病诊断标准（如组织病理学检查、影像学检查、病原体分离培养鉴定、长期随访所得的结论等），疾病诊疗指南中明确的疾病诊断方法，行业内专家共识推荐的或临床上公认的、合理的参考方法等。临床参考标准可能是一种方法，也可能是多种方法相结合。

如根据产品临床试验要求，临床试验过程中需要以病理阅片结果作为参考标准。一般而言，病理阅片的参考标准为多位具有资深经验的病理医师组成的病理医师专家组共同对病理切片进行判读的结果，专家组中病理医师的数量一般不少于3人。参考标准应明确病理结果判定的决策机制，特别是针对专家组中不同病理医师判读结果存在差异的情况下，应明确后续的处理措施及最终结果确定的依据。

5.临床试验入组人群

病理图像人工智能分析软件临床研究入组的受试者应为产品预期适用人群。受试者应具有代表性，如针对肿瘤辅助诊断的产品，入组的受试者应包括各种组织类型、不同的肿瘤分级、分期以及相关良性疾病、其他易混淆、干扰病例等。

为了更加科学的评价产品性能，临床试验应包含部分病理医师难以诊断的病例及阳性阈值临近范围内的病例。

根据产品评价要求，临床试验入组的病例应与算法训练及调优的病例不同。

6.临床评价指标

针对定性分析，临床试验评价指标特别是主要评价指标应根据临床试验目的及设计确定。临床试验主要评价指标为使用软件的病理医师与未使用软件的病理医师阅片与临床参考标准对比的阳性一致率、阴性一致率；使用软件的病理医师与未使用软件的病理医师阅片效率；软件独立阅片与临床参考标准的阳性一致率、阴性一致率等。

针对半定量/定量分析，临床试验应设置合理的评价指标如等级符合率、回归分析的回归系数、截距、相关系数和决定系数等。

临床试验应考虑整体的优效性评价，以定性分析为例，如：使用软件的病理医师与未使用软件的病理医师阅片同临床参考标准对比的阳性一致率或阴性一致率的有效性；或者确保使用软件的病理医师与未使用软件的病理医师阅片同临床参考标准对比的阳性一致率和阴性一致率的优效或非劣效前提下，阅片效率的优效性。

7.样本量估算

样本量一般根据临床试验的主要评价指标进行估算。需在临床试验方案中说明样本量估算的相关要素及其确定依据、样本量的具体计算方法。

7.1确认软件提高阅片准确性的样本量估算

该类产品临床试验的主要评价指标为使用软件作为辅助的病理医师与未使用软件的病理医师在阅片准确性方面的差异。软件辅助病理医师阅片准确性与病理医师单独阅片相比，准确性具有显著提升，软件的临床意义才能被确认。因此，建议采用优效性模型或优效性模型与非劣效性模型结合进行样本量估算。

以定性产品为例，临床试验应根据阳性一致率估算阳性病例数量，根据阴性一致率估算阴性病例数量。临床试验可针对阳性一致率、阴性一致率均采用优效性模型进行样本量估算；也可选择其中一个指标采用优效性模型进行样本量估算，另一个指标采用非劣效性模型进行样本量估算。

7.2确认软件缩短阅片时间的样本量估算

该类产品临床试验的主要评价指标为使用软件作为辅助的病理医师与未使用软件的病理医师在阅片时间等方面的差异。软件辅助病理医师阅片时间与病理医师单独阅片相比，阅片效率具有显著提升，同时，软件辅助病理医师阅片与病理医师单独阅片相比，阅片准确性应无显著差异，软件的临床意义才能被确认。因此，建议针对阅片时间的评价采用优效性模型进行样本量估算，同时针对阳性一致率和阴性一致率采用非劣效性模型或优效性模型进行样本量估算，临床试验样本量应能够同时满足上述要求。

临床试验样本量估算还应考虑主要评价指标有临床实际意义的界值、主要评价指标的相关参数（如预期有效率、均值、标准差等）、Ⅰ类和Ⅱ类错误率以及预期的受试者脱落和方案违背的比例等。针对确认软件缩短阅片时间的样本量估算，应确保总研究的Ⅱ类错误概率β设定不大于0.2。

若采用MRMC的试验设计，样本量计算需首先明确具体的分析方法，如Obuchowski-Rockette Analysis（OR分析方法）、Dorfman-Berbaum-Metz-Hillis Analysis（DBMH分析法），并进一步明确受试医师数量，显著性α、把握度1-β、预计效应值，优效/非劣效界值，其中预计效应值可通过预试验或调研并汇总分析目标病例检出的诊断学研究文献获得。

8.统计分析

临床试验应采用合理的方式进行统计分析。以定性产品为例，临床试验中针对软件作为辅助的病理医师、未使用软件的病理医师、分析软件阅片的准确性进行统计分析，应分别以临床参考标准为对照，以2×2表的形式统计阅片结果的阳性一致率、阴性一致率及总一致率。同时针对二者的阳性一致率、阴性一致率及总一致率分别按照要求进行假设检验或区间分析。

确认软件缩短阅片时间的临床试验还应针对阅片效率进行统计分析。

9.偏倚控制

为了控制临床试验的偏倚，研究过程中应针对病例/切片应进行设盲，使研究者在试验过程中不知晓受试者疾病诊断或其他相关检测等信息，从而避免引入偏倚。

临床试验涉及同一个病理医师两次阅片的情况，病理医师在进行下一次阅片时应保留一段时间的记忆清除期（脱敏期），此段时间一般不少于两周。每次阅片时建议人为纳入一定数量的不同的干扰病例。干扰病例应同时具有阳性和阴性病例，将干扰病例混入分析组中，使研究者同时针对分析组中的病例及干扰病例进行操作，但干扰病例结果不纳入统计分析。

针对适用于显微镜下组织或细胞图像的产品，临床试验过程中应注意，临床试验开展过程应与产品临床应用过程相符，即同一研究者参与显微镜下图像的选择与结果判读全过程。

10.质量控制

临床试验开始前，应进行相关培训，以确保研究者熟悉并掌握相关试验方法，最大限度控制试验误差。整个试验过程都应处于有效的质量控制下，最大限度保证试验数据的准确性及可重复性。

临床试验应严格按照产品说明书进行操作，应根据相关要求进行必要的HE染色，应设置合理对照。

四、关于配套使用产品的要求

产品临床试验应明确配合使用的检测试剂及图像采集设备。产品配合使用的检测试剂及图像采集设备应固定，且与产品临床前研究一致。

临床试验过程中软件运行环境如：运行所需的硬件配置、软件环境和网络条件应与产品临床前研究一致。其中硬件配置包括处理器、存储器和外设器件，软件环境包括系统软件、支持软件和安全软件，网络条件包括网络架构（BS、CS）、网络类型（广域网、局域网、个域网）和带宽。

五、产品适用范围

病理图像人工智能分析软件仅在医疗机构与配套的检测检测试剂、病理图像扫描仪配合使用。适用于病理检测过程中对病理图像的辅助识别，辅助病理人员识别出目标切片。本产品不单独用于病理诊断，不单独作为临床诊疗决策依据，所有经软件判读的样本最终结果需要医师确认。该产品经培训合格的医师使用。图像采集由指定型号的显微镜或图像采集设备，并经培训合格的人员对图像质量进行认可。

六、参考文献

[1] 原国家食品药品监督管理局.医疗器械临床试验设计指导原则:食品药品监管总局通告2018年第6号[Z].(2018-01-04)[2021-05-01].https://www.cmde.org.cn/CL0058/6

882.html.

[2] Xiao-Hua Zhou，Nancy A.Obuchowski，Donna K.McClish. 诊断医学中的统计学方法（第二版） [M].北京:高等教育出版社，2016。

[3] 李卫.医疗器械临床试验统计方法（第二版） [M].北京:科学出版社，2016。

附件4

血液病流式细胞学人工智能分析软件性能评价审评要点

本要点旨在指导注册申请人对血液病流式细胞学人工智能分析软件注册申报资料中非临床评价部分的准备及撰写，同时也为技术审评部门提供参考。

本要点是对血液病流式细胞学人工智能分析软件申报资料的一般要求，申请人需依据产品的具体特性确定其中内容是否适用。若不适用，需具体阐述理由及相应的科学依据，并依据产品的具体特性对注册申报资料的内容进行充实和细化。

本要点是供注册申请人和技术审评人员使用的指导性文件，但不包括审评审批所涉及的行政事项，亦不作为法规强制执行，需在遵循相关法规的前提下使用本指导原则。如果有能够满足相关法规要求的其他方法，也可以采用，但是需要提供详细的研究资料和验证资料。

本要点是在现行法规和标准体系以及当前认知水平下制定的，随着法规和标准的不断完善，以及科学技术的不断发展，本要点的相关内容也将进行适时的调整。

一、适用范围

血液病流式细胞学分析，与细胞形态学、细胞遗传学、分子遗传学等一起，用于血液病的辅助诊断、鉴别诊断、预后判断、治疗监测、免疫监测、造血干细胞移植相关检测等。样本类型可为血液或骨髓、淋巴结、脑脊液、及其他适用样本类型。

血液病流式细胞学人工智能分析软件，指通过人工智能算法帮助医生分析多参数流式细胞学技术/流式细胞仪产生的结构化数据，如数据文件或图形文件等进行血液病辅助体外诊断的软件，通常用于定性或定量分析，可以是软件组件或独立软件。通过对结构化数据的人工智能算法分析，用途包含：（一）基础分析：通过单一的人工智能算法辅助流式细胞学数据的可视化，从而辅助流式诊断人员进行自动设门和分析。（二）高阶分析：通过多个人工智能算法组合使用（如集成学习算法和卷积神经网络算法组合使用），实现自动设门辅助血液疾病诊断（良/恶性、白血病亚型分类、淋巴瘤分型等）、化疗后的微小残留病监测等。

产品在医疗机构、医学实验室使用，其结果供执业医师参考。软件作为血液病流式细胞学辅助诊断工具，其提示的诊断结果不能作为临床诊断决策的唯一依据。

产品管理类别：

独立软件分类编码：21-04-02（计算机辅助诊断/分析软件）

软件组件分类编码：22-01-08（流式细胞分析仪器）

应注意本要点主要适用于辅助决策类的人工智能医疗器械，按照第三类管理，其他类别的产品可根据其适用性参照执行。关于人工智能医用软件分类的判定，可参照《人工智能医用软件产品分类界定指导原则》。

产品名称：建议依据医用软件通用名称要求，按“特征词1（如有）+特征词2（如有）+特征词3（如有）+核心词”结构编制。具体到该类产品，建议体现处理对象和临床用途，如血液病（具体病种）+流式细胞学辅助分析/检测软件，可参考《医疗器械分类目录》、《医用软件通用名称命名指导原则》中的品名举例或已批准的同类产品进行命名。如为软件组件，则产品名称体现医疗器械名称，如“多参数流式细胞仪”，但在适用范围体现人工智能算法类型，在产品说明书体现使用限制等相关内容。

本要点基于《人工智能医疗器械注册审查指导原则》的基本框架要求，其中关于人工智能医疗器械的的术语定义、相关要求参照上述指导原则。

二、产品简介

该类软件的分析对象基于流式细胞仪产生的标准化的结构化数据文件或图形文件等。

产品的工作原理：产品为独立软件或软件组件，采用人工智能算法对流式细胞仪数据进行处理（如：数据特征提取、数据通过函数图形化以及自动设门、决策分析等），实现对流式细胞仪数据、对细胞分类及定量结果进行分析，达到辅助诊断的功能。

主要结构及组成：结构组成明确交付内容和功能模块，其中交付内容包括软件安装程序、授权文件、外部软件环境安装程序等软件程序文件，功能模块包括客户端、服务器端（若适用）等，若适用注明选装、模块版本。

服务器端：负责接收并处理请求，对请求进行数据处理，调用人工智能算法（如PCA、t-SNE、SVM等）对数据进行处理并输出分析结果。把用户请求的数据结果返回给浏览器。

客户端：将服务器端分析结果呈现到用户界面。用户可在用户界面端进行自动设门、细胞分群、辅助分类、辅助诊断、报告管理、检索查询、用户管理、查看日志等功能操作。

预期使用环境：申报产品主要使用环境为医疗机构、医学实验室。

三、基本要求

在满足相关法规、规章、指导原则、标准的前提下，还应重点关注下列内容：

（一）综述资料

详细描述该产品的算法名称，选择该算法的依据和权威文献，数据处理的在流式细胞分析流程中的节点及辅助决策功能及功能实现方法，描述配套使用流式细胞仪器设备（厂家、型号、注册证号及主要参数设置：包括激光数、通道设置等）及仪器质量控制参数（仪器校准、电压补偿等）、配套使用的流式细胞检测试剂（名称、厂家、注册证号等），描述数据产生的样本类型。

人工智能医疗器械从成熟度角度可分为成熟和全新两种类型，其中成熟是指安全有效性已在医疗实践中得到充分证实的情形，全新是指未上市或安全有效性尚未在医疗实践中得到充分证实的情形。人工智能医疗器械的算法、功能、用途若有一项为全新则属于全新类型，反之属于成熟类型。

在资料中应当说明采用算法的成熟程度，采用全新算法的，应当在综述资料中详细说明。

阐述软件研发背景，包括对辅助决策功能的介绍，目前该血液病临床诊断参考标准、诊疗指南和分型依据。申报产品数据处理标准和分型依据应与临床标准一致。

（二）非临床资料

1.产品技术要求及检验报告

性能指标应包括“所分析的数据类型”、“分析速度”、“临床功能”等，如数据处理、数据分析、诊断提示等。

其他要求请参照《医疗器械软件注册审查指导原则（2022年修订版）》。

2.软件研究资料

按照《医疗器械软件注册审查指导原则（2022年修订版）》、《医疗器械网络安全注册审查指导原则（2022年修订版）》、《人工智能医疗器械注册审查指导原则》的要求，提交研究资料。明确发布版本号。提交的研究资料主要包含软件研究资料、算法研究资料、网络安全研究资料。研究资料内容应涵盖申报产品适用范围中描述的全部内容。

2.1风险管理

软件安全性级别越高，其生存周期质控要求越严格，注册申报资料越详尽，同时由于全新类型的潜在未知风险多于成熟类型，故需结合成熟度予以综合考虑。

人工智能医疗器械的软件安全性级别可基于产品的预期用途、使用场景、核心功能进行综合判定，其中预期用途主要考虑用途类型、重要程度、紧迫程度等因素，使用场景主要考虑使用场合、疾病特征、适用人群、目标用户等因素，核心功能主要考虑功能类型、核心算法、输入输出、接口等因素。

参考YY/T 0316、GB/T 42062和YY/T 0664等标准进行风险管理。风险管理活动应当基于软件的预期用途、使用场景、核心功能予以实施，并贯穿软件全生命周期过程。申请人重点考虑如下风险因素：此类产品算法风险包括算法选择风险、算法训练及验证的风险等，主要包括算法选择依据不充分，算法训练使用的数据质量不高，数据代表性不足或数据量不够，由于样本前处理、流式细胞仪光路信号校准和质控，流式细胞分析过程或流式荧光试剂标记发生错误等原因产生，造成过拟合和欠拟合导致的泛化能力不足，数据扩增（如适用）和数据偏移等造成的假阴性和假阳性错误等；使用中的风险主要包括未经培训的人员使用，以及样本采集、处理、仪器校准等错误，造成的假阴性和假阳性错误。其中假阴性即漏诊，可能导致后续诊疗活动延误，特别是要考虑快速进展疾病的诊疗活动延误风险，而假阳性即误诊，可能导致后续不必要的诊疗活动。

以算法特性为核心重点关注其泛化能力，以模型/数据为基础重点关注其质控情况，同时从风险管理角度兼顾算力不足与失效的影响。

注册申请人应结合人工智能医疗器械的预期用途、使用场景、核心功能开展风险管理活动，采取风险控制措施将风险降至可接受水平，并贯穿于人工智能医疗器械全生命周期过程。

此外，进口人工智能医疗器械还需考虑中外差异风险，如人种、流行病学特征、临床诊疗规范等差异。

2.2需求规范

提供软件需求规范文档，明确软件的功能、性能、接口、用户界面、运行环境、网络安全、数据采集等需求。

数据采集需考虑数据来源的合规性、充分性和多样性，数据分布的科学性和合理性，数据质控的充分性、有效性和准确性。数据应来源于分布于不同地域的机构且不少于3家，确保数据应当具备高度的多样性。机构应使用软件说明书中的分析流程采集数据，如明确的样本来源、仪器设备、样本处理（前处理、单细胞悬液的制作、荧光抗体试剂的选择等）。数据分布的科学性和合理性，应考虑包括但不限于疾病构成（如分型、分级、分期）、人群分布（如高危人群、患者，性别、年龄）等情况。

算法性能需结合产品预期用途，综合考虑分析速度、敏感性、特异性、重复性与再现性、泛化性等性能指标的适用性及其要求。

同时还需考虑因梯度消失（如适用）、梯度爆炸（如适用）、过拟合和欠拟合等影响算法性能的因素。

使用限制需考虑产品禁用、慎用等场景，准确表述产品使用场景，提供必要警示提示信息。

2.3软件性能研究

提供产品性能研究资料以及产品技术要求的研究和编制说明，给出软件相关的功能性、安全性指标的确定依据。注册申请人需在软件研究资料中提交GB/T 25000.51自测报告，亦可提交自检报告或检验报告代替自测报告。产品技术要求中各指标依据产品自身特点确定。

2.4算法研究资料

根据《人工智能医疗器械注册审查指导原则》提交算法研究资料。逐项提交每个人工智能算法或算法组合的算法研究报告。

2.4.1算法基本信息

明确算法的名称、类型、结构、输入输出、流程图、算法框架、运行环境等基本信息以及算法选用依据。

其中，算法类型从学习策略、学习方法（基于模型的算法和基于数据的算法）、可解释性（白盒算法和黑盒算法）等角度明确算法特性。算法结构部分应明确算法的层数、参数规模等超参数信息。流程图应包含输入示例、学习方法示意图输出示例。算法框架应明确所用人工智能算法框架的基本信息，包括名称、类型（自研算法框架、现成算法框架）、型号规格、完整版本、制造商等信息。若基于云计算平台，应明确云计算的名称、服务模式、部署模式、配置以及云服务商的名称、住所、服务资质。运行环境应明确算法正常运行所需的典型运行环境，包括硬件配置、外部软件环境、网络条件；若使用人工智能芯片应明确其名称、型号规格、制造商、性能指标等信息。算法选用依据详述算法或算法组合选用的理由和基本原则。

2.4.2算法风险管理

结合预期用途、使用场景、和核心功能、算法成熟度、网络安全等因素，此类产品的软件安全性级别为严重级别。提供算法风险管理资料，若无单独文档可提供软件风险管理资料，并注明算法风险管理所在位置。

2.4.3算法需求规范

提供算法需求规范文档，若无单独文档可提供软件需求规范，并注明算法需求所在位置。

2.4.4数据收集

2.4.4.1提供数据来源合规性声明，列明数据来源机构的名称、所在地域、数据收集量、伦理批件（或科研合作协议）编号等信息。

2.4.4.2数据采集

建议参考2.2需求规范的要求，提供数据采集操作规范文档，包括数据采集方案和数据采集标准操作规程。

数据采集主要由临床机构实施，应明确流式细胞分析流程的全部信息（包括全流程质控标准、panel设计、仪器和试剂的标准化SOP等）、明确样本及样本处理要求、样本的来源与分布、样本质量要求（样本保存时限、质量判断标准）、采集设备要求（应包含流式细胞仪型号、通道数量、注册证号、设备质控及补偿调节方式、数据的基本处理方式等）、流式抗体试剂要求（厂家、注册证号等）、数据质量要求、采集过程、数据脱敏、数据转移等要求。采集过程应对样本数据进行编号并加密，方案中应包含编号规则。

关于数据集采集方面建议明确偏倚的控制方法，如：

（1）为了保证研究对象的代表性，可从目标人群中随机抽样、多中心，保证样本量要足够大。

（2）为了保证研究对象选择的质量，研究设计中应有明确、具体的诊断标准、纳入标准和排除标准。

（3）检测标本尽量保持试验条件的前后一致性，注意试剂质量、仪器性能、样本保存和操作规定。

建议通过限制、配比、标准化、随机化、分层分析和多元分析等进行控制。

2.4.4.3数据整理

明确数据清洗/预处理程序，对数据处理中应用的软件进行简述，并以附件的形式提交数据处理中各软件的软件研究资料。

数据整理基于原始数据库考虑数据清洗、数据预处理的质控要求。数据清洗需明确清洗的规则、方法、结果，数据预处理需明确处理的方法、结果。数据整理所用软件工具均需明确名称、型号规格、完整版本、制造商、运行环境，并进行软件确认。

2.4.4.4数据标注

明确标注人员和仲裁人员的资质要求和培训内容，标注人员和仲裁人员应为相关专业资质的人员，数据应经过2人或以上进行标注，标注方式建议给出依据。简述标记系统信息，给出数据/图像界面截图，详细介绍标注过程、标注对象和标注标准（注意与临床诊断标准的一致性）等。明确标注过程质控、标注质量评估、数据安全保证等要求，明确室内质控、室间质评等要求。应当注意标注数据的质量评估，可抽选一定比例数据由有资质的非标注人员结合临床进行综合诊断评估。

提供原始数据库、基础数据库、标注数据库、扩增数据库（如有），关于疾病构成的数据分布情况，包括适用人群、数据来源机构、采集设备、样本类型等因素。

若数据来自公开数据库，提供公开数据库的基本信息（如名称、创建者、数据总量等）和使用情况（如数据使用量、数据质量评估、数据分布等）。

2.4.4.5数据集构建

明确各数据集划分的方法及依据。训练集应当保证样本分布具有均衡性，根据预期用途，训练样本应涵盖不同血液病样本类型、不同分群类型等。调优集应保证样本分布符合临床实际情况，如阳性比例，不同类型比例、不同临床分型比例等均应符合临床实际情况。训练集、调优集、测试集的样本应两两无交集并通过查重予以验证。

如适用，进行数据扩增验证时，应当明确扩增的方式、方法、倍数，并考虑数据扩增对软件的影响及风险。列表比较扩增数据库与标注数据库的差异，论证扩增数据库样本量的充分性以及分布的合理性。

2.4.5算法训练

依据适用人群、数据来源机构、采集设备、样本类型等因素，提供训练集、调优集（若有）关于疾病构成的数据分布情况。

算法训练基于训练集、调优集进行训练和调优，应明确算法训练所用的评估指标、训练方式、训练目标、调优方法，提供ROC曲线或混淆矩阵等证据（如：迭代次数-训练CountIOU曲线和迭代册数-召回率曲线）证明训练目标满足医疗要求，提供训练数据量-评估指标曲线（如迭代次数-Loss曲线）等证据以证实算法训练的充分性和有效性。

应当提供人工智能学习算法常用的评估函数来评估算法训练的质量。

2.4.6算法性能评估

基于测试集对算法设计进行评估，确认软件算法性能的效率、敏感性、特异性，性能应满足算法设计要求。

算法验证：算法性能评估应包括软件对样本满意度评价的能力测试、泛化能力的测试、压力测试（指采用罕见或特殊的真实数据样本开展的算法性能测试）、对抗测试、重复性与再现性测试、诊断敏感性与特异性测试、分析效率测试、算法性能影响因素分析、性能评估结果比较分析、偏差报告等研究。应以该软件和临床综合诊断的一致性进行比较.评价细胞分群的准确性。

通过样本量估算确定测试集中阴、阳性样本和压力样本的样本量，提供测试集关于疾病构成（包括年龄和血液病类型、白细胞分化抗原种类）、数据来源的数据分布情况。明确对抗样本的选择原则；明确性能评估的可接受标准和标准制定依据。提交测试报告和结果图示例。

若使用第三方数据库开展算法性能评估，提供第三方数据库的基本信息（如名称、创建者、数据总量等）和使用情况（如测试数据样本量、评估指标、评估结果等）。还应提交第三方数据库数据样本来源和本分析软件在产品技术要求、说明书中要求的流式细胞分析流程的一致性评价（包含样本要求、处理方式、流式细胞荧光抗体试剂的选择、流式细胞仪、荧光及电压补偿方式、应用的函数等）,应提交符合要求的流式细胞仪数据。

算法的确认：此类产品均需按照GCP的要求开展临床试验。临床试验的机构应具备该软件要求的流式细胞分析流程所需的人员、试剂及仪器设备，临床试验应以该软件和临床综合诊断的一致性进行比较，确保其产生的流式细胞仪数据与该软件说明书和技术要求的一致性。

2.4.7算法可追溯性分析

提供算法可追溯性分析报告，即追溯算法需求、算法设计、源代码（明确软件单元名称即可）、算法测试、算法风险管理的关系表。若无单独文档可提供软件可追溯性分析报告，需注明算法可追溯性分析所在位置。

（三）产品说明书和标签样稿

明确该产品适用范围，明确流式细胞学人工智能分析的全流程质控标准、适用的流式细胞分析设备、设备参数设置、适用的试剂及试剂盘设计、样本处理方法和本软件适用的标准化SOP等。明确软件报告内容。对产品带来的假阳/假阴性风险进行提示。

根据算法性能综合评价结果，对产品的适用范围、使用场景、核心功能进行必要限制，并在说明书中明确产品使用限制和必要警示提示信息。明确数据采集设备和数据采集过程相关要求。

若产品采用人工智能黑盒算法，根据算法影响因素分析报告，在说明书明确产品使用期限、使用限制和必要的警示提示信息。

明确人工智能算法的算法性能评估总结（测试集基本信息、评估指标与结果）、临床评价总结（临床数据基本信息、评价指标与结果）、决策指标定义（或提供决策指标定义所依据的临床指南、专家共识等参考文献）等信息。若采用基于数据的人工智能算法，说明书还应补充算法训练总结信息（训练集基本信息、训练指标与结果）列明算法训练总结和算法性能评估总结以及临床评价总结。

对于软件安全性级别为严重级别的产品，需提供用户培训材料。

相关推荐

CIO提供以下相关文库下载、合规服务以及线上培训课程学习。