用户界面确认可采用或组合采用<b><font color="#e74f4c">总结性可用性测试</font></b>、<b><font color="#e74f4c">等效医疗器械对比评价</font></b>等方式。原则上,全新产品(无产品上市或安全有效性尚未在医疗实践中得到充分证实)采用总结性可用性测试方式,成熟产品(安全有效性已在医疗实践中得到充分证实)可采用等效医疗器械对比评价方式。
<b><font color="#e74f4c">1.总结性可用性测试</font></b><br>
<b><font color="#e74f4c">总结性可用性测试即用户界面确认测试</font></b>,注册申请人可采用模拟测试(基于模拟使用场景、基于自建可用性实验室)、现场测试(基于真实使用场景)等方法,也可委托第三方可用性实验室(含检测机构、高校、研究机构等)开展模拟测试。<br>
总结性可用性测试的参与人员数量需统计计算,相关研究结果表明15人、20人、30人可分别发现至少90%、95%、97%的使用错误。因此,<b><font color="#e74f4c">总结性可用性测试</font><font color="#5b79e8">每个用户组</font><font color="#e74f4c">的测试参与人员数量原则上不少于15人</font></b>。
总结性可用性测试基于医疗器械产品整体,确保测试参与人员均为预期用户且涵盖全部关键任务涉及的用户/用户组,用户界面已设计定型,测试环境与真实使用环境相同或等同,全部关键任务均已纳入。
总结性可用性测试需考虑测试相关人员的背景。利益相关人员不得作为测试的参与人员、评价人员,即<font color="#e74f4c">注册申请人的产品直接设计开发人员不能作为模拟测试、现场测试的参与人员、评价人员,注册申请人及其利益相关方的员工不能作为第三方可用性模拟测试的参与人员、评价人员。评价人员需具备可用性工程相关知识和工作经验。</font>
为保证真实使用场景受试者(如患者)安全,现场测试可能无法纳入全部关键任务,需考虑关键任务的测试选择以及未测关键任务补充测试的方法和要求,并予以记录;建议考虑现场测试参与人员的多样性和代表性。
总结性可用性测试过程通常包括<b><font color="#e74f4c">测试计划制定、测试参与人员招募与培训、测试实施、测试数据收集、测试结果分析、测试报告撰写</font></b>等活动。
<b><font color="#e74f4c">测试计划以关键任务为导向</font></b>,特别是兼为紧急任务、常用任务的关键任务,基于使用风险分析明确测试通过准则,涵盖说明书与标签、用户培训材料测试要求。
<b><font color="#e74f4c">测试参与人员</font></b>招募需考虑人员入组/排除问题,根据用户/用户组的用户特征选择测试参与人员,经常参加同类医疗器械或同一注册申请人所属医疗器械可用性测试的参与人员原则上予以排除,若不排除说明原因并予以记录。测试参与人员培训需基于医疗器械产品特性考虑培训的内容和要求,特别是学习曲线长的医疗器械可能需要开展多次培训,若无需开展测试参与人员培训说明原因并予以记录。
<b><font color="#e74f4c">测试数据</font></b>包括观测数据、访谈数据。其中,观测数据源自测试参与人员操作行为的记录(可为图片、视频等),基于测试参与人员隐私保护考虑对相关记录进行适当处理,但需保证操作行为记录的完整性;访谈数据源自测试参与人员关于产品操作、使用知识的问答记录(含问卷、试卷),问答需包含开放式问题。使用知识需特别关注知识任务,如说明书与标签的使用警示,其无法通过观测方式予以评价,故需采用访谈方式。
<b><font color="#e74f4c">测试报告</font></b>包括<font color="#e74f4c">测试目的、测试对象、测试参与人员、测试条件、测试通过准则、测试任务、测试结果分析、测试计划偏离、结论</font>等内容。其中,测试目的明确本次测试目标,测试对象提供申报产品基本信息和实物图片,测试参与人员列明用户/用户组划分情况及其人员背景、数量以及培训要求与效果,测试条件列明测试所用场地、设备(含软件工具)和测试评价人员情况,测试通过准则明确测试任务通过的准则,测试任务列明全部关键任务测试的项目、流程、结果并提供测试示例图片,测试结果分析结合测试数据(含观测数据、访谈数据)分类描述每个错误使用、使用困难、使用险肇的发生频次、潜在伤害、使用错误类型(感知错误、认知错误、行动错误)、使用风险控制措施、综合剩余使用风险,测试计划偏离详述每个偏离的情况、影响及处理,结论概述本次测试结果以及综合剩余使用风险可否接受。
总结性可用性测试若测试结果不符合测试通过准则要求,则需分析并确定测试失败的原因及其影响,考虑重新开展总结性可用性测试的范围和内容,并予以记录。若总结性可用性测试出现风险不可接受的使用错误,则需针对上述使用错误开展可用性工程更改活动,并开展补充性总结性可用性测试或者重新开展总结性可用性测试,此时需考虑测试参与人员的重新选择问题。
<b><font color="#e74f4c">2. 等效医疗器械对比评价</font></b>
本指导原则所述<b><font color="#e74f4c">等效医疗器械是指与申报医疗器械在预期用途、适用人群、结构组成、用户/用户组、用户特征、使用场所、环境条件、关键任务、人机交互方式、用户培训等方面判定要素基本等同且已在境内注册上市的同类医疗器械</font></b>。<br>
等效医疗器械对比评价可参考同品种对比临床评价方式予以开展。首先结合上述判定要素选定申报医疗器械的等效医疗器械,然后基于上述判定要素逐项进行对比。<b><font color="#e74f4c">若二者无差异</font></b>,开展同类医疗器械上市后使用问题分析,若无新增使用风险采用等效医疗器械在境内注册上市所用的用户界面确认资料作为支持证据;若有新增使用风险,除以上工作外还需提交申报医疗器械针对新增使用风险的用户界面确认资料。
<b><font color="#e74f4c">若二者有差异</font></b>,开展同类医疗器械上市后使用问题分析,若无新增使用风险采用等效医疗器械在境内注册上市所用的用户界面确认资料作为支持证据,并提交申报医疗器械针对差异的用户界面确认资料;若有新增使用风险,除以上工作外还需提交申报医疗器械针对新增使用风险的用户界面确认资料。
等效医疗器械对比评价需形成报告,可参考同品种比对临床评价报告格式,包括评价目的、评价对象、等效器械选定、评价路径及支持证据、结论、评价人员简介等内容。其中,评价目的明确本次评价目标,评价对象提供申报产品基本信息和实物图片,等效器械选定基于上述判定要素的比对选定等效器械(可选多个),评价路径及支持证据基于申报医疗器械与等效医疗器械的差异性以及新增使用风险情况予以提交,结论概述本次评价结果以及综合剩余使用风险可否接受,评价人员需具备可用性工程相关知识和工作经验,建议优先考虑医疗器械可用性工程专业人士。
同类医疗器械上市后使用问题分析亦需形成报告,可参考临床文献检索报告格式,包括检索对象、检索内容、检索结果等内容。其中,检索对象提供申报产品基本信息,检索内容明确检索文献来源范围、检索时间范围、检索词、文献选择标准、检索日期、检索人员等信息,检索结果列明纳入分析的文献列表及全文并概述文献分析结论。需要说明的是,检索文献来源范围覆盖全球主要医疗器械不良事件、召回数据库和国内外文献库,需考虑不良事件和召回分级的国家差异;检索时间范围根据同类医疗器械上市时间和产品特性予以考虑,一般为近五年;个案情况可予以排除,但需提供详实的数据分析。<br>
等效医疗器械用户界面确认资料若因法规前期未作要求而无法提供,则可提供等效医疗器械上市后使用问题分析报告,并可与其同类医疗器械上市后使用问题分析报告合并。
若无等效医疗器械、等效医疗器械对比评价无法开展或证据不足,则需采用总结性可用性测试方式进行用户界面确认。