1. 변경 분류와 재시험 범위 산정
사용성 변경의 재시험을 “얼마나 크게 바뀌었나”로 결정하면 대부분 실패합니다. UI 수정은 기능 요구사항을 그대로 두더라도 사용자의 인지–해석–행동 경로를 바꾸고, 그 결과로 위해 시나리오의 탐지/전달/해석 고리를 강화하거나 약화할 수 있기 때문입니다. 따라서 재시험 범위 산정은 변경의 외형이 아니라 안전 영향 경로를 기준으로 해야 합니다. 실무에서는 먼저 변경점을 ‘화면 단위’가 아니라 ‘결정 지점 단위’로 분해합니다. 환자/대상 선택, 모드 선택, 임계값 입력, 결과 승인, 알람 확인, 설정 변경처럼 사용자가 안전 관련 결론을 내리는 지점에 변화가 있었는지부터 확인합니다. 이 지점이 건드려지면, 변경은 사용성 개선이 아니라 안전 통제(가드레일)의 변경으로 취급하는 것이 합리적입니다.
다음으로 변경을 4개 축으로 분류하면 재시험 누락이 줄어듭니다. 첫째, 결정 지점(Decision Point) 변경 여부입니다. 버튼 위치나 화면 흐름이 바뀌어 사용자가 더 빨리 진행할 수 있게 되었다면, 확인 단계가 사실상 약화되었을 가능성을 먼저 의심해야 합니다. 둘째, 가드레일(차단/강제/유도) 변경 여부입니다. 입력 범위 제한, 단계 강제, 이중 확인, 위험 모드 진입 장벽이 완화되었거나 우회 경로가 생겼다면, 기능 시험만으로는 부족하고 상태 전이까지 포함한 재시험이 필요합니다. 셋째, 신호(경고/상태 표시) 변경 여부입니다. 경고 문구, 아이콘, 색 대비, 배지 위치처럼 ‘눈에 띄는 정도’가 바뀌면 탐지 실패 가능성이 달라집니다. 넷째, 기본값/자동화 변경 여부입니다. 최근 항목 자동 선택, 세션 유지, 자동 전송 같은 자동화는 사용자의 확인을 대체할 수 있으므로, 안전 개념 자체를 흔드는 변경으로 취급해야 합니다.
범위 산정은 최종적으로 “영향 경로 길이”로 닫습니다. 변경된 UI 요소가 어떤 사용성/안전 관련 요구사항을 구현하는지 식별하고, 그 요구사항이 연결된 위해 시나리오와 위험통제를 추적합니다. 여기서 UI가 담당하는 고리가 인지(못 봄), 해석(오해), 행동(우회/건너뜀), 전달(알림 실패) 중 어디인지 표시하면, 무엇을 다시 시험해야 하는지가 자동으로 정리됩니다. 실무 팁은 간단합니다. ‘문구만 수정’이라도 안전 관련 행동 지침의 강도(금지/주의/권고), 조건의 범위, 예외의 명확성이 바뀌면 정보제공 통제가 변경된 것으로 보고 재시험 대상에 포함시키는 것입니다. 결국 재시험 범위는 “화면이 바뀌었다”가 아니라 “위해 경로를 끊던 고리가 바뀌었다”로 결정해야 일관성이 생깁니다.
2. 최소 회귀시험 세트 구성
재시험의 최소세트는 “많이 하는 것”이 아니라 “꼭 필요한 것을 빠짐없이 하는 것”이어야 합니다. 이를 위해서는 시험을 성격별로 3묶음으로 고정해두는 방식이 실무에서 가장 안정적입니다. 첫 번째 묶음은 형상/기능 회귀입니다. 화면 변경으로 인해 연결된 기능이 깨지지 않았는지, 입력 검증과 범위 제한이 그대로인지, 전환 로직이 기존과 동일한지 확인합니다. 이 단계는 비교적 자동화가 가능하지만, 자동화 결과만으로 안전성이 유지된다고 결론 내리면 위험합니다. 특히 ‘기능은 동일’해 보이는 변경이 사용자 행동을 바꿔 위해를 키우는 경우가 흔하기 때문입니다.
두 번째 묶음이 핵심인 위해 시나리오 기반 재시험입니다. 여기서는 테스트 케이스를 기능 목록이 아니라 위해 시나리오의 사건 흐름으로 구성합니다. 예를 들어 환자/대상 선택 UI가 바뀌었다면 정상 케이스보다 동명이인, 긴 리스트, 검색 정렬 변화, 바코드 실패 후 수동 입력 우회, 세션 전환(이전 환자 세션 유지) 같은 촉진 조건을 재현해야 합니다. 알람 표시가 바뀌었다면 “알람이 뜬다”가 아니라 (1) 위험 불일치에서 놓치지 않는지(미탐), (2) 정상 흐름에서 과도하게 울리지 않는지(오탐), (3) 오프라인/지연/재연결 등 운영 조건에서 전달이 유지되는지까지 확인해야 합니다. 확인 단계가 바뀌었다면 뒤로가기, 세션 만료, 다중 창, 재시도 같은 우회 조건에서 통제가 무력화되지 않는지 상태 전이를 중심으로 재시험해야 합니다. 이 묶음의 목표는 기능 적합성이 아니라 “위해 사건 고리를 끊는 통제가 여전히 작동한다”를 입증하는 것입니다.
세 번째 묶음은 제한적 사용성 확인(필요 최소 관찰)입니다. 모든 변경에 대규모 사용성 시험이 필요한 것은 아니지만, 사용자 판단과 행동이 바뀔 가능성이 있는 변경이라면 관찰 기반 근거가 없는 상태에서 ‘안전 무영향’을 주장하기 어렵습니다. 최소세트로는 대표 사용자(숙련도 2~3수준), 대표 과업(변경 영향이 큰 3~5개), 대표 환경(시간 압박/방해 요소 1~2개)을 고정해 단시간 세션으로 오류 발생, 오류 복구, 우회 행동을 확인하는 방식이 효율적입니다. 여기서 중요한 지표는 “성공률”보다 오사용 패턴입니다. 경고를 보지 못하는지, 용어를 오해하는지, 확인 단계를 습관적으로 넘기는지, 바코드 대신 수동 입력으로 돌아가는지 같은 행동이 보이면, 그 자체가 재시험 범위 확대 또는 통제 보강의 근거가 됩니다. 즉 최소세트는 자동화 중심의 회귀 + 위해 시나리오 재현 + 짧은 관찰 근거의 조합으로 설계해야 실무 비용과 심사 설득력을 동시에 확보할 수 있습니다.
3. 수용기준·증빙 패키지로 릴리스 게이트 완성
재시험을 “수행했다”로 끝내면 변경관리는 완성되지 않습니다. 릴리스 판단은 시험 결과가 아니라, 시험이 어떤 위험통제를 보장하는지까지 포함한 증빙 패키지로 이뤄져야 합니다. 이를 위해서는 수용기준을 기능 중심이 아니라 안전 사건 흐름 중심으로 쓰는 규칙이 필요합니다. 예를 들어 맥락 경고라면 “경고가 표시된다”가 아니라 “환자 변경 + 활성 세션 존재 조건에서 N초 이내 표시되고, 사용자가 선택 가능한 안전 행동(재선택/세션 종료/재스캔)이 제공되며, 우회 진행이 불가능하거나 추가 확인을 요구한다”처럼 사건 고리를 끊는 기준으로 작성해야 합니다. 입력 범위 제한이라면 정상 범위만 확인하지 말고 경계값, 단위 혼동(예: mg와 g), 복사/붙여넣기, 자동 채움 등 실제 오사용 경로에서 차단이 유지되는지를 수용기준에 포함해야 합니다.
증빙 패키지는 최소 구성요소를 표준화하면 흔들리지 않습니다. (1) 변경 요약: 전/후 화면, 변경 의도, 영향받는 사용자 과업. (2) 영향평가: 결정 지점/가드레일/신호/기본값 체크 결과와 재시험 레벨 판정. (3) RMF 연결: 어떤 위해 시나리오와 위험통제가 영향받았는지, 업데이트가 필요한지 여부. (4) 검증 요약: 형상/기능 회귀, 위해 시나리오 기반 재시험, 제한적 사용성 확인의 케이스 ID, 수용기준, 결과. (5) 잔여위험 커뮤니케이션: UI 문구/도움말/IFU/교육 자료에 반영이 필요한지. 이 다섯 가지가 갖춰지면 릴리스 게이트에서 “이번 UI 변경이 안전성 근거를 유지한다”를 문서로 설명할 수 있습니다.
마지막으로 재시험 최소세트는 변경관리 운영과 결합되어야 지속됩니다. 즉 ‘UI 변경 템플릿’에 위 체크리스트를 강제 입력 항목으로 넣고, 특정 변경(예: 확인 단계, 환자/대상 식별, 알람 표시, 기본값/자동화)은 자동으로 위해 시나리오 기반 재시험을 포함하도록 규칙화하는 것이 좋습니다. 또한 PMS/현장 로그에서 경고 무시, 수동 입력 우회, 환자 전환 직후 측정 시작 같은 패턴이 관측되면, 해당 UI 변경과 무관하게 재평가를 트리거하는 운영 규칙을 두면 안전성이 ‘시험 한 번’이 아니라 ‘운영 루프’로 유지됩니다. 결론적으로 “무엇을 꼭 다시 시험해야 하는가”는 기능 목록이 아니라 위해 사건 고리를 기준으로 정리되어야 하며, 그 결과는 수용기준과 증빙 패키지로 릴리스 의사결정을 지탱해야 합니다.