음주측정기처럼 같은 조건에서 표시값을 비교해야 하는 장비 시험에서는, 두 기기의 수치가 달랐다는 사실만으로 기기 차이라고 결론낼 수 없다. 측정값에는 기기 외에도 시험을 진행한 시각, 시료를 준비한 사람, 실내 온도, 기기 준비 상태처럼 시험 중 함께 변한 조건이 영향을 줄 수 있다. 특히 한 기기를 오전에 모두 측정하고 다른 기기를 오후에 모두 측정하면, 기기와 시간대의 영향이 한 덩어리로 섞인다.
여기서 비교 대상은 A와 B 같은 기기 또는 센서 방식이고, 시행 순서는 각각의 측정을 어느 차례에 배치했는지를 뜻한다. 블록은 담당자·시각·환경 등 비교 중 가능한 한 같게 유지하려는 시험 묶음이다. 비교시험의 핵심은 기기를 바꾼 효과와 그 밖의 변화가 섞이지 않게 설계하고, 계획했던 순서와 실제 수행된 순서를 모두 남겨 나중에 결과를 해석할 수 있게 하는 데 있다.
기기 차이와 시간 흐름을 같은 변수로 만들지 않기
가령 A를 오전에 연속 측정하고 B를 오후에 연속 측정한 경우를 생각해 볼 수 있다. 오후 수치가 더 높거나 낮더라도, 그것이 B의 특성인지 시간 경과에 따른 시료 상태 변화, 실내 조건 변화, 시험 담당자의 준비 방식 차이인지는 자료만으로 나누기 어렵다. A와 B의 배치가 시간대와 완전히 겹쳐 있기 때문이다.
측정 순서는 단순한 진행 편의가 아니라 결과 해석의 조건이다. 비교 대상별 평균값만 남기면 어느 시점에 어떤 기기를 시험했는지 보이지 않아, 값이 시간에 따라 이동했는지 되짚을 수 없다. 따라서 기기명, 블록 번호, 계획된 순서, 실제 순서, 중단 또는 재시행 여부를 측정값과 연결해 보관하는 구성이 필요하다.
한 블록 안에 모든 비교 대상을 넣기
결과에 영향을 줄 수 있지만 이번 시험의 주제가 아닌 요인을 교란 요인이라고 한다. 예를 들어 담당자, 시험 시각, 실내 온도는 기기 비교 자체보다 측정 결과에 영향을 줄 수 있는 조건이다. 이런 조건을 가능한 한 비슷하게 묶은 구간을 블록으로 잡고, 각 블록 안에 A와 B를 모두 포함하면 기기 간 차이를 같은 조건권에서 볼 수 있다.
블록은 반드시 시간 단위일 필요가 없다. 한 담당자가 같은 준비 절차와 같은 환경에서 수행할 수 있는 측정 묶음, 또는 동일한 시료 준비 조건을 유지할 수 있는 묶음이 될 수 있다. 중요한 것은 블록 안에서 비교 대상이 빠지지 않고, 블록 사이에 달라질 가능성이 있는 조건을 구분해 기록하는 것이다.
| 살필 항목 | 기기 차이와 섞이기 쉬운 배치 | 비교가 가능해지는 배치 |
|---|---|---|
| 기기 배치 | 첫 측정 묶음은 A만, 다음 묶음은 B만 수행 | 각 측정 묶음에 A와 B를 모두 포함 |
| 담당자 | A는 담당자 1명, B는 다른 담당자만 수행 | 가능하면 같은 묶음에서 두 기기를 함께 수행 |
| 환경 조건 | 오전 결과와 오후 결과를 기기별로 분리 | 시각과 환경이 비슷한 묶음 안에서 비교 |
| 시험 변경 | 문제 발생 뒤 순서를 바꾸고 변경 사실을 생략 | 원래 순서, 변경 이유, 실제 순서를 함께 기록 |
예를 들어 이는 가정한 사례다. 한 시험 담당자가 오전과 오후에 각각 A와 B를 비교해야 하는 상황에서, 오전에는 A 다음 B, 오후에는 B 다음 A로 배치할 수 있다. 관찰 단계에서는 각 측정값과 함께 오전·오후 묶음, 기기 순서, 중단 여부를 적는다. 해석 단계에서는 A와 B의 차이가 두 묶음에서 비슷하게 나타나는지, 또는 먼저 측정된 기기와 나중에 측정된 기기 사이에 공통 변화가 있는지를 본다.
가능한 조치는 한 묶음에 두 기기를 넣고, 묶음마다 기기 순서를 미리 정하는 것이다. 완료 기준은 A와 B가 각 묶음에서 실제로 측정됐고, 계획 순서와 실제 순서가 값마다 추적되는 상태다. 이 사례만으로 특정 기기의 성능 차이나 통계적 의미가 확정되는 것은 아니지만, 적어도 기기와 순서가 완전히 겹치는 문제는 줄일 수 있다.
순서는 시험 전에 정하고 임의 배정은 구분하기
무작위화는 시험 단위의 수행 순서를 임의로 정하는 방법이다. A와 B를 한 번씩 번갈아 측정했다고 해서 자동으로 무작위화가 된 것은 아니다. 예컨대 언제나 A 다음 B로 반복했다면 기기와 측정 위치가 계속 연결되므로, 앞선 측정과 뒤선 측정의 차이가 기기 차이에 섞일 수 있다.
시험 전에 허용된 절차 범위에서 순서를 정하고 그 계획을 보관하는 편이 좋다. 비교 대상이 둘 이상이거나 반복 측정이 있다면, 각 블록에서 어떤 기기가 몇 번째인지가 한쪽에 계속 몰리지 않도록 배치를 검토할 수 있다. 다만 순서를 임의로 정하는 방식은 반복 수 부족, 시료의 부적합, 환경 변화 같은 다른 문제를 해결해 주지 않는다.
준비 절차의 통제와 순서 변경을 함께 기록하기
순서를 섞는다고 해서 기기 준비, 기준 시료 취급, 측정 간 조건처럼 승인된 시험 절차를 바꿔서는 안 된다. 순서 변경이 필요한 제약이 있다면 그 제약을 숨긴 채 완전한 임의 배정 시험처럼 해석하지 않는 것이 중요하다. 비교 가능한 조건을 유지하는 일이 순서 배치보다 먼저일 수 있다.
진행 중 기기 이상, 시료 문제, 일정 중단으로 순서가 달라졌다면 최초 계획을 고쳐 써서 없애지 않는다. 원래 어느 기기를 측정하려 했는지, 어디에서 멈췄는지, 왜 다시 시작했는지, 실제로 어떤 순서가 되었는지를 남긴다. 특정 기기에 불리한 값만 사후에 제외하면, 사전에 공정하게 배치했더라도 최종 비교는 기울 수 있다.
평균값 앞에 시행 이력을 남기기
최종 결과표에는 기기별 요약값뿐 아니라 각 측정값이 어느 블록에서 몇 번째로 수행됐는지 확인할 수 있는 정보가 있어야 한다. 그래야 분석 단계에서 시간에 따른 변화, 담당자 변경, 측정 순서와 값의 관계를 검토할 수 있다. 기기별 평균 한 줄만 전달하면 이런 점검은 사실상 불가능해진다.
비교시험의 목적이 기기 간 차이를 보는 것이라면, 기기 외의 조건이 한쪽 기기에만 붙지 않게 만드는 것이 출발점이다. 각 블록에 비교 대상을 함께 넣고, 사전 배정 순서와 실제 시행 순서를 구분해 남기면, 관찰된 차이가 기기 때문인지 시험 진행 중 달라진 조건 때문인지 검토할 기반이 생긴다. 이 설계 기록은 성능의 우열을 보증하는 문서가 아니라, 결과를 과장하지 않고 분석할 수 있게 하는 시험 자료다.
