소수점이 많으면 더 정확할까, 표시 분해능 읽는 순서

읽는 데 약 5분

음주측정기 화면, 측정 관리 프로그램, 내려받은 파일에서 같은 결과가 서로 다른 자릿수로 보일 수 있다. 예를 들어 화면에는 0.020으로, 보고서에는 0.02로 표시될 수 있다. 안전관리자나 품질·기술 담당자는 이 차이를 보고 데이터가 바뀌었는지, 장비 성능이 다른지 판단해야 하지만, 숫자가 길다는 사실만으로는 어느 쪽도 결론낼 수 없다.

표시 분해능은 화면이나 파일이 구별해 보여 줄 수 있는 변화의 최소 간격이다. 국제측정학용어(VIM)도 분해능을 측정량의 변화가 대응하는 표시에서 감지할 수 있는 변화를 일으키는 최소 변화로 설명한다. 이는 표시의 세밀함에 관한 개념이며, 측정값이 기준값에 얼마나 가까운지 또는 같은 조건에서 반복한 값이 얼마나 일관되는지와는 구분해야 한다. 표시 자릿수, 조건이 붙은 측정 성능, 저장된 데이터 형식을 이 순서로 나누어 읽는 것이 출발점이다.

먼저 단위와 표시 간격을 읽는다

소수점 셋째 자리까지 표시되는 화면은 그 자리 단위의 변화를 표현할 수 있다는 뜻이다. 0.020과 0.021을 서로 다르게 보여 준다는 사실은 확인할 수 있다. 하지만 두 숫자의 차이가 측정 대상의 실제 차이를 그대로 반영한다고 단정할 수는 없다. 센서의 반응, 측정 조건, 신호를 수치로 바꾸는 처리 과정은 화면이 몇 자리까지 숫자를 보여 주는가와 별개의 항목이기 때문이다.

따라서 화면 사양에서는 결과의 단위, 소수점 자릿수, 한 단계씩 변할 때의 표시 간격을 확인한다. 비교 대상의 단위가 같지 않다면 자릿수부터 비교할 수 없다. 단위가 다르면 숫자의 크기와 끝자리 위치가 달라질 수 있으므로, 먼저 같은 단위로 표시되었는지를 정리해야 한다.

정확도와 반복 결과는 화면 숫자와 다른 질문이다

표시 분해능 다음에는 측정 성능 자료를 본다. 이때 필요한 것은 정확도 또는 허용 범위에 관한 설명과 그 설명이 적용되는 조건이다. 농도나 온도처럼 조건이 함께 제시되지 않은 수치는 다른 장비 또는 다른 시험 환경의 수치와 바로 견주기 어렵다.

반복 측정에서 값들이 서로 비슷하게 나오는지도 별도로 해석한다. 반복 결과가 모여 있다는 사실만으로 기준값에 가깝다고 말할 수 없고, 한 번의 결과가 기준값에 가깝다는 사실만으로 반복 결과의 일관성을 알 수 없다. 보고서에는 ‘소수점 자릿수’, ‘조건이 적힌 성능 설명’, ‘반복 측정 결과’를 같은 근거처럼 묶지 않는 편이 낫다.

구분할 대상 확인할 내용 알 수 있는 범위
장비 화면 단위, 소수점 자릿수, 표시 간격 사용자가 읽는 숫자의 세밀함
측정 성능 자료 적용 조건과 허용 범위 설명 제시된 조건에서의 성능 해석
저장·내보내기 값 저장 단위, 자릿수, 반올림 여부 화면값과 파일값이 다른 이유
보고서 숫자 원본값 사용 여부와 표시 규칙 전달 과정에서 값이 가공된 위치

끝자리의 0은 새 측정 정보를 만들지 않는다

저장된 값에 끝자리 0을 붙여 0.02를 0.020으로 보이게 할 수 있다. 이 변경은 읽기 형식을 통일하는 데는 도움이 되지만, 새로 측정한 정보를 더하지는 않는다. 화면의 소수점 자릿수를 늘린 디자인 변경을 측정 성능 향상으로 표현할 수 없는 이유도 여기에 있다.

반대 방향도 가능하다. 화면은 빠른 판독을 위해 짧게 보이고, 내려받은 파일에는 더 긴 형식의 값이 보존될 수 있다. 다만 어느 값이 원본이고 어떤 반올림 규칙이 적용되었는지는 제품 문서나 연동 설정으로 확인해야 한다. 확인 자료 없이 파일 자릿수만 보고 센서의 분해능이나 측정 성능을 추정해서는 안 된다.

화면과 파일의 차이는 변환 경로에서 찾는다

화면값과 파일값이 다르면 바로 측정 오차라고 부르기보다, 숫자가 이동한 경로를 따라가야 한다. 장비가 만든 값, 프로그램이 읽어 들인 값, 화면이나 보고서가 보여 준 값을 같은 측정 건 기준으로 대조한다. 이때 각 단계의 단위와 자릿수 처리 방식을 함께 적어야 값의 변화가 표시 형식 때문인지, 단위 변환 때문인지 구분할 수 있다.

특히 끝자리가 사라진 경우와 단위가 달라진 경우는 성격이 다르다. 전자는 표시할 자릿수를 줄이거나 반올림한 문제일 수 있다. 후자는 숫자의 의미를 바꾸는 변환이므로, 적용한 단위와 변환 순서를 확인하지 않으면 화면 숫자만으로 일치 여부를 판단할 수 없다.

가정한 사례로 보는 확인 순서

가정한 사례를 보자. 한 사업장의 관리 화면은 결과를 소수점 셋째 자리까지 보여 주지만, 내려받은 파일은 같은 결과를 소수점 둘째 자리까지만 담고 있다. 담당자는 파일에서 세 번째 자리가 없어졌다는 이유로 측정값이 잘못 저장되었다고 의심한다.

관찰 단계에서는 같은 측정 건의 화면값과 파일값을 모으고, 각각의 단위와 표기 형식을 적는다. 해석 단계에서는 파일이 화면값을 임의로 바꾼 것인지, 파일 형식이 일정 자릿수에서 반올림하도록 되어 있는지 구분한다. 제품 문서나 연동 설정에 저장 형식과 반올림 규칙이 있고, 그 규칙으로 두 값의 관계가 설명된다면 소수점 감소만으로 측정 성능이 낮아졌다고 판단할 근거는 없다.

가능한 조치로는 장비가 내보낸 원본값, 프로그램이 읽은 값, 최종 보고서값을 한 측정 건에 연결해 보관하는 방법이 있다. 완료 기준은 세 값의 단위와 변환 순서를 설명할 수 있고, 보고서의 숫자가 어느 단계에서 나온 값인지 다시 확인할 수 있는 상태다. 이 방식은 보이지 않는 끝자리가 실제 측정 정보인지 추측하는 대신, 숫자가 실제로 달라진 지점을 확인하게 한다.

비교 결론은 표시 사양 뒤에 쓴다

두 장비 또는 두 관리 화면을 비교할 때 ‘소수점이 더 많다’는 문장은 표시 형식의 차이를 설명할 뿐 성능 결론이 될 수 없다. 먼저 같은 단위를 쓰는지 확인하고, 각 화면의 표시 간격을 기록한다. 그 다음 각 장비 문서에 적힌 조건과 성능 설명을 같은 기준으로 대조해야 비교 가능한 범위가 남는다.

관리 프로그램이나 보고서 양식을 바꿀 때도 표시 정책과 측정 성능의 변경을 분리해 기록하는 편이 좋다. 자릿수를 늘리거나 끝자리 0을 유지하는 변경은 표시 규칙의 변경으로 남긴다. 측정 성능이 달라졌다는 설명은 별도의 성능 근거가 있을 때만 붙인다. 소수점은 결과를 세밀하게 읽게 할 수 있지만, 그 자체가 정확도를 증명하지는 않는다.

참고 자료

#표시분해능
#소수점자리
#화면가공규칙
제품 도입을 고려 중이신가요?
함께 답을 찾아드리겠습니다.