“비에 관한 예보의 정확도가 92% 이상이라하여 감사원이 적중률을 계산해 보니 46%더라”라며 많은 신문이 일제히 보도했다. 절반도 못 맞추면서 92% 맞춘다고 거짓말을 해온 것이냐며 분개하는 국민도 있었다. 그런 뜻은 아닐 것이라는 소수도 있었다. 결론부터 밝히면 소수만 맞았고 그 외는 명칭이나 개념이 빗나갔다.
비 예보 적중률이란 비를 예보한 전체 사례에 대한 적중한 사례의 비율을 말한다. 비가 온다고 예보했는데 비가 왔으면 적중한 것이고, 비가 안 온다고 예보했는데 안 왔다면 그것도 엄연히 적중한 것이다. 그러니 적중률(HR, Hiting Rate)은 (A+D)/(A+B+C+D)이다. 여기서 A는 비가 온다고 예보했는데 실제로 비가 온 날, 즉 (예보=yes, 관측=yes)인 날이다. B는 (no, yes)이고, C는 (yes, no)이며 D는 (no, no)이니 수학적으로 틀림이 없다. 여기에는 한 가지 함정이 있다. 대한민국에서는 일 년 내내 비가 안 온다고만 예보해도 85% 이상 맞게 된다. 정작 중요한 것은 나머지 15%이니, 여기에 맞는 평가를 하라는 지적이다. 유독 한국에서만 외면되어 온 이 과학적 사실을 감사원이 밝혔으니 대단한 공로이다. 그러나 전문가의 자문을 받았더라면 더 좋았을 것이라는 아쉬움은 있다.
HR의 함정을 해결하기 위해 국제사회에서는 위의 ABCD 네 변수를 다시 조합하여 POD(탐지율), FAR(부적중률), CSI(성공지수) 등을 계산한다. POD는 비온 날 전부에 대한, 비가 온다고 예보되고 비 온 날의 비(A/(A+B))이다. FAR은 비가 온다고 예보된 날에 대한, 비를 예보되고 안 온 날의 비(C/(A+C))이다. CSI는 비 온 날 전부와, 비가 온다고 예보되고도 안 온 날의 합에 대한, 비가 예보되고 온 날의 비(A/(A+B+C))이다. 예보가 모두 적중되면 POD=CSI=1이 되고 FAR은 0이 된다. 이들을 합해 숙련율(Skill)이라 한다.
이 외에 숙련도 등이 있고, 비가 온다고 예보한 후 날씨가 흐리기만 해도 일정 점수를 주는 채점법도 있는데 이들 셋은 적중률이나 숙련율이라 하지 않고 적중비 또는 적중도(Hitting ratio)라 한다. Rate(율)란 분자가 분모 일부분일 것을 조건으로 하기 때문이다. 따라서 이상 7개의 지수가 이미 사용 중이라는 사실을 모른 채, CSI만 채택한 것도, 명칭을 적중률이라 번역한 것도 오류이다. 그리고 CSI가 0.46이면 예보가 46%만 적중한 것이 아님도 분명하다. 분모에 C가 들어갔기 때문이다.
사용한 수치들(A=3228, B=1808, C=1965, D=약 4만)로 다시 계산해 보면, POD=0.62, FAR=0.38, CSI=0.46이다. 즉 비가 온다고 예보되고 비가 온 경우는 전체 비온 날의 62%이다. 비가 온다고 예보했는데 안 온 경우는 38%이다. 그 외에도 비가 안 온다고 예보했는데 비가 온 경우는 (1965/4만1965)이니 약 5%가 된다. 비가 안 온다고 예보하고 안 온 날은 약 96%이다. 성공지수는 이것들을 요약한 지수다. 이렇게 나누어 생각해야 하는데 긴 설명은 생략하고 한마디로 말하라 하니 적중률이 92%라고 해 버린다. 너무 기를 죽여 놓았다.
정확한 평가는 발전의 동력이 되니 용어 정리부터 다시 해 본다. 적중률이 틀린 말이 아니나 성공지수 등으로 발전되는 국민적 합의가 필요하다. 정확도란 말은 의미가 다르다. ‘곳에 따라 한때’ ‘예상 강수량 0 ~100㎜’처럼 애매한 예보를 얼마나 안 하는지, 발표시간을 슬쩍 속이지는 않았는지, 등등을 평가하는 것이 정확도이지 예보적중을 따지는 개념이 아니다. 그러니 적중률을 정확도라고 발표한 기상청도 옳지 않았다. 둘째로 선행시간이다. 몇 시간 전에 발표한 예보의 적중여부를 따진 것인지를 분명히 하지 않으면 그 평가는 의미가 없다. 셋째는 소나기 예보다. 곳에 따라 한때 소나기가 오겠다고 예보된 날에 전국에서 2, 3곳에 비가 왔다면 틀린 예보인가? 맞은 예보인가?
이상 세 문제가 선결되어야 예보평가가 발전한다. 과학적이고 합리적인 평가기준은 예보기술의 발달의 초석이다. 그런데 예보 평가 중 가장 간단한 강수유무예보의 평가가 이렇게 어렵다. 다행히 정부가 기상청 외부에서 예보를 평가하는 기구를 따로 만든다니 기대된다.
부경대 명예교수
)
