ABS 기술 점검 : ABS 정확도 검증 방식에는 문제가 없을까?

< KBO가 보도 자료를 통해 제시한 폼보드 테스트 사진. 사진 출처 = KBO 홈페이지 >

# 서론 : KBO의 폼보드 테스트

이번 시즌 한국 프로야구의 가장 거대한 변화라 한다면 ABS, 자동 투구 판정 시스템일 것이다. 올해 KBO는 PTS 시스템 기반 ABS 시스템을 전면적으로 도입했다. KBO는 ABS를 도입하며 PTS 기반의 추적 시스템이 ‘99% 이상의 추적 성공률’과 ‘높은 추적 정확성’을 보였다고 자신했다. 그러나 일부 선수들에게서 현 시스템의 정확도와 도입 과정에 대한 비판이 제기된 바 있다.

KBO는 선수들의 비판에 대해 실측 데이터에는 문제가 없다는 입장을 밝히고 메모리폼 보드를 활용한 실험 결과를 공개했다. 4월 8일부터 30일까지 진행된 테스트에서, 9개 구장 평균 오차는 4.5mm 정도로 크지 않았다는 것이었다. 그런데, 정말 이 실험에는 문제가 없었을까?

< KBO가 보도 자료를 통해 제시한 폼보드 테스트 실험 결과 >

 

# 역사는 반복된다 : MLB의 메모리폼 보드 테스트

결론부터 말하자면, 해당 실험은 잘 된 테스트라고 말하기 힘들다. 이는 KBO가 사용한 방법, 일명 ‘폼보드 테스트’가 더 이상 연구 현장에서 유효하게 사용되지 않는 방법이기 때문이다. 해당 테스트는 초고속 카메라를 위한 하드웨어 기술이 발달하지 않았던 2000년대 중반 당시, 최종적인 도달 지점을 추적하는 능력을 지표로 사용하기 위해 사용하던 방법이다.

실험 방법은 단순하다. 메모리폼 보드 여러 장을 겹겹이 붙여 충격으로 부서지지 않게 한 다음, 앞면에 찌그러지거나 부서질 수 있는 판(보통은 스티로폼이나 우드록으로 된 판을 활용한다)을 붙인다. 이후 단단히 고정한 보드에 투사체를 발사한다. 충격으로 보드가 찌그러지면, 해당 위치를 펜이나 마커로 직접 그리고 적절한 위치를 잡아 최종적인 도달 지점을 표시한다. ABS를 위한 실험에서는 투사체가 공이기 때문에 폼보드가 원형에 가깝게 찌그러질 것이고, 그 원형의 중앙을 도달 지점으로 본다는 식이다. 이후 메모리폼 보드 테스트의 도달 지점과 PTS의 추적 간의 차이를 평균으로 내어 평가 지표로 사용한다.

한 개의 공일 때는 문제가 없다. 그러나 여러 개의 공이 발사되면 이야기는 달라진다. 이전의 발사로 인해 찌그러진 보드가 다음 공의 도달 지점에 왜곡을 줄 수 있기 때문이다. 그렇기에 해당 실험은 정밀함을 요구하는 연구 현장에서 더 이상 사용되기 힘들어졌다. 또한 초고속 카메라 기술을 통해 최종적인 도달 지점뿐만 아니라 궤도 전체를 평가 지표로 사용할 수 있게 됨에 따라, 폼보드 테스트는 현재 거의 사용하지 않게 됐다.

< (좌) 폼보드 테스트의 이론적 생각과 (우) 실제로 발생할 수 있는 상황. ¹ >

MLB는 KBO가 사용하는 PTS의 개량 전 시스템인 PITCHf/x를 평가할 당시 폼보드 테스트를 진행했다. 당시는 2006년이었기 때문에 이런 방법을 사용할 수밖에 없었고, 테스트에서는 0.5인치(약 12.7mm) 정도의 오차만 발생한 것으로 발표되었다. 그렇다면, 폼보드 테스트를 바탕으로 사용된 PITCHf/x는 정말 테스트와 비슷한 결과를 보여주었을까?

 

# MLB 사례분석 : 투수에 따라, 구장에 따라 달라지는 스트라이크 존

MLB의 경우 도입 후 2년여가 지난 2008년 PITCHf/x 서밋에서 문제가 처음 발견되었다. 당시 마이애미 말린스의 홈구장이었던 돌핀 스타디움에서 측정된 데이터를 확인한 결과, 스트라이크 존이 3루 쪽으로 최대 4~5인치(약 102~127mm) 정도 편향되어 있음이 발견된 것이다. 이를 해결하기 위해 선수의 위치와 같이 변화가 심한 데이터 대신 홈 플레이트로부터 마운드의 거리 등을 기준으로 한 새로운 카메라 파라미터 조정 방법이 도입되는 등 알고리즘의 추가적인 개선이 이루어졌다.

그러나 개선 이후에도 오차는 여전히 발생했으며, 구장과 투수에 따라 오차가 달라진다는 것 역시 확인되었다. 구장을 기준으로 확인해 보면, 당시 세인트루이스 카디널스의 홈구장이었던 부시 스타디움 III는 4월부터 8월 17일까지와 그 이후의 평균 오차가 스트라이크존 중앙을 기준으로 방향까지 전혀 달랐고, 반대로 밀워키 브루어스의 홈구장이었던 아메리카 패밀리 필드는 2007년부터 2010년까지 거의 변화 없는 평균 오차를 보였다.

선수별로 확인해 보면, 로이 할러데이와 조니 벤터스의 구종 측정에서 발생한 오차는 정규 분포적으로 일반적인 오차와 비슷한 양상을 보였으나, 데릭 로우의 구종 측정에서 발생한 오차는 정규 분포와 동떨어진 오차를 보였다고 알려져 있다. 쉽게 말해 로이 할러데이나 조니 벤터스의 구종 측정은 큰 문제 없이 진행됐지만, 데릭 로우의 구종 측정은 정확히 트래킹 되지 않아 개선된 알고리즘의 효용성에 대한 의문을 남겼다.

오차의 수치를 기준으로 살펴보자. 알고리즘 개선을 거친 후의 PITCHf/x는 67%의 공에 대해서 1인치(약 25.4mm) 이하의 오차를, 98% 정도의 공에 대해 2인치(약 50.8mm) 정도의 오차를 보였다고 알려져 있다. 그러나 당초 폼보드 테스트에서 제시된 0.5인치(약 12.7mm)를 기준으로 하면, 28% 정도의 공만 해당 기준을 만족하였음을 확인할 수 있다. 다시 말해, 캘리브레이션 방법을 도입한 이후에도 당초 폼보드 테스트에서 제시된 0.5인치 이하의 예측 오차를 기록한 공은 단 28%에 불과했다는 의미이다. 또한 최대 오차를 기준으로 보면 평균 2.7인치(약 68.6mm) 정도의 오차가 발생하였는데, 이는 공 한 개(약 72.8mm) 정도의 수치다.

 

# ABS 검증 시험 제안 : 워싱턴 주립대학교 방식의 벤치마킹

문제점을 파악한 MLB는 이후 추적 시스템을 스탯캐스트로 바꾸면서 검증 실험의 방식도 수정했다. 시스템을 만든 회사와 관계없는 워싱턴 주립대학교의 스포츠 과학 연구실(Washington State University Sports Science Lab)과 별도 계약을 진행해 검증 실험을 실행하고 있다.

실험의 방식 역시 바꾸었다. 초고속 카메라를 적절한 캘리브레이션 과정을 통해 배치한 다음, 95마일(약 152km/h)의 공을 100회 발사해 스트라이크 존을 통과하게 한다. 이후 초고속 카메라를 통해 측정한 프레임을 바탕으로 도달 위치를 정확히 측정하고, 그 위치를 스탯캐스트 시스템의 측정 결과와 비교하는 방식으로 오차를 검증한다.

이를 벤치마킹하여 조금 더 빠른 측정이 가능한 다른 센서들을 도입하는 것도 좋은 방법이 될 수 있다. 적외선을 활용해 위치를 측정하는 IR 센서나 인간의 시각을 모델링하여 비동기적으로 정보를 수집하는 dynamic vision sensor 등 다양한 센서들을 활용할 수 있다. 이는 더 정확한 측정을 도울 뿐만 아니라 비용적으로도 더 도움이 될 수 있을 것이다.

< WSU Sports Science Lab의 실험 세팅. 캘리브레이션을 진행하는 중이다 >

 

< 검증 시험 제안. 보조용 센서를 제외한 것이 WSU Sports Science Lab의 실제 실험 세팅이다 >

 

# 결론 : 다시 한번, 검증의 필요성

KBO는 시즌 초 여러 매체와의 접촉에서 ABS는 문제가 없고, 선수들이 ABS 존을 다르게 느끼는 것은 그저 착시일 뿐이라는 발언을 여러 차례 반복했다. 그러나 유효하지 않은 검증 시험을 통해 나온 결과가 무조건 맞는다는 주장이야말로, 오히려 ABS가 가진 진짜 문제점을 가리는 착시 효과일 수 있다. 중립적인 검증 기관을 통해 더 유효한 검증 시험을 진행하고, 기술 및 스포츠 관계자들과의 지속적인 소통을 통해 시스템을 보완하는 절차가 필요한 시점이다. 

 

참고 = https://www.baseballprospectus.com/news/article/13109/spinning-yarn-how-accurate-is-pitchtrax/, https://technology.mlblogs.com/mlb-ground-truth-testing-ec87c73450b9

야구공작소 표상훈 칼럼니스트

에디터 = 야구공작소 익명, 당주원

ⓒ야구공작소. 출처 표기 없는 무단 전재 및 재배포를 금합니다. 상업적 사용은 별도 문의 바랍니다.

1. 만약 충격으로 인해 뚫린 위치가 겹치게 될 경우, 실제로는 도달 지점이 다름에도 둘의 도달 지점이 같게 표시되는 경우가 발생할 수 있다.