컴퓨터 비전의 시대에서 야구를 외치다

< 사진 출처 = BaseballCV 데이터셋 >

#서론 : 컴퓨터 비전 관점에서 분석하는 야구

최근 들어 베이스볼 서번트에 흥미로운 데이터들이 등장하고 있다. 가령 야구공작소에서도 다룬 바 있는 팔 각도 데이터나 3D 구종 트래킹 데이터 등이 공개된 바 있었다.

< 클레이튼 커쇼의 23년 6월 20일 LAA전 3D 구종 트래킹 데이터 >

이런 트래킹 데이터 분석은 굉장히 흥미로운 일이지만, 한 가지 의문이 들 수 있다.

“그렇다면 그 데이터는 어떻게 수집되는가?”

야구 트래킹 데이터 수집에 사용되는 주요 기술에는 웨어러블 디바이스, 트랙맨 등에서 활용되는 레이더, 센서를 내장한 야구 장비 등이 있다. 여러 기술 중 이 칼럼에서는 컴퓨터 비전에 대해 소개하려고 한다. 컴퓨터 비전이란 컴퓨터가 인간의 시각 시스템을 모방해 시각적 데이터를 수집하고 분석해 결정을 내리는 것을 말한다. 다양한 방식으로 수집된 영상 데이터는 영상 처리 기술로 가공되어 우리가 볼 수 있는 데이터로 만들어지게 되는 것이다.

이 글을 보는 독자 중에는 자신만의 흥미로운 데이터를 만들고자 하는 사람들이 있을지 모른다. 그러나 통계 데이터와 달리 영상 데이터는 찾기도 쉽지 않고, 무엇보다 찾는다고 하더라도 법적인 문제가 있을 수 있다. 그렇다면 관련 연구를 수행하는 연구자들은 어떤 방식으로 이러한 문제를 극복하는 것일까?

먼저 연구 목적 데이터는 찾기가 쉽지 않아 어느 정도 한계가 있다. 실제로 상당수 데이터셋들은 투수, 타자, 포수만을 트래킹하는 경우가 많다. 한 경기에서 가장 많이 보이는 상황이기 때문이다. 법적인 문제의 경우에는 MLB가 공정 사용(fair use) 폭넓게 인정하고 있어 사용이 가능하다. 공정 사용의 원칙이 더 폭넓게 인정되는 미국의 상황에 따라 MLB 중계 영상이나 통계 등의 데이터는 학술적/비영리적 목적으로 사용되었다면 아무런 문제 없이 활용할 수 있다. 이를 가공하여 사용하는 것 역시 학술적 목적이라면 가능하다.

이 글에서는 MLB 영상을 활용해 진행된 연구 소개하고, 이와 비슷한 연구를 진행하고자 하는 독자들을 위한 데이터셋을 소개한다.

 

# 주요 연구들

CVSports는 세계에서 가장 권위 있는 컴퓨터 비전 학회인 CVPR에서 진행되는 워크숍 중 하나다. 지난해 10회차를 맞이한 이 워크숍에서는 다양한 스포츠에 대한 컴퓨터 비전 관점에서의 분석을 확인할 수 있다.

워털루 대학교 연구진은 지난해 CVSports에 참가해 투구 분석을 다룬 논문 ‘Pitchernet’을 발표했다. 연구진은 이 논문을 통해 영상만으로 투수의 신상과 익스텐션, 릴리즈 포인트, 구속을 동시에 알아낼 수 있는 기술을 개발했다. 연구자들은 격렬한 움직임으로 인해 생기는 영상 프레임 내부의 모호함을 극복하고자 했다. 이들은 적절한 인공지능 구조를 활용해 투수의 움직임을 트래킹했다. 이를 바탕으로 사전 학습된 움직임과 대조해 투수의 신상을 알아냈다. 동시에 트래킹된 투수의 움직임을 활용해 익스텐션, 릴리즈 포인트, 구속도 측정했다. MLB와 볼티모어 오리올스는 Mitacs 사와의 연계를 통해 연구에 필요한 데이터셋과 금전적 비용을 제공했다.

앞선 연구와 별개로, 베이스볼 서번트의 영상 데이터셋을 이용해 투수, 타자, 포수의 pose를 동시에 예측하는 연구 역시 존재한다. 켄터키 대학교의 딜런 드러미(Dylan Drummey)는 Baseball Prospectus에 자신의 분석법을 소개했다. 그는 직접적인 데이터 라벨링을 활용해 딥 러닝 모델을 훈련시킨다. 이로써 중계 화면 내 투수, 타자, 포수의 위치와 3D pose 추정이 가능해졌다. 그는 이를 활용해 BaseballCV라는 데이터셋을 만들어 중계 영상 내에서 투수, 타자, 포수의 위치와 포즈를 확인하고 글러브나 공의 위치를 확인할 수 있도록 했다.

< BaseballCV 데이터셋의 예시 >

 

# 주요 데이터셋들

이러한 연구를 통해 자신만의 통계나 자료를 만들고 싶어 하는 독자들을 위해 앞서 소개된 BaseballCV 데이터셋 외에도 사용할 수 있는 데이터셋을 소개한다.

CVSports에서 발표된 MLB-Youtube라는 데이터셋이다. 앞서 소개한 BaseballCV와 비교했을 때 이 데이터셋이 가지는 차별점은 상황에 대한 설명이 함께 포함되어 있다는 것이다. 총 50시간의 MLB 영상으로 되어 있는 이 데이터셋은 적절한 라벨링을 거친다면 더 세세한 상황 분석 데이터셋으로 활용이 가능할 것으로 보인다.

< MLB-Youtube 데이터셋 >

 

# 마치며 : 영상 데이터의 무한한 잠재력

영상 데이터를 활용한 새로운 데이터는 발전의 가능성이 충분하다. 실제로 수비와 관련된 영상은 수집의 어려움으로 인해 현재는 사용되지 않고 있으며, 트래킹의 정확성을 높이기 위한 조치 역시 필요하다. 그러나 더 나은 컴퓨터 비전을 위해 연구하는 연구자들과 스포츠를 사랑하는 이들이 있는 한, 데이터의 발전 가능성은 무궁무진할 것이다.

 

참고 = 베이스볼 서번트, CVSports(https://vap.aau.dk/cvsports/), BaseballCV 깃허브, MLB-Youtube 깃허브

야구공작소 표상훈 칼럼니스트

에디터 = 야구공작소 이희원, 전언수

ⓒ야구공작소. 출처 표기 없는 무단 전재 및 재배포를 금합니다. 상업적 사용은 별도 문의 바랍니다.