Court Reconstruction for Camera Calibration in Broadcast Basketball Videos

1 INTRODUCTION

• 3D로 코드를 인식해서 저 자세한 농구 영상 인식이 가능한 것 같다.

• 농구코트 왼쪽과 오른쪽 동시에 인식 가능한 것 같다.

• 농구 전술이 복잡하기에 low features로는 표현하기 어렵다.

• 그래서 calibration technique로 선수들의 궤적을 보여줄 수 있다. (컷이라든지 공격과 수비와 같은 높은 수준의 움직임들)

• 대학 농구선수들은 이 시스템을 사용한 후 높은 선호도를 보여줬다.

• 농구 영상 처리는 코치들과 관객들의 필요로 관심이 높아졌다.

• 영상에서 수집된 정보들은 전술적 분석과 발전에 유용하다.

• 비디오 영상이 들어오고 파노라마로 전체 농구코트를 생선한 후 코트의 픽셀을 추출한다. 그다음에 convex hull울 만들고 사각형 모양으로 다시 그린다음 mesh 형태로 가공하고 quad mesh로 덮는다. 마지막으로 Recified 농구 코트가 완성된다.

• 이러한 시스템은 사용자들이 선수들의 행동들을 구체화하고 인간과 기계사이의 의미론적 차이를 감소시킨다

• 각각의 픽셀들은 처음에 YCrCb space로 변환되고 그 다음의 16x16 histogram을 계산한다.

• 스코어보드, 선수들, 잡음들은 방해가 된다.

• 하나의 프레임보다 전체적인 비디오 클립을 고려하면서 카메라 움직임을 보정하였다.

• 코트의 완전성은 왼쪽이 다 나온것과 오른쪽이 다 나온 화면 프렘임이 존재함에 의해 근간을 두고 있다.

• 연속적인 프렘임안에 KLT 피쳐들을 추적하는 OpenCV를 기반으로 농구 코트 파노라마를 생성한다.

• k-means 알고리즘을 적용했다.

• 우리의 공식은 영상이 농구 코드 전체(왼쪽, 중앙 ,오른쪽)이 있어야 적용할 수 있다.

• 영상에서 뽑아낸거랑 데이터베이스에 있는거랑 비교해본다.

• 경기영상에는 광고도 있고, 쉬는 시간도 있고, 하이라이트도 있어서 짧은 영상에서 선수들의 궤적을 뽑는다.

• Hanjalic 알고리즘을 사용

• 분류를 학습하는데 235개의 코트 뷰와 162개의 코트가 아닌 뷰를 사용했다.

• 216개를 테스트 했고 96.76%의 정확도를 얻었다.

• 농구 방송 화면에서 코트와 코트가 아닌 화면의 차이가 매우 달랐기 때문에 놓은 정확도를 얻었다.

• 슛 성공이나 실패, 어시스트, 속공 등은 텍스트로 기록할 수 있다.

• 유저들은 풋백이나 슛성공 등에 대해서 스트로크를 할 수 있다.

• 컷인, 컷 아웃, 페이드 어웨이 슛, 속공, 풋백, 픽앤롤과 같은 행동들에 각각 다른 반응들을 보이며 영상을 추척한다.

• 대부분의 시간은 KLT feature를 추적하는데 쓰인다.

• 선수들의 움직임이 사전 보정되었고 데이터베이스에 저장되어있어 시스템이랑 영상이랑 상호작용 할 수 있다

• 이 시스템은 카메라의 줌인이나 줌아웃에 상관없이 코트의 형태만 중요하다.

• 정규코드의 그림이 있으면 각각의 비디오를 그 정규코드에 맞워서 찌그러 트린다.

  • 농구 영상에서 왼쪽 코드를 보여주면 비스듬하게 되어있는데 이걸 평면 정규코드 라인에 맞춰서 크기를 조정한다.

• 선수의 움직임중에 부분적인 추적도 가능하기 때문에 움직임의 시작과 끝을 알 수 있음

• 우리의 시스템을 대학 선수들에게 보여줬는데 코치들과 선수들은 긍적적인 반응을 보임

  • 전술을 설명할 때 추상적이지 않고 설명 가능

• 정규코드나 네 코너가 다 모이는 화면이 가능하다.

  • 그래서 향상시키려고 함
    • 자유투나 삼점이나 클로즈업 화면등등

• 이로써 논문이 끝이 났고 다음에는 실제로 구현해보기