10/ 28일 새벽 줌 I was such a model student. > 자유게시판

• 목록
• 답변
• 글쓰기
• 게시판 리스트 옵션
  • 수정
  • 삭제

지난 https://i--model-house.com 시간에 우리는 카메라의 구조와 핀홀 카메라의 역사에 대해 알아보았습니다.우리는 지난 시간에 Wheel Encoder, IMU, GNSS, 초음파, 라이다, 카메라 등 자율주행 로봇에 필요...이번에는 핀홀 카메라를 수학적으로 모델링 해 보고 이를 이용한 카메라의 투영 행렬인 Projection Matrix에 대해 알아보도록 하겠습니다.Pin Hole Camera핀홀 카메라 모델은 렌즈가 없어 렌즈에 따른 왜곡이 존재하지 않기 때문에(회절 제외) 선형으로 모델링을 할 수 있습니다. 이것을 우리는 Linear Camera Model 이라고 하겠습니다.​일단 좌표계를 먼저 알아보겠습니다.카메라로 보는 세상에는 크게 3가지의 좌표계가 있다고 생각할 수 있습니다. 3차원 세계의 기준을 World Coordinate라고 하고, 카메라의 위치 기준인 Camera Coordinate가 있고, 3D 상이 맺히는 영상이 기준인 Image(Pixel) Coordinate가 있습니다. 물론 3D Object 기준으로 Object Coordinate도 있고, https://i--model-house.com CCD 또는 CMOS 센서 기준으로 Sensor Coordinate 등 다양한 좌표계 기준이 있습니다. 여기에서는 아래 3가지의 좌표계만 생각해보겠습니다.​이제 카메라 커버를 제외하고 3차원 World 상에 있는 한 점 P가 카메라를 통해 영상에 맺히는 것을 기하학적으로 모델링 해 보겠습니다. 이렇게 3D 점이 2D 점으로 imaging 되는 모델을 Forward Imaging Model 이라고도 합니다. ​P라는 점은 World Coordinate 기준으로 본다면 Pw 의 위치에 있다고 할 수 있고, 이를 Camera Coordinate로 본다면 Pc의 위치에 있다고 할 수 있습니다. World Coordinate 에서 본 P점의 위치를 Pw라고 한다면 우리는 이를 [xw, yw, zw]T라고 표현할 수 있고, P 점을 Camera Coordinate에서 본다면 이 점을 Pc=[xc, yc, zc]T라고 표현할 수 있습니다. 그리고 https://i--model-house.com P 점이 Image Plane에 투영된 점을 Image Coordinate에서 본다면 Pi 라고 할 수 있고 이를 [xi, yi]T 라고 표현을 할 수 있습니다.​​​Projective Transform (Intrinsic Matrix)일단 Projective Transform 영역인 Camera Coordinate와 Image Coordinate만 생각을 해보겠습니다. ​Image Plane이 Camera Coordinate보다 뒤에 있으면 복잡해 보이니까 일단 같은 거리인 f 만큼 반대편으로 옮겨보겠습니다. 그러면 아래 그림처럼 될 것 입니다. ​옮겨진 그림을 다시 이쁘게 2D적으로 그려보면, 삼각형 닮음을 통해 아래와 같은 두개의 식을 도출할 수 있습니다. 몇가지 용어를 살펴보면, projection되는 기준인 c를 카메라 중심(Camera Center) 또는 광학 중심(Optical Center)이라고 하고 카메라 중심에서 이미지 평면에 수직인 선을 카메라의 주축(Principal axis) 또는 주광선(Principal Ray)라고 하며, 주축이 이미지 평면과 만나는 https://i--model-house.com 지점을 주점(Principal Point)라고 합니다.​​​위의 두 식을 다시 써 보면 아래와 같이 쓸 수 있습니다.​Image Plane 쪽으로 다시 눈을 돌려보면, 아래와 같은 3단계로 우리가 얻는 영상 좌표계로의 변환이 일어나게 됩니다. 픽셀 밀도를 x축과 y축을 다르게 생각한다면 즉 센서가 정사각형이 아니고 직사각형이라면 아래와 같이 표현이 됩니다.​Image Plane 에서 Image 로의 변환 수식에서 우리는 mx와 my 그리고 f 값은 상수니까 각각을 하나로 합쳐서 표현한다면 아래와 같이 표현할 수 있습니다.​여기에서 camera 좌표계인 xc, yc, zc 를 영상 좌표계인 u, v 좌표계로 변환할 때 분수가 나오게 됩니다. 분모에 zc 라는 값이 있는 것이죠. 이렇게 되면 변환식은 non-linear가 됩니다. 우리는 이것을 linear 로 변환하고 싶습니다. 어떻게 하면 될까요?​여기에서 https://i--model-house.com 우리는 동차 좌표계(homogeneous coordinate)를 적용할 수 있습니다.이번에는 직선 또는 선분을 나타내는 다양한 방법과 제가 추천하는 방법에 대해 정리해볼까 합니다. 직선 (...​우리가 3차원 좌표인 [xc, yc, zc]T 를 homogeneous coordinate로 표현하면 [xc, yc, zc, 1]T 로 표현할 수 있습니다. 좀 더 general 하게 표시한다면 [wxc, wyc, wzc, w]T로 표현이 가능합니다. 이렇게 해서 위의 변환 식을 homogeneous coordinate 로 표현한 후 Matrix 형태로 변형해 보면 아래와 같이 나타낼 수 있습니다.​원래 skew 라는 변수도 포함(아래 K 에서 넣어봤습니다.)이 되는데 최근 센서들은 거의 직사각형 또는 정사각형이기 때문에 skew ϐ 이라고 간주하게 됩니다. 여기에서 나온 미지수들인 (fx, fy, px, py)를 카메라의 내부 변수(Intrinsic Parameters)라고 합니다.​위의 수식을 다시 https://i--model-house.com 써 보면, 아래와 같습니다.Coordinate Transform (Extrinsic Matrix)이번에는 World Coordinate 에서 Camera Coordinate로의 변환인 Extrinsic Matrix에 대해 알아보겠습니다.​​​위의 Coordinate Transform 영역만 다시 가져오면 아래와 같이 됩니다.여기에서 우리는 World Coordinate 기준으로 Camera Coordinate 를 정의할 수 있습니다. 카메라 중심(Camera Center)을 c 라고 한다면 c 는 World Coordinate 기준으로 볼 때 cw 만큼 떨어져 있고, 특정 각도만큼 3D 회전이 된 것으로 볼 수 있습니다. ​여기에서 회전 행렬(변환)을 아래와 같이 정의를 해 보면 각 row vector가 어떤 뜻을 가지고 있는지 알 수 있습니다. 각각의 row vector 들은 서로 직교하게 됩니다. 그리고 크기가 1이 되면 우리는 회전 행렬은 orthonormal matrix 가 되는 것을 알 수 있습니다.​A라는 벡터와 https://i--model-house.com B라는 벡터가 orthonormal 하다는 뜻은 아래와 같이 두 벡터의 내적은 0이 되고 각각 벡터의 길이는 1이 되는 것을 말합니다.​정방행렬 R 이 orthonormal 하다는 뜻은 각각의 row vector 또는 column vector 들이 위의 성질을 만족한다는 얘기이고, orthonormal matrix인 R은 아래와 같은 성질을 만족하게 됩니다. 여기에서 I 는 Identity 행렬을 의미합니다.​여기에서 중요한 사실은, 역행렬을 구하지 않고 단순 transpose만 취한다고 해도 역행렬이 된다는 성질 입니다.​위 그림을 다시 가져와보면, 3D 위에 있는 점 P는 Camera Coordinate 에서 보면 pc 에 있다고 할 수 있고, pc Ϝw-pw 로 쓸 수 있습니다. 여기에 회전이 포함된다면 아래와 같이 쓸 수 있습니다.이제는 우리는 이 원리를 다시 적용해보면 아래와 같이 행렬 https://i--model-house.com 형태로 정리해볼 수 있습니다.​이것을 homogeneous coordinate로 다시 정리해보면, 3차원 상에 있는 임의의 점 P=[xw, yw, zw, 1]T 는 아래와 같이 Camera Coordinate로 좌표 변환을 할 수 있게 됩니다.​이 행렬이 바로 외부 행렬(Extrinsic Matrix)가 되는 것 입니다. Extrinsic Matrix 를 Mext라고 한다면 아래와 같이 정의가 됩니다.​Linear Projection Model우리는 위에서 배운 두 개의 Mint 과 Mext 를 함께 써 보면 아래와 같습니다.​이 것을 하나의 식으로 나타낸다면 아래와 같이 나타낼 수 있습니다.​Projection Matrix(P)는 최종적으로 아래와 같이 쓸 수 있습니다.​우리는 이번에 Linear Camera Model의 Intrinsic Matrix와 Extrinsic Matrix에 대해 자세히 배웠습니다. 다음에는 Camera Calibration에 대해 알아보도록 하겠습니다.우리는 지난 시간에 pin hole 모델을 수학적으로 모델링하면서 3D 점이 https://i--model-house.com 2D로 매핑되는 과정을 설명드렸습...​​​