카메라 (Camera)

어떤 장면을 보면, 그 안의 모든 점에서 빛이 사방으로 흩어져 나옵니다. 만약 평평한 스크린(또는 센서)을 그냥 장면 앞에 세워두면, 한 점에는 장면의 수많은 점에서 온 빛이 동시에 쏟아져 들어와 완전히 뒤섞입니다 — 즉 상이 맺히지 않고 그냥 밝기만 남습니다.

사진이 성립하려면 "센서의 한 점에는, 장면의 한 점(=한 방향)에서 온 빛만 모이도록" 정리해 주어야 합니다. 결국 카메라가 하는 본질적인 일은 "빛을 방향별로 분류해서 위치별로 정렬"하는 것입니다. 이 관점을 잡아두면 핀홀·렌즈·센서·캘리브레이션이 전부 같은 이야기의 다른 단계로 보입니다.

0-1. 카메라는 밝기가 아니라 '방향'을 기록한다

위 관점을 뒤집어 보면 중요한 한계가 따라옵니다. 카메라가 붙잡는 정보는 "빛이 어느 방향에서 왔는가"이지, "그 빛이 얼마나 멀리서, 실제로 얼마나 밝게 났는가"가 아닙니다. 즉 카메라는 밝기를 결정하는 장치가 아닙니다.

이미지의 한 픽셀은 카메라에서 뻗어 나가는 하나의 광선(=하나의 방향)에 대응합니다. 그런데 그 광선 위에는 거리가 다른 무수히 많은 점이 놓여 있고, 3D를 2D로 투영하는 순간 "그 방향 어디에 있었는지(거리)"는 사라집니다. 이것이 단안(monocular) 카메라의 스케일 모호성(scale ambiguity)입니다.

0-2. 카메라 옵스큐라 — 구멍 하나로 방향을 고르다

카메라 옵스큐라(camera obscura, "어두운 방")는 어두운 방의 한쪽 벽에 작은 구멍을 뚫으면, 반대쪽 벽에 바깥 풍경이 상하·좌우가 뒤집힌 채 비치는 현상입니다. 핵심은 작은 구멍(핀홀)이 "방향 필터" 역할을 한다는 점입니다.

• 장면의 한 점에서 나온 빛은 사방으로 퍼지지만, 그중 구멍을 정확히 통과하는 광선은 거의 한 줄기뿐입니다.
• 그 한 줄기는 직진하여 스크린의 한 점에만 도달합니다. → 장면의 점 ↔ 스크린의 점이 1:1로 대응됩니다.
• 구멍을 기준으로 빛이 교차하므로 상은 상하좌우가 반전됩니다.

0-3. 핀홀의 딜레마 — 선명함 vs 밝기

핀홀은 단순하지만 근본적인 모순을 안고 있습니다.

• 구멍을 작게 → 방향이 더 엄격히 걸러져 선명해지지만, 통과하는 빛의 양이 줄어 어둡고, 너무 작으면 회절(diffraction)로 오히려 흐려집니다.
• 구멍을 크게 → 밝아지지만, 한 점에 여러 방향의 빛이 섞여 들어와 흐릿(blur)해집니다.

핀홀은 한 점이 보내는 빛 중 딱 한 줄기만 받습니다(그래서 어둡습니다). 반면 렌즈는 넓은 구경으로 같은 점에서 나온 수많은 광선을 한꺼번에 받아들인 뒤, 굴절시켜 다시 한 점(상)으로 모읍니다. "방향을 고른다(점 → 점)"는 핀홀의 역할은 그대로 유지하면서, 모으는 빛의 양만 폭발적으로 늘린 것입니다.

0-4. 이후 단계 미리보기

렌즈는 굴절(refraction)을 이용해, 한 점에서 퍼져 나온 빛을 다시 한 점으로 수렴시킵니다. 큰 구멍(=많은 빛)을 쓰면서도 선명한 상을 얻을 수 있게 해주는 것이 핵심입니다. 우리는 빛을 파동이 아니라 직진하는 광선(ray)으로 보는 기하광학 관점에서 다룹니다.

1-1. 얇은 렌즈(박막렌즈) 결상 공식

얇은 렌즈(thin lens, 박막렌즈) 모델은 렌즈의 두께를 무시할 만큼 얇다고 보아, 굴절이 한 평면에서 일어난다고 단순화한 이상적 모델입니다. 이 얇은 볼록렌즈에서, 물체거리 \(s_o\), 상거리 \(s_i\), 초점거리 \(f\) 사이에는 다음 관계가 성립합니다.

\[ \frac{1}{s_o} + \frac{1}{s_i} = \frac{1}{f} \]

• 초점거리 \(f\): 렌즈가 빛을 얼마나 강하게 꺾는지를 나타내는 고유 값. 짧을수록 강하게 수렴(광각), 길수록 약하게 수렴(망원).
• 물체가 무한히 멀면(\(s_o \to \infty\)) → \(s_i = f\). 즉 먼 풍경의 상은 초점면(focal plane)에 맺힙니다. 센서를 여기에 두면 풍경에 초점이 맞습니다.
• 가까운 물체일수록 상거리가 길어지므로, 초점을 맞추려면 렌즈를 센서에서 더 멀리 빼야 합니다(=포커싱).

1-2. 두꺼운 렌즈(Thick lens) 결상 공식

실제 렌즈는 두께 \(d\)가 있어 굴절이 앞·뒤 두 면에서 일어납니다. 그래도 결상 공식의 형태는 얇은 렌즈와 같지만, 물체거리·상거리를 각각 주평면 \(H\)(앞)·\(H'\)(뒤)에서 잰다는 점이 다릅니다.

\[ \frac{1}{s_o} + \frac{1}{s_i} = \frac{1}{f}\qquad (s_o:\ H\text{에서 측정},\ \ s_i:\ H'\text{에서 측정}) \]

또한 두께를 포함한 초점거리 \(f\)(EFL)는 두꺼운 렌즈의 렌즈메이커 공식으로 주어집니다.

\[ \frac{1}{f} = (n-1)\left[\frac{1}{R_1} - \frac{1}{R_2} + \frac{(n-1)\,d}{n\,R_1 R_2}\right] \]

• \(n\): 렌즈 굴절률, \(R_1, R_2\): 앞·뒤 면의 곡률반경, \(d\): 렌즈 두께(앞면 정점 \(V\) ~ 뒷면 정점 \(V'\)).
• \(d \to 0\)이면 마지막 항이 사라져 얇은 렌즈의 렌즈메이커 공식 \(\frac{1}{f}=(n-1)\!\left(\frac{1}{R_1}-\frac{1}{R_2}\right)\)로 환원됩니다.
• 두께 \(d\)는 주평면 \(H, H'\)의 위치도 정하며, 그 위치 차이 때문에 EFL·FFL·BFL이 서로 갈립니다. (→ 1-4)

1-3. 두꺼운 렌즈의 기준점·기준면 (Cardinal points)

두꺼운(실제) 렌즈는 여러 면에서 굴절해 광선 경로가 복잡합니다. 하지만 렌즈를 "블랙박스"로 보고 몇 개의 기준점·기준면(cardinal points)만 알면 입사·출사 광선을 간단히 작도할 수 있습니다. 주요 명칭은 다음과 같습니다.

① 초점 · 주평면 · 주점 · 정점

② 절점 (Nodal point)

1-4. 실제 렌즈의 초점거리 — EFL · FFL · BFL

얇은 렌즈는 한 평면에서 굴절한다고 보지만, 실제 렌즈는 여러 장으로 이루어져 두께가 있습니다. 이때 굴절의 기준이 되는 가상의 면을 주평면(principal plane) H(앞)·H′(뒤)라 하고, "초점거리를 어디서부터 재느냐"에 따라 세 가지로 나뉩니다.

• EFL (유효초점거리, Effective Focal Length) — 뒤 주평면 \(H'\)에서 후초점 \(F'\)까지의 거리. 렌즈 공식의 \(f\)가 바로 이것이며, 화각·배율을 결정합니다. (앞쪽 \(H{\to}F\)도 같은 EFL.)
• BFL (후초점거리, Back Focal Length) — 렌즈 맨 뒷면(후측 정점 \(V'\))에서 후초점 \(F'\)까지의 거리. 센서를 어디에 둘지(플랜지백·미러 공간)를 좌우합니다.
• FFL (전초점거리, Front Focal Length) — 렌즈 맨 앞면(전측 정점 \(V\))에서 전초점 \(F\)까지의 거리.

1-5. 조리개(F값) — 밝기와 심도를 동시에 쥔 손잡이

렌즈 안의 조리개(aperture)는 빛이 통과하는 구멍의 크기를 조절합니다. 이를 나타내는 값이 F값(F-number)입니다.

\[ N = \frac{f}{D} \quad (\text{F값} = \frac{\text{초점거리}}{\text{유효 구경}}) \]

• \(f\) — 초점거리(focal length): 평행하게 들어온 빛이 한 점(초점)에 모일 때까지의 거리. 곧 렌즈에서 초점면까지의 거리.
• \(D\) — 유효 구경(입사동 지름, effective aperture): 실제로 빛이 통과하는 조리개 구멍의 지름.
• 따라서 \(N = f/D\). 초점거리가 같아도 \(D\)를 키우면(조리개 개방) F값은 작아지고 더 많은 빛이 들어옵니다.

입사동(Entrance Pupil)은 물체 쪽에서 본 조리개의 상, 사출동(Exit Pupil)은 센서 쪽에서 본 조리개의 상입니다. 이 둘의 위치와 크기는 두 기준 광선으로 정의되므로, 동공을 그릴 땐 자연스럽게 이 둘을 함께 그립니다. (질문에 답하자면 — 네, 주광선·변연광선이 필요합니다.)

• 주광선(chief ray) — 화면 가장자리 물체점에서 나와 조리개 중심을 지나는 광선. 광축과 만나는 곳이 곧 동공의 위치(중심)입니다.
• 변연광선(marginal ray) — 광축 위 물체점에서 나와 조리개 가장자리를 스치는 광선. 지나는 가장자리가 동공의 지름(EPD·ExPD)을 정합니다.

• F값이 작을수록(f/1.4) 구멍이 커서 밝고, 심도가 얕음(배경 흐림 ↑).
• F값이 클수록(f/16) 구멍이 작아 어둡고, 심도가 깊음(전체적으로 또렷).
• F값 한 스텝(\(\times\sqrt{2}\): 1.4 → 2 → 2.8 → 4 …)마다 통과 광량이 절반이 됩니다(면적 기준).

1-6. 화각(FOV)과 초점거리

센서 크기가 고정일 때, 초점거리가 짧으면 넓게(광각), 길면 좁고 크게(망원) 담깁니다. 센서의 한 변 길이 \(d\), 초점거리 \(f\)에 대해 화각은 대략:

\[ \theta = 2 \arctan\!\left(\frac{d}{2f}\right) \]

1-7. 심도(DOF)

초점은 엄밀히 한 평면에만 맞습니다. 하지만 사람 눈이 "충분히 선명"하다고 받아들이는 허용 착란원(CoC) 범위가 있어, 초점면 앞뒤로 일정 구간의 피사체는 또렷하게 보입니다. 심도(DOF)란 바로 이 "선명하게 보이는 피사체 거리의 범위" — 즉 가장 가까운 근거리 한계부터 가장 먼 원거리 한계까지의 거리 구간입니다.

• 심도를 얕게: 조리개 개방(F값↓) · 망원(초점거리↑) · 피사체에 접근.
• 심도를 깊게: 조리개 조임(F값↑) · 광각(초점거리↓) · 피사체에서 멀어짐.

1-8. 수차(Aberration) — 이상에서 벗어남

실제 렌즈는 이상적인 박렌즈 공식대로 완벽히 한 점에 모으지 못합니다. 이 오차를 수차라 하며, 여러 장의 렌즈를 조합해 보정합니다.

아래는 대표적인 6가지 단색·색수차를 광선도로 정리한 것입니다. 가로선은 모두 광축이고 빛은 왼쪽→오른쪽으로 진행합니다.

① 구면수차 (Spherical aberration)

구면 렌즈는 가장자리(marginal)를 지나는 광선을 근축(paraxial) 광선보다 더 강하게 꺾습니다. 그래서 축 위에서 한 점에 모이지 못하고, 가장자리 광선은 렌즈에 가까운 쪽, 근축 광선은 먼 쪽에 따로 초점을 맺어 전체적으로 흐릿해집니다. 가장 작게 번지는 곳이 최소착란원입니다.

② 코마 (Coma)

축에서 비스듬히 들어온 광선이 렌즈의 안쪽·바깥쪽 zone마다 배율이 달라 한 점광원이 혜성(comet) 꼬리로 번집니다. 주요 원인은 바깥(주변부) zone을 지나는 광선일수록 더 크게 꺾여(엄밀히는 zone마다 상점에 도달하는 배율이 달라져) 상점에서 더 멀리 맺힌다는 것 — 번짐 크기는 zone 반지름의 제곱(∝ρ²)에, 그리고 상높이에 비례합니다.

③ 비점수차 (Astigmatism)

축 밖 점광원의 빛은 두 직교 평면에서 굴절력이 다릅니다. 자오면(tangential, 광축과 점을 품은 세로 평면)의 광선은 먼저(가까이) 모여 그에 수직인 가로 초점선을, 구결면(sagittal, 그에 직교하는 가로 평면)의 광선은 나중(멀리) 모여 세로 초점선을 만듭니다. 두 초점선 사이에 최소착란원이 있습니다. 아래는 두 평면을 살린 3D 모식도입니다.

④ 상면만곡 (Field curvature)

렌즈는 평평한 물체를 평면이 아니라 안쪽으로 휜 곡면(페츠발 면)에 또렷하게 맺습니다. 그래서 평평한 센서는 이 곡면과 중심에서만 접하고, 가장자리로 갈수록 또렷한 초점이 센서보다 앞(렌즈 쪽)에 생깁니다. 초점을 지난 빛은 다시 퍼지므로, 센서에 닿을 땐 주변부가 번져 보입니다(중심을 맞추면 가장자리가, 가장자리를 맞추면 중심이 흐림).

⑤ 왜곡 (Distortion)

화면 위치마다 배율이 달라 직선이 휘어집니다. 왜 위치마다 배율이 다를까? 상의 위치(상높이)는 주광선(chief ray, 조리개 중심을 지나는 광선)이 정하는데, 조리개가 렌즈에서 떨어져 있으면 주광선의 도달 높이가 물체높이에 정비례하지 않습니다. 그래서 축에서 멀수록 배율이 달라져(아래 광선추적) 직선이 휩니다. 조리개가 렌즈 앞이면 바깥이 압축돼 배럴(barrel, k₁<0), 뒤면 바깥이 확대돼 핀쿠션(pincushion, k₁>0). 점의 위치 오차라 소프트웨어로 보정 가능합니다(4장).

⑥ 색수차 (Chromatic aberration)

유리의 굴절률이 파장마다 달라(분산), 파랑이 더 가까이, 빨강이 더 멀리 초점을 맺습니다(축상 색수차). 그 결과 한 점에 모이지 못하고 밝은 경계에 색번짐(fringe)이 남습니다. 한편 배율 색수차(lateral CA)는 파장마다 배율이 달라 화면 주변부로 갈수록 색이 옆으로 어긋나며 경계에 색 fringe가 더 두드러집니다.

렌즈가 만든 광학적 상은 아직 "빛"일 뿐입니다. 이를 숫자로 바꾸는 부품이 이미지 센서입니다. 센서 표면에는 작은 광검출기(픽셀)가 격자로 깔려 있고, 각 픽셀은 들어온 광자(photon)를 광전효과로 전자(전하)로 바꿔 모읍니다. 셔터가 열린 동안 모인 전하량 ∝ 그 위치에 도달한 빛의 양입니다.

2-1. 픽셀 하나가 하는 일

2-2. CCD vs CMOS

2-3. 색은 어떻게 — 베이어 패턴

포토다이오드 자체는 색을 구분하지 못합니다(밝기만 측정). 그래서 픽셀마다 R/G/B 컬러 필터를 덮어 한 가지 색 성분만 받게 합니다. 가장 널리 쓰는 배열이 베이어 패턴(Bayer)으로, 사람 눈이 녹색에 민감한 점을 반영해 녹색이 절반(RGGB)입니다. 각 픽셀이 한 색만 알므로, 나머지 두 색은 이웃에서 추정해야 합니다 → 디모자이킹(3장).

2-4. 센서를 평가하는 핵심 물리량

• 픽셀 크기 / 센서 크기: 픽셀이 클수록 더 많은 빛을 받아 저조도·노이즈에 유리(단, 해상도와 트레이드오프).
• 양자효율(QE): 들어온 광자 중 전자로 잡히는 비율.
• 풀 웰 용량(FWC): 한 픽셀이 담을 수 있는 최대 전하 → 포화(하이라이트 클리핑) 한계.
• 노이즈: 샷 노이즈(광자 통계, \(\propto\sqrt{N}\)) · 읽기 노이즈 · 암전류 노이즈.
• 다이내믹 레인지(DR): 가장 밝은 곳 ~ 가장 어두운 곳을 동시에 담는 폭 ≈ FWC / 읽기노이즈.

2-5. 셔터 — 글로벌 vs 롤링

• 글로벌 셔터: 모든 픽셀이 동시에 노출 시작·종료 → 움직임 왜곡 없음.
• 롤링 셔터: 행을 위에서 아래로 순차 노출 → 빠른 움직임에서 젤로(기울어짐) 왜곡. 대부분의 CMOS가 이 방식.

센서에서 나온 RAW는 아직 사진이 아닙니다. 픽셀마다 한 색만 있고, 화이트밸런스도 안 맞고, 사람 눈에 맞는 밝기 곡선도 적용되지 않은 "측정값 덩어리"입니다. 이를 우리가 보는 이미지로 바꾸는 일련의 처리를 ISP(Image Signal Processor)가 담당합니다. 보통 다음과 같은 순서로 흐릅니다.

3-1. 디모자이킹(Demosaicing)

각 픽셀은 R·G·B 중 하나만 측정했으므로, 나머지 두 색은 이웃 픽셀로부터 보간합니다. 단순 선형 보간은 경계에서 지퍼 아티팩트·위색(false color)을 만들기 때문에, 경계 방향을 추정하는 적응형 알고리즘(또는 최근의 딥러닝)을 씁니다.

3-2. 화이트밸런스(AWB)

같은 흰 종이도 백열등 아래선 붉고 그늘에선 푸릅니다. 사람 뇌는 자동으로 "흰색은 흰색"으로 보정(색 항상성)하는데, 카메라도 광원 색온도를 추정해 R/G/B 게인을 맞춰 흰 것을 희게 만듭니다.

3-3. 감마와 톤 — 왜 선형이 아닌가

센서는 빛의 양에 선형으로 반응하지만, 사람 눈은 어두운 영역의 차이에 훨씬 민감합니다(대략 로그적). 그래서 감마/톤 커브를 적용해 어두운 쪽에 비트를 더 배분하고, 밝은 쪽을 압축합니다. HDR 장면에서는 영역별로 다른 톤을 적용하는 로컬 톤매핑을 씁니다.

지금까지의 광학·전자 과정을 하나의 수학 모델로 묶으면, "3D 공간의 한 점이 이미지의 어느 픽셀에 찍히는가"를 계산할 수 있습니다. 이 모델의 파라미터를 실측으로 알아내는 작업이 캘리브레이션입니다. 컴퓨터 비전·로봇·SLAM·3D 복원·AR의 출발점입니다.

4-1. 핀홀 카메라 모델

0장의 핀홀이 그대로 수학 모델이 됩니다. 3D 점 \(\mathbf{X}=(X,Y,Z)\)는 다음과 같이 픽셀 좌표 \((u,v)\)로 투영됩니다.

\[ s\begin{bmatrix} u \\ v \\ 1 \end{bmatrix} = \underbrace{\begin{bmatrix} f_x & 0 & c_x \\ 0 & f_y & c_y \\ 0 & 0 & 1 \end{bmatrix}}_{K\ (\text{내부})} \; \underbrace{\big[\,R \mid \mathbf{t}\,\big]}_{\text{외부}} \begin{bmatrix} X \\ Y \\ Z \\ 1 \end{bmatrix} \]

4-2. 내부 파라미터(Intrinsics) vs 외부 파라미터(Extrinsics)

4-3. 렌즈 왜곡 모델

실제 렌즈는 직선을 휘게 만들므로(1-8의 distortion), 핀홀 모델 위에 왜곡 항을 더합니다. 가장 흔한 방사 왜곡(radial) + 접선 왜곡(tangential) 모델:

\[ x_d = x(1 + k_1 r^2 + k_2 r^4 + k_3 r^6) + (\text{접선 항}), \quad r^2 = x^2 + y^2 \]

• \(k_1<0\): 배럴 왜곡(볼록, 광각에서 흔함), \(k_1>0\): 핀쿠션 왜곡(오목, 망원).
• 캘리브레이션으로 \(k_1,k_2,\dots\)를 구하면 영상을 펴서(undistort) 직선을 직선으로 복원할 수 있습니다.

4-4. 어떻게 구하나 — 체커보드 캘리브레이션

크기를 정확히 아는 체커보드를 여러 각도에서 촬영하면, "3D 격자점 ↔ 검출된 2D 코너"의 대응쌍이 수백 개 생깁니다. 이 대응이 모델 식을 만족하도록 \(K\), 왜곡계수, 각 사진의 \([R|t]\)를 동시에 최적화합니다(재투영 오차 최소화, Zhang의 방법).

# OpenCV 예시 (개념)
ret, K, dist, rvecs, tvecs = cv2.calibrateCamera(
    objpoints,   # 3D 격자점들 (체커보드 좌표)
    imgpoints,   # 각 사진에서 검출한 2D 코너
    imageSize, None, None)
# K: 내부행렬, dist: 왜곡계수, rvecs/tvecs: 사진별 외부 파라미터

"좋은 카메라/이미지"는 주관이 아니라 정량 지표로 측정합니다. 평가는 크게 ① 광학·시스템 성능(해상력·노이즈·색) ② 기하 정확도(캘리브레이션 품질) ③ 이미지 품질(원본 대비 충실도) 세 갈래로 나뉩니다.

5-1. 해상력 — MTF / 공간 주파수

렌즈+센서가 얼마나 미세한 패턴까지 대비를 유지하며 재현하는지를 나타내는 핵심 지표가 MTF(Modulation Transfer Function)입니다. 공간 주파수(lp/mm 또는 cycles/pixel)가 높아질수록 대비가 떨어지며, 그 감쇠 곡선이 MTF입니다. 흔히 칼날(slanted edge)을 찍어 측정합니다.

• MTF50: 대비가 50%로 떨어지는 주파수 — 체감 선명도와 잘 맞아 자주 인용.
• 나이퀴스트 한계: 센서 픽셀 간격으로 표현 가능한 최대 주파수. 이를 넘으면 에일리어싱(모아레) 발생.

5-2. 노이즈·계조 — SNR / 다이내믹 레인지

• SNR: 신호 대 노이즈 비. 밝을수록 샷 노이즈가 상대적으로 작아 SNR↑.
• DR: 동시에 담을 수 있는 밝기 범위(스톱/EV). 2장 센서 물리량과 직결.
• ISO 감도: 신호 증폭. 올릴수록 어두운 곳을 살리지만 노이즈도 함께 증폭.

5-3. 색 정확도

색상 차트(예: X-Rite ColorChecker)를 촬영해, 기준색과 측정색의 차이를 색차 \(\Delta E\)로 잰다. \(\Delta E\)가 작을수록 색재현이 정확합니다(대략 \(\Delta E < 2\)면 육안 구분 어려움).

5-4. 이미지 충실도 — 참조 기반 지표

\[ \mathrm{PSNR} = 10\,\log_{10}\!\frac{\mathrm{MAX}^2}{\mathrm{MSE}} \quad(\text{단위 dB, 클수록 좋음}) \]

5-5. 기하 정확도

• 재투영 오차(4-4): 캘리브레이션 정확도의 1차 지표.
• 잔류 왜곡: undistort 후 직선이 얼마나 직선으로 펴졌는지.