Imaging Electronics 101: 이미징 시스템 성능 개선을 위한 카메라 해상도

Imaging Electronics 101: Understanding Camera Sensors for Machine Vision Applications

카메라 해상도와 contrast는 이미징 시스템의 optics 및 electronics 양쪽에서 필수 요소 역할을 합니다. 카메라 해상도 및 contrast는 optical parameters처럼 보일 수 있지만, pixel 개수 및 크기, TV lines, 카메라 MTF, Nyquist limit, pixel depth/grayscale, dynamic range, 그리고 SNR은 사용자가 이미지 처리를 하려 시도하는 품질에 영향을 줍니다. 각각의 주요 매개변수에 대한 기술적 힌트를 제공함으로써 초보부터 전문가까지의 이미징 사용자들이 시스템의 imaging electronics에 관련되어 있는 카메라 해상도에 관해 배울 수 있습니다.

PIXEL COUNT AND PIXEL SIZE

카메라의 pixel 개수와 pixel 크기를 이해하려면 Allied Vision Stingray F-145 FireWire camera 시리즈를 검토해 보십시오. 각 F-145 카메라에는 9.0mm x 6.7mm sensor에 1392 x 1040 (가로 x 세로) pixels이 배열된 Sony ICX285 sensor가 내장되어 있습니다. Field of view를 1392 x 1040개의 정사각형으로 나뉘어진 직사각형으로 상상한다면(그림 1), 최소 분해능은 이 정사각형 또는 pixel의 두 배에 해당됩니다(그림 2). 기술 힌트 #1: field of view (FOV) 안에 pixels이 더 많을 수록 해상도가 좋아집니다. 하지만, pixels 수가 많아지면 더 큰 sensor 또는 보다 작은 크기의 개별 pixels이 필요해집니다. 기술 힌트 #2: 더 많은 pixels을 확보하기 위해 더 큰 sensor를 사용하면 imaging lens magnification 및/또는 field of view가 바뀝니다. 반대로, 더 작은 pixels을 사용하면 광학 부품의 한정된 spatial frequency response로 인해 imaging lens가 시스템 해상도를 유지할 수 없는데 이는 주로 설계 문제 또는 aperture의 diffraction limit로 인한 것입니다.

Pixels 수도 카메라 frame rate에 영향을 줍니다. 예를 들어, 각각의 pixel은 이미지 재구성에서 전송되어야 하는 8-bits 정보를 담고 있습니다. 기술 힌트 #3: 센서에 pixels이 많을 수록 카메라 해상도가 높아지지만 frame rate는 작아집니다. 높은 frame rates와 고해상도(예: 많은 pixels)가 모두 필요하면 시스템 가격과 설정 복잡성이 급격히 증가하고 증가 비율은 pixels 수에 꼭 비례하지는 않습니다.

Illustration of Pixels on a Camera Sensor

그림 1: 카메라 센서의 Pixels 도해

그림 2: 구분되지 않은 한 쌍의 Pixel (a) 대 구분된 Pixel (b)

TV LINES

아날로그 CCD 카메라에서는 종종 TV Line (TVL) 사양을 사용해 해상도를 평가합니다. TVL 사양은 동일한 간격의 선으로 이루어진 bar target을 기준으로 한 해상도 단위입니다. Target이 확장되어 FOV를 커버하면 모든 선과 간격을 합쳐 TVL 개수를 계산합니다. 공식 1과 2는 가로 (H) 및 세로 (V) TVL을 파악하는 간단한 계산법입니다. 공식 1에 포함되어 있는 것은 센서의 4:3 비율을 설명하는 데 필요한 normalization factor입니다. 그림 3에서는 시스템의 TVL 측정을 위한 IEEE 인증 테스트 타겟을 보여 줍니다.

(1)$$ \text{TVL}_{\text{H}} = \frac{3}{2} \left( \text{Resolution}_{\text{H}} \left[ \tfrac{\text{lines}}{\text{mm}} \right] \times \, \text{Sensing Distance}_{\text{H}} \left[ \text{mm} \right] \right) $$

(2)$$ \text{TVL}_{\text{V}} = 2 \left( \text{Resolution}_{\text{V}} \left[ \tfrac{\text{lines}}{\text{mm}} \right] \times \, \text{Sensing Distance}_{\text{V}} \left[ \text{mm} \right] \right) $$

IEEE Approved Target for Measuring TV Lines

그림 3: TV Lines (TVLs) 측정을 위한 IEEE 인증 타겟

MODULATION TRANSFER FUNCTION (MTF)

카메라 해상도를 지정하는 가장 효과적인 방법은 카메라의 modulation transfer function (MTF)입니다. MTF는 센서의 전체적인 성능을 파악하기 위해 contrast와 해상도를 통합하는 방법입니다. MTF가 갖고 있는 유용한 특성 하나는 전송 함수의 누산 특성입니다. 각 부품(예: 이미징 렌즈, 카메라 센서, 디스플레이)의 MTF를 곱해 전체 시스템 응답을 얻을 수 있습니다(그림 4).

System MTF is the Product of the MTF of Each Individual Component

그림 4: 시스템 MTF는 개별 구성 요소 MTF의 곱임

MTF는 pixels 개수/mm의 공간 해상도뿐 아니라 pixel cross talk 및 한정된 fill factors로 인해 높은 spatial frequencies에서 발생하는 roll off도 감안합니다. 기술 힌트 #4: pixel 크기와 반비례하는 spatial frequency에서 센서가 100% contrast를 제공하는 경우가 아닙니다. MTF와 MTF의 중요성에 대한 전체적인 설명을 보려면 Modulation Transfer Function을 참조하십시오.

NYQUIST LIMIT

센서의 absolute limiting resolution은 센서의 Nyquist limit에 의해 결정됩니다. 이것은 pixels 개수/mm로도 정의되는 sampling frequency의 절반으로 정의됩니다(공식 3). 예를 들어, Sony ICX285는 6.45μm당 1392 개의 가로 pixels이 포함되어 있는 9mm의 horizontal active area가 있는 흑백 CCD 센서입니다. 이것은 155 pixels/mm (1392 pixels / 9mm = 1mm / 0.00645 mm/pixel = 155)의 가로 sampling frequency를 나타냅니다. 이것의 Nyquist limit는 77.5 lp/mm로 계산됩니다. 가장자리 및 기타 기하학적으로 단순한 형태와 같이 특별한 경우 사용자가 Nyquist limit보다 높은 해상도를 통계적으로 추정할 수 있도록 하는 sub-pixel sampling과 같은 이미지 처리 기법이 존재한다는 점을 유념하십시오. Nyquist limit에서 contrast는 constant incident square wave (pixel 1개는 켜져 있고, 1개는 꺼져 있거나 각각 ½ 사이클인 pixel을 상상해 보십시오)를 위한 phase에 따라 달라집니다. 따라서, Kell factor (∼0.7)를 포함하는 것이 일반적인데 이것은 Nyquist frequency와 실제 frequency response 사이의 편차를 반영합니다. 가장 중요한 것은 Kell factor가 pixels 간 공간을 보상한다는 점입니다. 기술 힌트 #5: 시스템의 Nyquist limit를 초과하는 spatial frequencies에서의 Sampling은 바람직하지 않지만 피할 수 없는 aliasing effects 및 spurious signals을 생성할 수 있습니다.

(3)$$ \text{Nyquist Limit} \left[ \tfrac{\text{lp}}{\text{mm}} \right] = \frac{1}{2} \left( \text{Kell Factor} \right) \left( \text{Sampling Frequency} \left[ \tfrac{\text{pixels}}{\text{mm}} \right] \right) $$

PIXEL DEPTH/GRAYSCALE

Grayscale 또는, (덜 정교한 표현으로) CCD 카메라의 dynamic range로 부르는 pixel depth는 이미지에서의 gray 표현 단계 수를 나타냅니다. Pixel depth는 센서가 감지할 수 있는 최저 contrast 양과 밀접하게 관련되어 있습니다. 아날로그 카메라에서 신호는 센서로의 입사광 강도에 비례하는 시간에 따라 달라지는 전압이며 saturation point 아래에서 지정됩니다. 디지털화 후 이 연속 전압은 각각 수치 값에 해당되는 불연속적인 레벨로 효과적으로 분리됩니다. Unity gain에서, pixel의 100% saturation을 갖는 빛에는 2^N-1의 값이 주어지며 이 때 N은 비트 수이고 빛이 없을 경우 값 0이 주어집니다. 기술 힌트 #6: 카메라 비트가 많을 수록 digitization 프로세스가 더 매끄러워집니다. 또한, 비트 수가 크다는 것은 더 높은 정확도와 더 많은 정보를 의미합니다. 비트가 충분하면 사람의 눈이 더 이상 continuous grayscale과 디지털 표현 사이의 차이를 구분할 수 없습니다. Digitization에 사용된 비트 수는 bit depth 또는 pixel depth라고 부릅니다.

Pixel depth의 예로, 256 shades of gray를 제공하는 Sony XC 시리즈 카메라, 그리고 8-bits(256 grayscale) 및 10-bits(1024 grayscales) 모델로 이용할 수 있는 Edmund Optics USB 2.0 CMOS 시리즈 카메라를 검토해 보십시오. 일반적으로 12-bit 및 14-bit 카메라에는 보다 낮은 pixel depth 모드에서 작동 가능한 옵션이 있습니다. 8-bits를 초과하는 pixel depths가 신호 처리에 유용하긴 하지만 컴퓨터 디스플레이에서는 8-bit 해상도만 제공합니다. 따라서, 카메라로 촬영한 이미지를 모니터로만 볼 것이라면 추가 데이터는 아무 의미도 없고 frame rate를 저하시킬 뿐입니다. 그림 5에서는 다양한 pixel depths를 보여 줍니다. bit depth 증가에 따른 gray에서 white로의 부드러운 변화를 주목하십시오.

Illustration of 2-Bit, 4-Bit, and 8-Bit Grayscales

그림 5: Illustration of 2-Bit (Top), 4-Bit (Middle), and 8-Bit (Bottom) Grayscales

DYNAMIC RANGE

Dynamic range는 감지할 수 있는 최저 light level과 최대 light level 사이의 차이입니다. 물리적으로 이 차이는 각 pixel의 saturation capacity, dark current 또는 dark noise, ADC circuits, 그리고 gain 설정에 의해 결정됩니다. 기술 힌트 #7: 높은 dynamic ranges의 경우 의미있는 형태로 grayscale을 묘사하려면 더 많은 bits가 필요합니다. 하지만, signal-to-noise-ratio를 감안하면 14 bits를 사용해 50dB dynamic range를 묘사할 경우 redundant bits만 생기고 추가 정보는 생성되지 않는다는 점을 유념해야 합니다.

SIGNAL-TO-NOISE RATIO (SNR)

Signal-to-noise ratio (SNR)는 카메라의 dynamic range에 밀접하게 연계됩니다. 기술 힌트 #8: SNR이 높을 수록 카메라에 의해 생성되는 grayscale 단계가 더 많아집니다(contrast가 높아짐). SNR은 아날로그 시스템에서는 decibels(dB), 그리고 디지털 시스템에서는 bits 단위로 표현됩니다. 일반적으로, 6dB의 아날로그 SNR은 디지털화할 경우 1-bit로 변환됩니다. 디지털 또는 아날로그 카메라에서 X bits (또는 아날로그 시스템에서 이에 상응하는 값)는 2^X grayscales에 해당됩니다(즉, 8-bit 카메라는 2⁸ 또는 256 gray levels을 가짐).

카메라 센서의 noise 발생 주요 원인은 두 가지가 있습니다. 첫 번째는 균일하지 않은 dark current 및 crosstalk를 유발하는 칩의 결함입니다. 두 번째는 thermal noise 및 기타 electronic variations입니다. 칩의 결함 및 electronic variations은 카메라 해상도를 저하시키므로 이미징 시스템에서 모니터링을 통해 이를 최적으로 보정할 방법을 찾아야 합니다.

카메라 해상도의 기본 요소로는 pixel 개수 및 크기, TV lines, 카메라 MTF, Nyquist limit, pixel depth/grayscale, dynamic range, 그리고 SNR과 같은 변수들로 구분할 수 있습니다. 이러한 기본 용어를 이해하면 초보자에서 이미징 전문가로 거듭날 수 있습니다. Imaging electronics에 대한 보다 많은 정보를 보려면 카메라 센서, 카메라 종류, 그리고 카메라 설정에 관련된 추가 imaging electronics 101 시리즈를 참조하십시오.