Imaging Electronics 101: Machine Vision 용도에 적합한 카메라 센서 이해

구성 | 기능 | 스펙트럼 특성

imaging optics에 추가로 Imaging electronics는 이미징 시스템의 성능에서 중요한 역할을 합니다. 카메라, capture board, 소프트웨어, 그리고 케이블을 포함한 모든 부품들의 적절한 결합이 최적의 시스템 성능을 제공합니다. 추가 주제에 대해 설명하기 전에 카메라 센서, 그리고 이와 관련된 핵심 개념 및 용어를 이해하는 것이 중요합니다.

카메라의 심장은 센서입니다. 현대의 센서는 pixels이라 불리는 최대 수 백만 개의 독립적인 photodetector sites를 포함하고 있는 solid-state electronic devices입니다. 카메라 제조업체들이 많이 있지만 대부분의 센서는 소수의 기업들만이 생산합니다. 게다가, interface electronics의 디자인으로 인해 동일한 센서가 달린 두 대의 카메라조차 성능과 특성이 매우 다를 수 있습니다. 과거에 카메라에는 이미지 센서로 Vidicons 및 Plumbicons과 같은 phototubes를 사용했습니다. 이제 phototubes는 더 이상 사용되지 않지만 센서 크기 및 형식과 관련된 전문 용어에 남긴 흔적은 지금까지 남아 있습니다. 오늘날, machine vision의 거의 모든 센서는 다음 두 가지 범주 중 하나로 분류됩니다. Charge-Coupled Device (CCD) 및 Complementary Metal Oxide Semiconductor (CMOS) imagers.

센서 구성

Charge-Coupled Device (CCD)

charge-coupled device (CCD)는 1969년에 미국, 뉴저지 주 소재 벨 연구소의 과학자들이 발명했습니다. 여러 해 동안, 이 기술은 digital astrophotography부터 machine vision inspection에 이르기까지 이미지 캡처를 위한 유력한 기술이었습니다. CCD 센서는 photosensitive sites가 배열된 실리콘 칩입니다(그림 1). Charge-coupled device라는 용어는 사실 칩 상에서 charge packets이 이동하는 방식(photosites에서 판독을 하는 shift register로)을 의미하며 bucket brigade의 개념과 유사합니다. Clock pulses는 capacitor에 의해 전압으로 변환시키기 전에 칩에서 charge packets을 이동시키기 위한 potential wells을 생성합니다. CCD 센서는 그 자체는 아날로그 장치이지만 출력은 칩에 내장되어 있거나 외장 형태인 디지털 카메라의 ADC(analog-to-digital converter)에 의해 곧바로 디지털 신호로 전환됩니다. 아날로그 카메라에서 각 site의 전압은 특별한 순서로 판독되며 signal chain의 특정 포인트에서 이미지 재구성을 위해 synchronization pulses가 추가됩니다.

Charge packets은 전송할 수 있는 속도로 제한되기 때문에 charge transfer는 CCD의 속도 저하 현상을 일으키는 주요 원인이 되지만 CCD의 높은 sensitivity와 pixel 간 일관성으로 이어지기도 합니다. 각 charge packet은 동일한 voltage conversion을 보기 때문에 CCD는 photosensitive sites 전체에 걸쳐 매우 균일합니다. Charge transfer는 또한 유한한 well depth 또는 charge capacity로 인해 하나의 photosensitive site에서 전하가 인접 sites로 넘치는 blooming 현상을 유발하기도 하는데 이는 센서의 유효 dynamic range에 상한값을 만들게 됩니다. 이 현상은 CCD 카메라의 이미지에 밝은 점으로부터의 번짐으로 표현됩니다.

CCD의 낮은 well depth를 보정하기 위해 fill factor를 증가시키기 위한 microlenses가 사용되거나, charge-coupled shift registers가 차지한 칩의 공간을 보정하기 위해 effective photosensitive area가 사용됩니다. 이를 통해 pixels 효율이 개선되지만 입사광의 angular sensitivity가 증가해 효율적인 집광을 위해 빛이 센서에 거의 직각으로 입사하도록 요구하게 됩니다.

그림 1: Charge-Coupled Device (CCD)의 블록 다이어그램

Complementary Metal Oxide Semiconductor (CMOS)

CMOS(complementary metal oxide semiconductor)는 1963년 Frank Wanlass가 발명했습니다. 하지만 1967년까지 특허를 취득하지 못했으며 1990년대까지는 이미징 용도로 널리 사용되지 못했습니다. CMOS 센서에서 photosensitive pixel의 전하는 pixel site의 전압으로 변환되고, 신호는 여러 개의 온칩 DAC(digital-to-analog converters)로 행과 열별로 다중 송신됩니다. 디자인 특성상 CMOS는 디지털 디바이스입니다. 각 site는 기본적으로 photodiode, 그리고 pixel 재설정 또는 활성화, 증폭 및 charge conversion, 그리고 선택 또는 다중 전송 기능을 수행하는 3개의 트랜지스터로 이루어져 있습니다(그림 2). 이로 인해 CMOS 센서는 속도가 빠르지만 sensitivity가 낮을뿐 아니라 여러 개의 charge to voltage conversion circuits 제조에 있어서의 불일치로 인해 높은 fixed-pattern noise가 발생합니다.

그림 2: CMOS(Complementary Metal Oxide Semiconductor)의 블록 다이어그램

CMOS 센서의 다중 전송 구성은 종종 electronic rolling shutter와 결합되곤 합니다. 하지만 pixel site에 트랜지스터를 추가하여 global shutter를 확보할 수 있는데 이 경우 모든 pixels이 동시에 노출된 뒤 순차적으로 판독됩니다. CMOS 센서의 또 다른 장점은 적은 전하 흐름 또는 전류로 인한 동급 CCD 센서 대비 낮은 전력 소모와 낭비를 들 수 있습니다. 또한 CMOS 센서는 blooming 없이 높은 light levels을 처리할 수 있어 높은 dynamic range의 특수 카메라에도 사용할 수 있으며 심지어 용접 이음매 또는 전구 필라멘트 촬영도 가능합니다. CMOS 카메라는 또한 디지털 CCD 카메라에 비해 크기가 작은 경향이 있는데 이는 디지털 CCD 카메라에는 별도의 off-chip ADC 회로가 필요하기 때문입니다.

CMOS 센서의 복층 MOS 제조 공정은 칩에 microlenses를 사용할 수 없어 CCD 센서에 비해 센서의 effective collection efficiency 또는 fill factor가 낮습니다. 이러한 낮은 효율은 pixel 간 불일치와 결합되어 CCD 센서 대비 낮은 signal-to-noise ratio 및 낮은 전체 이미지 품질로 이어집니다. CCD와 CMOS 센서의 일반적인 비교 내용을 보려면 표 1을 참조하십시오.

대체 센서 소재

Short-wave infrared (SWIR)는 이미징 분야에서 새롭게 떠오르는 기술입니다. 일반적으로 파장 범위가 0.9 – 1.7μm 사이인 빛으로 정의되지만 0.7 – 2.5μm 범위의 빛으로 분류할 수도 있습니다. SWIR 파장을 사용하면 밀도 변화뿐 아니라 안개와 같은 장애물을 뚫고도 이미지를 촬영할 수 있습니다. 하지만, 일반적인 CCD와 CMOS 이미지는 IR 파장에서 감도가 충분하지 않아 유용하지 않습니다. 그래서, 특수 indium gallium arsenide (InGaAs) 센서가 사용됩니다. InGaAs 소재는 band gap 또는 energy gap이 있어 infrared 에너지에서 photocurrent를 생성하는 데 유용합니다. 이 센서들은 보통 CMOS 센서 건설의 InGaAs photodiodes 어레이를 사용합니다. VIS와 SWIR 비교 이미지를 보려면 "SWIR이란 무엇인가?"를 참조하십시오.

SWIR보다 더 긴 파장에서는 thermal imaging이 유력합니다. 이를 위해서는 7 - 14μm 파장 범위에서의 감도를 위해 microbolometer array가 사용됩니다. microbolometer array에서 각 pixel에는 온도에 따라 변화하는 저항을 갖는 bolometer가 들어 있습니다. 이러한 저항 변화는 전자 공학에 의해 substrate에서 전압으로 변환되어 판독됩니다(그림 3). 이들 센서는 많은 infrared imagers와 달리 적극적인 냉각이 필요하지 않습니다.

그림 3: Microbolometer Sensor Array의 단면 도해

센서 특징

픽셀

이미지의 빛이 카메라 센서에 들어오면 pixels이라 불리는 작은 potential wells 매트릭스에 의해 집광됩니다. 이미지는 이러한 작고 불연속적인 pixel들에 분리 입력됩니다. 이 photosites의 정보는 표시할 모니터에 수집, 구성 및 전송됩니다. Pixels은 photodiodes 또는 photocapacitors로서 센서의 불연속적 위치에 입사된 빛의 양에 비례하는 전하를 생성하며 공간적으로 전하의 양을 제한하고 전하를 저장합니다. 픽셀이 incident photon을 전하로 변환할 수 있는 능력은 pixel의 quantum efficiency에 의해 지정됩니다. 예를 들어, 10개의 incident photons에 대해 4개의 photo-electrons이 생성된다면 quantum efficiency는 40%입니다. Solid-state imagers의 일반적인 quantum efficiency 값은 30 - 60% 사이입니다. quantum efficiency는 파장에 따라 달라지며 light intensity에 대한 반응이 균일하지 않을 수도 있습니다. 스펙트럼 응답 곡선은 종종 quantum efficiency를 파장의 함수로 지정합니다. 자세한 내용은 스펙트럼 특성의 본 응용 사례 단원을 참조하십시오.

디지털 카메라에서 pixels은 일반적으로 사각형입니다. 일반적인 pixel 크기는 3 - 10μm 사이입니다. 픽셀 개수만으로 센서를 지정하는 경우도 있지만 imaging optics에서 크기는 매우 중요합니다. 픽셀이 크면 일반적으로 charge saturation capacities 및 signal-to-noise ratios(SNRs)가 높습니다. 픽셀이 작으면 blooming과 같은 문제가 심각해지고 pixel crosstalk이 높은 spatial frequencies에서 contrast를 저하시키지만 고정된 센서 크기 및 배율에서 고해상도를 얻기가 아주 쉬워집니다. 센서 해상도의 간단한 측정법은 밀리미터당 pixels 수를 계산하는 것입니다.

아날로그 CCD 카메라의 픽셀은 직사각형입니다(세로가 더 김). 이는 대역폭 제한으로 인한 신호 표준의 주사선 수 제한때문입니다(NTSC의 경우 525 라인, PAL의 경우 625 라인). 비대칭 pixels로 인해 세로보다 가로축 해상도가 높습니다. 아날로그 CCD 카메라(동일한 신호 표준 사용)는 대개 동일한 세로 해상도를 갖습니다. 이런 이유로, 이미징 업계 표준은 가로 해상도 기준으로 해상도를 지정합니다.

그림 4: RGB Color 및 Infrared Blocking Filters가 있는 카메라 센서 Pixels 도해

센서 크기

카메라 센서의 활성 영역 크기는 시스템의 field of view (FOV) 결정에 중요합니다. 이미징 렌즈에 의해 결정된 고정된 기본 배율을 적용하면 센서가 클 수록 FOV가 더 커집니다. 몇 가지 표준 area-scan 센서 크기가 있는데 ¼", 1/3", ½", 1/1.8", 2/3", 1", 그리고 1.2"가 있으며 이보다 더 큰 것도 있습니다(그림 5). 이들 표준에 사용되는 용어의 기원은 TV 방송용 이미저에 사용된 Vidicon 진공관으로 거슬러 올라갑니다. 따라서 센서의 실제 규격에 차이가 있음을 유념해야 합니다. 참고: 센서 크기와 규격 사이에 직접적인 연관은 없습니다. 이것은 그저 전통 규약일뿐입니다. 하지만 이들 표준 대부분은 4:3 (가로: 세로) 가로 세로 비율을 갖고 있습니다.

이미징 용도에서 자주 발생하는 한 가지 이슈는 이미징 렌즈의 특정 센서 크기 지원 능력입니다. 센서가 렌즈 디자인용으로 너무 크면 vignetting(이미징 렌즈의 가장자리를 통과하는 빛의 감쇠)으로 인해 이미지 결과가 흐려지고 가장자리로 갈수록 품질이 저하될 수 있습니다. Field 가장자리가 어두워지기 때문에 이것을 tunnel effect라 부릅니다. 센서 크기가 작아지면 이 vignetting 문제가 생기지 않습니다.

Frame Rate 및 셔터 속도

Frame rate는 1초에 표시되는 전체 프레임 수(두 개의 field로 구성됨)를 의미합니다. 예를 들어, 30 frames/second의 frame rate를 갖고 있는 아날로그 카메라에는 2개의 1/60초 field가 포함되어 있습니다. 고속 카메라에서는 피사체가 FOV를 통과할 때 더 많은 피사체 이미지를 촬영할 수 있도록 더 빠른 frame rate를 선택하는 것이 유용합니다.

그림 6: 셔터 속도, Fields, 그리고 Interlaced Display용 Full Frame 간의 관계

셔터 속도는 센서의 노출 시간에 해당됩니다. 노출 시간은 입사광의 양을 제어합니다. 카메라 blooming (과다 노출이 원인)은 조명을 줄이거나 셔터 속도를 높여 제어할 수 있습니다. 셔터 속도를 높이면 초당 30회의 샘플링만 되는 역동적인 피사체의 스냅샷 생성에 도움이 됩니다(라이브 비디오).

Frame rate가 디스플레이에 표시되는 경우가 많은 아날로그 카메라와 달리 디지털 카메라에서는 frame rates를 조절할 수 있습니다. 시스템의 최대 frame rate는 센서 판독 속도, 배선을 포함한 인터페이스의 데이터 전송 속도, 그리고 픽셀 수(프레임 당 전송되는 데이터 양)에 좌우됩니다. 경우에 따라 pixel binning 또는 AOI(area of interest) 제한을 통해 해상도를 줄임으로써 더 높은 frame rate에서 카메라를 작동할 수 있습니다. 이렇게 하면 프레임 당 데이터 양이 감소해 고정된 전송 속도로 더 많은 프레임을 전송할 수 있습니다. 대략적으로, 노출 시간은 frame rate에 반비례합니다. 하지만, 많은 카메라들이 다음 시간을 노출하는 동안 판독할 수 있는 능력(pipelining)을 갖고 있지만 pixel 재설정 및 판독 과정으로 인해 노출 사이에 최소한의 한정된 시간이 존재합니다(약, 수 백 마이크로초). 이 최소 시간은 대개 카메라 datasheet에서 찾아볼 수 있습니다. Pixels binning 및 AOI(area of interest)에 대한 자세한 내용을 보려면 Imaging Electronics 101: 보다 개선된 이미징 결과를 위한 디지털 카메라 설정의 기본 사항을 참조하십시오.

CMOS 카메라는 각각의 pixel 판독 과정을 CCD 센서의 shift register에서 charge transfer를 통한 것보다 더 빨리 수행할 수 있어 더 높은 frame rates를 가질 수 있는 잠재력이 있습니다. 디지털 카메라의 경우 수십 초에서 몇 분까지 노출을 할 수 있지만 가장 긴 노출은 CMOS에 비해 dark currents와 noise가 적은 CCD 카메라를 통해서만 가능합니다. CMOS imagers 특유의 noise는 유효 노출 시간을 수 초 정도로 제한합니다.

전자식 셔터

몇 년 전까지 CCD 카메라는 electronic 또는 global shutters를 사용했으며, 모든 CMOS 카메라는 rolling shutters만 사용할 수 있었습니다. Global shutter는 모든 pixel이 동시에 노출 및 샘플링되고, 판독이 순차적으로 이루어지며 모든 pixel에 대해 집광이 동시에 시작되고 중지된다는 점에서 기계식 셔터와 비슷합니다. Rolling shutter는 노출, 샘플링, 그리고 판독을 순차적으로 수행합니다. 이는 각각의 이미지 라인이 약간 다른 시간에 샘플링됨을 의미합니다. 움직이는 피사체의 이미지는 rolling shutter에 의해 왜곡됩니다. 이 효과는 lines overlap을 결합할 때 적용되는 triggered strobe를 통해 최소화할 수 있습니다. 이 문제는 저속에서는 발생하지 않는다는 점을 유념하십시오. CMOS용 global shutter 구현에는 표준 rolling shutter 모델에 비해 보다 복잡한 구성이 필요하며 별도의 트랜지스터와 storage capacitor를 추가해야 하는데 이로 인해 pipelining(이전 프레임 판독 중에 다음 프레임 노출 시작)도 가능하게 됩니다. CMOS 센서에서의 global shutters 사용 가능성이 점차 증가하면서 CCD와 CMOS 카메라 모두 고속 동작 촬영 용도로 유용해지고 있습니다.

Global 및 rolling shutters와는 대조적으로 asynchronous shutter는 픽셀의 triggered exposure를 의미합니다. 다시 말해, 카메라가 이미지를 촬영할 준비가 되어 있지만 외부 triggering signal을 수신하기 전에는 픽셀을 활성화하지 않습니다. 이는 셔터 내부 triggering으로 생각할 수 있는 일반적인 constant frame rate와는 대조적입니다.

그림 7a: Global 및 Rolling Shutters에서의 Motion Blur 비교. Global Shutter (좌) 및 Rolling Shutter (우)를 사용했을 때의 저속으로 움직이는 컨베이어 상의 센서 칩

그림 7b: Motion Blur 비교. Triggered Global Shutter (좌) 및 Continuous Global Shutter (우)를 사용했을 때의 고속으로 움직이는 컨베이어 상의 센서 칩

센서 탭 (Sensor Taps)

카메라 센서의 판독 속도를 늘리는 한 가지 방법은 센서에 여러 개의 탭을 사용하는 것입니다. 이는 한 개의 output amplifier와 ADC를 사용해 모든 pixel을 순차적으로 읽는 대신 field를 분할해 여러 개의 출력으로 읽는 것을 의미합니다. 이것은 보통 field의 왼쪽과 오른쪽을 구분해 읽는 dual tap으로 간주됩니다. 이 방법은 frame rate를 효과적으로 배가시키고 소프트웨어를 통해 이미지를 쉽게 재구축할 수 있습니다. Sensor taps 사이의 gain이 같지 않거나 ADC가 흔히 그런 것처럼 약간 다른 성능을 갖고 있으면 재구성된 이미지가 일치하지 않게 됩니다. 좋은 소식 하나는 이 문제를 보정할 수 있다는 것입니다. 수 백만 개 이상의 pixel을 갖고 있는 많은 대형 센서들은 여러 개의 sensor tap을 사용합니다. 대부분의 경우 이것은 progressive scan 방식 디지털 카메라에만 적용됩니다. 그렇지 않으면 디스플레이에 어려움이 따를 것입니다. Multiple tap sensor의 성능은 카메라 내부 하드웨어 구현에 크게 좌우됩니다.

스펙트럼 특성

흑백 카메라

CCD와 CMOS 센서는 350 - 1050nm 의 파장에 민감한데 이 파장 범위는 보통 400 - 1000nm 사이로 주어집니다. 이 sensitivity는 센서의 스펙트럼 응답 곡선에 의해 표시됩니다(그림 8). 대부분의 고품질 카메라는 VIS 스펙트럼에서의 이미징을 위해 적외선(IR) 차단 필터를 제공합니다. 이 필터들은 NIR imaging을 위해 제거할 수 있습니다.

그림 8: 일반적인 흑백 CCD의 규격화된 스펙트럼 응답

CMOS 센서는 보통 CCD 센서에 비해 IR 파장에 민감합니다. 이는 active area depth 증가로 인한 것입니다. photon의 투과 깊이는 photon의 주파수에 따라 달라지므로 주어진 active area 두께에 대해 깊이가 깊어질수록 보다 적은 수의 광전자가 생성되고 quantum efficiency가 감소합니다.

컬러 카메라

Solid state sensor는 photoelectric effect를 바탕으로 하며 결과적으로 색상을 구분할 수 없습니다. 컬러 CCD 카메라는 single chip과 three-chip의 두 가지가 있습니다. Single chip 컬러 CCD 카메라는 일반적인 저가 이미징 솔루션을 제공하며 mosaic(예: Bayer) optical filter를 사용해 입사광을 일련의 색상들로 분리합니다. 그런 뒤 각 색상별로 다른 pixels로 전달됩니다(그림 9a). 모자이크 패턴의 정교한 레이아웃은 제조업체에 따라 달라집니다. 컬러 인식을 위해 더 많은 pixels이 필요하기 때문에 single chip 컬러 카메라는 흑백 카메라에 비해 해상도가 낮습니다. 이 문제의 범위는 제조업체별 color interpolation 알고리즘에 따라 달라집니다.

그림 9a: Mosaic Filter를 사용해 컬러를 구분하는 Single-Chip 컬러 CCD 카메라 센서

Three-chip 컬러 CCD 카메라는 프리즘을 이용해 입사 스펙트럼의 각 부분을 서로 다른 칩으로 전달해 이 해상도 문제를 해결하도록 고안되었습니다(그림 9b). 피사체의 각 지점이 구분된 RGB intensity 값을 갖기 때문에 컬러 구분을 위해 알고리즘을 사용하는 것보다 더 정확한 컬러 재현이 가능합니다. Three-chip 카메라는 극히 높은 해상도를 제공하지만 light sensitivities가 낮고 비쌀 수 있습니다. 일반적으로 색상 보정이 잘 되어 있어야 하고 변경된 optical path를 보정하며 C-mount의 경우 rear lens 돌출에 대비한 유격이 작은 특수 3CCD 렌즈가 필요합니다. 결국, single chip을 선택할 것인지, 아니면 three-chip을 선택할 것인지는 용도에 따른 요구 사항에 의해 결정됩니다.

그림 9b: 프리즘을 사용해 컬러를 분산시키는 Three-Chip 컬러 CCD 카메라 센서

카메라 시스템의 가장 기본적인 요소는 센서입니다. 기술 유형 및 특징이 전체 이미지 품질을 크게 좌우하므로 카메라 센서 사양을 이해하는 방법을 알고 있으면 최상의 이미징 광학 부품 선택에 큰 도움이 됩니다. Imaging electronics에 대한 보다 많은 정보를 보려면 카메라 해상도, 카메라 종류, 그리고 카메라 설정에 관련된 추가 imaging electronics 101 시리즈를 참조하십시오.