"Ночью все кошки серы". Смысл этой поговорки стал понятен после того, как стало известно, каким образом устроено человеческое зрение. Человеческий глаз содержит два вида светочувствительных рецепторов — "колбочки" и "палочки", названные так из-за своей формы. Помимо формы, рецепторы различаются и функциями, в частности, "колбочки" отвечают за цветовое восприятие окружающего мира — одна часть реагирует на красно-оранжевые лучи, другая на зелёные, а третья на синие. "Палочек" же в 18 раз меньше, и цветовые оттенки они различать не могут, зато гораздо лучше воспринимают слабый свет, обеспечиваю ночное и сумеречное зрение. Становится понятным, почему кошки ночью серы — для реакции "колбочек" света не хватает, а палочки не в состоянии передать информацию о цвете.
Пользуясь этой аналогией, можно сказать, что ПЗС-матрица "видит" только "палочками" — её светочувствительные элементы не в состоянии различать цветовые оттенки. Поэтому для ПЗС-сенсоров, используемых в цифровых камерах, кошки серы не только ночью, но и днём. Тем не менее, кадры, получаемые с помощью цифровой фототехники — цветные. Таким образом, цифровые камеры всё-таки обрели способность различать цвета, причём не одним, а несколькими способами.
Один из самых первых вариантов базировался на троекратном экспонировании объекта съёмки, при этом перед объективом либо прямо перед матрицей поочерёдно устанавливался светофильтр красного, синего и зелёного цвета (такие цвета именуются основными, так как их сочетанием можно получить любой цветовой оттенок). Использовавшие такой метод системы получили название мультиэкспозиционных, а замена светофильтров производилась посредством цветового колеса (color wheel) — диска с тремя радиально расположенными отверстиями, снабжёнными синим, красным и зелёным светофильтрами. Полученные три кадра передавались в компьютер, в котором с помощью специализированного программного обеспечения снимки "суммировались" в один полноцветный кадр.
Необходимо отметить, что до появления в тридцатых годах XX века трёхслойных фотоплёнок, позволявших регистрировать цветное изображение, почти такой же способ использовался некоторыми энтузиастами художественной и научной фотографии. Одним из них был Сергей Михайлович Прокудин-Горский (1863-1944), отснявший в начале XX века порядка 10 000 фотографий, сохранивших всё многообразие Российской империи того времени. На его снимках запечатлены бухарский эмир и крестьяне Рязани, речной пароход и сельский храм — и что самое главное, изображения полностью передают все цветовые оттенки объекта съёмки.
Для фотографирования Сергей Михайлович использовал небольшой складной фотоаппарат, в котором использовались фотопластины нестандартного размера — 88X232 мм. Такое соотношение длины к ширине диктовалось необходимостью запечатлеть на одной перемещающейся сверху вниз пластине сразу три кадра — "синий", "красный" и "зелёный". К сожалению, не сохранилось подробное описание конструкции фотоаппарата, однако известно, что на экспонирование каждого из участков ("синего", "красного" и "зелёного") пластины затрачивалось от 1 до 3 секунд, интервал между экспозициями составлял порядка секунды. Отснятые кадры при помощи трёх проекторов, сфокусированных в одну точку, можно было проецировать на экран, подобно нынешним слайдам.
Однако Прокудин-Горский столкнулся с одной серьёзной проблемой — поскольку суммарное время съёмки могло доходить до десятка секунд, то для того, чтобы изображения не были "смазанными", в течение фотографирования объект съёмки должен был оставаться абсолютно неподвижным. Именно поэтому все портретные снимки отличаются статичностью персонажей, а из "неживых" объектов чаще всего встречаются архитектурные сооружения и пейзажи. В тех случаях, где имелось малейшее шевеление фотографируемого объекта, его изображение становилось нечётким, а контур приобретал цветной ореол.
Аналогичные проблемы характерны и для мультиэкспозиционных систем, которые, в конечном итоге, использовались только для съёмки в специально оборудованном помещении (студии) и явились родоначальниками студийной цифровой фототехники. Очевидно, что разработчикам цифровой техники необходимо было довести до минимума интервал, затрачиваемый на смену светофильтров. Очевидно также, что механические устройства, вроде цветового колеса, требуемое быстродействие обеспечить не в состоянии. Поэтому решено было использовать жидкокристаллические светофильтры (ЖК-светофильтры), называемые в англоязычной литературе liquid crystal tunable filter (LCTF).
ЖК-светофильтры представляют собой многослойную структуру из жидких кристаллов. Каждый из слоёв обладает возможностью "отсекать" лучи с длиной волны, не соответствующей пропускаемому диапазону — таким образом, можно разделить "синюю", "красную" и "зелёную" составляющие снимка. Сама же фильтрация основана на взаимной интерференции (то есть взаимопогашении) световых волн с определённой длиной волны в слое активированных электрическим сигналом жидких кристаллов. Подавая сигнал поочерёдно на каждый из слоёв, можно добиться времени переключения порядка 50 миллисекунд. ЖК-светофильтры, помимо минимальных интервалов переключения, отличаются также простотой и надёжностью, так как отсутствуют какие-то ни было механические устройства. Тем не менее, даже у столь совершенного технического решения нашлись минусы. Первая проблема связана с неравномерностью свечения газоразрядной лампы, используемой в импульсных осветителях — вспышках. Яркость сначала нарастает, затем уменьшается, таким образом, для первой и последней экспозиций "порция" света, отражённого от объекта съёмки, будет меньше. Можно попытаться решить проблему, инициируя вспышку чуть раньше открытия затвора и выключая лампу чуть позже его закрытия. В конце концов, можно использовать источники постоянного света (в том числе и солнце), однако тут возникает другая проблема.
Если просуммировать интервалы, занимающие два переключения фильтра (что обеспечивает получение трёх изображений), то даже без учёта выдержки они займут 100 миллисекунд. При выдержке 1/300 секунды три кадра ("синий", "красный" и "зелёный") в сумме дадут время экспонирования порядка 100 миллисекунд. Общие затраты времени составят 200 миллисекунд, то есть "эквивалентная выдержка" составит 1/5 секунды. Как показывает практика, движущиеся объекты при такой выдержке получаются смазанными, а при "разноцветном" экспонировании произойдёт расслаивание цветовых составляющих, и кадр будет безнадёжно испорчен.
Ещё одним слабым звеном является время считывания информации с ПЗС-матрицы, которое также увеличивает интервал между экспозициями. При доведении скорости считывания, а также времени переключения ЖК-светофильтра до приемлемых величин, мультиэкспозиционные приставки можно будет использовать для съемки "живых" объектов при постоянном освещении (или модификации работы вспышки) и выдержках не меньше 1/1000, что, в свою очередь, требует очень высокой чувствительности ПЗС-матрицы и светосильной оптики.
Таким образом, на текущем технологическом уровне для полноцветной съёмки движущегося объекта необходимо ограничиться одной экспозицией. К этому же выводу пришёл и Прокудин-Горский, запатентовавший в 1922 году камеру, в которой световой поток при помощи системы призм разделялся на три части, каждая из которых представляла собой одну из цветовых составляющих снимка — синюю, красную либо зелёную. В результате достаточно было одного срабатывания затвора для получения полноцветного изображения. Однако спустя короткий промежуток времени появились многослойные цветные плёнки, позволявшие обойтись без довольно громоздкой системы призм.
После того, как схема с системой призм, расщепляющих световой поток на "разноцветные" составляющие, попадающие на три разных матрицы, выяснилось, что минусы такого похода не только в громоздкости конструкции. Необходимость использовать три матрицы вместо одной вела к резкому удорожанию фотоаппарата.
Система призм, как и любая другая оптическая система, вносила дополнительные геометрические и хроматические аберрации, искажающие изображение, сформированное объективом. Наконец, каждая из матриц имела свою картину распределения шумов, при сложении изображений с "синей", "красной" и "зелёной" матриц нередко происходило "наложение" шумов, что приводило к заметному ухудшению снимка. Все вышеперечисленные недостатки привели к тому, что система с расщепляющими призмами в основном получила применение в видеокамерах. В технике такого рода к качеству отдельного кадра требования не столь высокие, как в фотографии, а стандарт видеозаписи позволяет использовать матрицы с невысоким разрешением, что, в свою очередь, удешевляет камеру. Из цифровых фотоаппаратов наиболее широко известна студийная камера Foveon II, которая, впрочем, не получила популярности.
В конечном итоге большинство имеющихся на рынке цифровых фотокамер всех категорий (студийных, профессиональных и любительских) используют схему "одна матрица — одно экспонирование", то есть затвор срабатывает один раз, а изображение, сформированное объективом, попадает на одну, а не на несколько матриц. Правда, можно сказать, что при данной схеме три матрицы определённым образом объединены в одной.
Описываемое техническое решение получило целый ряд наименований — "схема с чередованием элементов", "схема с мозаичным светофильтром", "Байеровская схема", "схема с интерполяцией цвета". Самое интересное заключается в том, что, во-первых, все эти названия совершенно оправданны, а во-вторых, подобная технология использовалась в автохромном методе цветной фотографии.
Данный метод, именуемый также растровой фотографией, основан на разделении цветов не в трёх, а в одном светочувствительном слое фотопластинки, содержащей окрашенный растр, то есть набор точек разного цвета. В результате при экспонировании на фотослое появлялось три "перемешанных" изображения — каждое содержало оттенки одного из основных цветов. Растр, как правило, состоял из равномерно перемешанных прозрачных зёрен крахмала, окрашенных в оранжевый, зелёный и фиолетовый цвета, и располагался между стеклом и светочувствительным слоем. Размер этих зёрен не превышал 0,01 мм, то есть лежал за пределами разрешающей способности глаза, поэтому контуры изображения были довольно чёткими. Ничего удивительного в этом нет — ведь изображение, печатаемое струйным принтером, тоже состоит из множества мельчайших точек — хотя и разного размера, но всего трёх-семи цветов. Тем не менее, даже при внимательном рассмотрении снимков, напечатанных современным струйным принтером, глаз не в состоянии разглядеть отдельные точки.
Первые автохромные фотопластинки были выпущены в 1907 году фирмой "Люмьер". Однако чувствительность этих фотоматериалов была невелика, а тиражирование такого рода изображений оказалось довольно сложной задачей, поэтому уже в середине тридцатых годов наибольшей популярностью стали пользоваться трёхслойные фотоплёнки.
В общем виде схема с интерполяцией цвета использует некое подобие шахматной доски из миниатюрных светофильтров (размер каждого соответствует габаритам пиксела матрицы) трёх и более цветов, "наложенной" поверх матрицы. Таким образом, каждый элемент матрицы улавливает световое излучение строго определённого основного цвета, и при считывании данных с матрицы имеются три (или более) изображения — каждое из оттенков одного из основных цветов, то есть точно так же, как и в случае с автохромным методом. Правда, изображения эти неполноценные и пестрят "дырками" в тех местах, где поверх матрицы были расположены светофильтры иного цвета. Поэтому если "сложить" три (или более) изображения, получится своеобразная мозаика, в которой каждый пиксел является оттенком того или иного основного цвета (синего, красного либо зелёного). Чтобы получить полноцветное изображение, необходимо произвести интерполяцию цвета, то есть восстановление значений всех основных цветов для каждого пиксела матрицы. Для большинства матриц применяется Байеровская схема (которую разработал в 1975 году Bryce Bayer, сотрудник фирмы Kodak), при которой на один синий и на один красный элемент приходятся по два зелёных (именуемая также red-green-blue-green, RGBG). Такая "дискриминация" вызвана тем, что человеческое зрение наиболее чувствительно к зеленым оттенкам, да и спектральная чувствительность ПЗС-матриц максимальна как раз в "зелёной" области спектра.
В крайне упрощённом виде алгоритм интерполяции цвета "по Байеру" можно описать следующим образом. Имеется "синий" пиксел, окруженный четырьмя "зелеными" и четырьмя "красными". Берется среднее значение между верхним и нижним "зелеными" пикселами, затем среднее между левым и правым. Далее из этих двух средних значений вычисляется третье, и присваивается нашему "синему" пикселу в качестве зеленой составляющей. Подобная процедура повторяется с "красными" пикселами, после чего получается полноцветный пиксел.
Следует отметить, что самый ранний вариант схемы с интерполяцией цвета, использованный в первой цифровой "зеркалке" фирмы Kodak, модели DCS-100, заметно отличался от вышеописанного формата RGBG. Количество "зеленых" элементов составляло 75 %, "красных" и "синих" — по 12,5 %, а размещались они не в виде шахматной доски, а полосками.
Такое расположение вызывало серьезные трудности при расчете цвета вертикальных линий объектов. В то же время избыток "зеленых" элементов ПЗС-матрицы позволил достигнуть эквивалентной чувствительности 100 единиц по ISO, кроме того, она могла быть повышена до 200, 400 и даже 800 единиц. Тем не менее, погрешности, связанные с нестандартным расположением светофильтров, привели к скорому отказу от этой схемы — уже следующая модель, DCS-200, была оснащена матрицей с ныне привычной мозаикой формата RGBG. В ряде случаев в схеме RGBG цвета некоторых светофильтров могут быть другими. Например, фирма Leaf при разработке в 1995 году студийной цифровой камеры CatchLight заменила каждый второй "зелёный" элемент сине-зеленым (teal), за счет чего повысилась чувствительность к синим оттенкам. В появившейся в 2003 году модели Sony DSC-F828 используется матрица, в которой каждый второй "зелёный" элемент заменён зелёно-голубым (почти циановым). Новый цвет почему-то назван "изумрудным" (emerald), а схема получила название RGBE.
Согласно утверждениям разработчиков Sony, "изумрудные" элементы должны расширить регистрируемый цветовой охват и обеспечить более точную цветопередачу.
Ещё чаще применяется так называемая субтрактивная Байеровская схема, в которой используются основные цвета субтрактивного синтеза — циановый, пурпурный и жёлтый (cyan-magenta-yellow, CMY). В первоначальном варианте разработчики ограничивались этими цветами, но практически сразу же в "мозаику" был добавлен зелёный — по причине чувствительности к нему как человеческого глаза, так и ПЗС-элементов, а вся схема получила обозначение CMYG.
Переход на субтрактивные основные цвета обосновывался особенностями технологии производства светофильтров. Тонкие пленки, наносимые на элементы матрицы, образуются CMY-красителями. Например, красный — комбинация пурпурного и желтого красителей, синий — пурпурного и цианового, зеленый — желтого и цианового. Используя только один слой красителя вместо двух, можно улучшить светопроницаемость светофильтра и повысить чувствительность матрицы.
Основное препятствие на пути распространения схем CMY и CMYG вызвано повышенной сложностью при расчете цвета. Дело в том, что диапазон цветов, генерируемых аддитивным и субтрактивным синтезами, разный — с помощью модели RGB оттенков генерируется больше, а погрешностей цветопередачи меньше.
Впрочем, для любых вариантов Байеровской схемы характерны одни и те же проблемы. Регулярная структура размещения элементов, "наложенная" на регулярный рисунок поверхности фотографируемого объекта нередко приводит к появлению муара — разноцветных узоров на тех областях снимка, где их ни в коем случае не должно быть. Возможность появления данного искажения зависит от сложности алгоритма, ответственного за расчет цвета. Если при расчете каждого пиксела используется сплайн-интерполяция с учётом элементов, расположенных на расстоянии 10 и более точек, вероятность возникновения муара заметно уменьшается. Конечно, хорошо бы для расчета каждой точки использовать информацию обо всех элементах матрицы данного цвета, но для таких интенсивных расчетов требуются высокопроизводительные микропроцессоры и сверхбольшие объемы ОЗУ.
Однако существует альтернативный метод, позволяющий снизить вероятность появления муара. Он основывается на внесении некоторой псевдослучайности в размещении "синих" и "красных" элементов и использует модифицированные Байеровские схемы с опорными группами, состоящими не из четырёх элементов (RGBG), а из 12 либо 24.
Псевдослучайное расположение элементов с опорной группой в 12 пикселов обеспечивает меньшую склонность к муару, вызванному повторяющимся вертикальным либо горизонтальным узором на поверхности объекта. Впрочем, сохраняется предрасположенность к муару, вызванному линиями с наклоном влево, так как в самой матрице регулярно чередуются диагонали с преимущественно "синими" и преимущественно "красными" элементами. Кроме того, при восстановлении цвета программному обеспечению необходимо "помнить" схему размещения опорных групп. Вызвано это тем, что у некоторых "зелёных" пикселов окружение из пар "синих" и "красных" соседей организовано особым образом. Они не сгруппированы по вертикальной либо горизонтальной оси, а находятся "один слева, второй снизу" или же "один справа, другой сверху". В результате вырастает сложность вычислений и объём используемой памяти.
При использовании опорной группы из 24 элементов опасность возникновения "диагонального" муара ликвидирована, так как на всех диагоналях плотность размещения "синих" и "красных" элементов одинакова. Однако эта схема требует ещё больших затрат памяти и более производительного процессора.
Даже после того, как схема с интерполяцией цвета уверенно обосновалась в студийной цифровой фототехнике, многие фотографы продолжали использовать мультиэкспозиционные системы. Аргументировали они это тем, что применение мозаичного светофильтра оставляет "за бортом" 50 % информации о "зелёной" составляющей снимка и по 75% информации о "красной" и "синей" составляющих. Поэтому решено было объединить системы с интерполяцией цвета с мультиэкспозиционной технологией. Однако в этом случае при каждой экспозиции происходит не смена светофильтров, а смещение матрицы по вертикали и горизонтали на дистанцию, равную шагу размещения пикселов
Благодаря этому каждая точка изображения, формируемого объективом, регистрируется многократно, причем пикселами со светофильтрами разного цвета. Таким образом, получается изображение с неинтерполированным цветом. Конечно же, несмотря на то, что время захвата составляет всего несколько секунд, в таком мультиэкспозиционном режиме можно снимать только неподвижные предметы. Однако при однократной экспозиции и интерполяции цвета сохраняется возможность вести съемку движущихся объектов. Именно благодаря гибкости применения эти модели студийной цифровой фототехники получили название многофункциональных приставок. В многофункциональных приставках смещение матрицы осуществляется прецизионными пъезоприводами, шаг перемещения которых измеряется в нанометрах. На текущий момент данная категория студийной техники практически полностью вытеснила мультиэкспозиционные системы.
Впрочем, схема с интерполяцией цвета с недавних пор обрела соперника в лице матриц многослойной структуры, в которых основные цвета регистрируются в каждом пикселе и при однократной экспозиции. Основной разработчик сенсоров серии X3, использующих "слоёную" технологию, фирма Foveon, сравнивает эффект от появления многослойных матриц с эффектом, возникшим при создании трёхслойных цветных плёнок, в которых также цвет регистрируется в каждой точке. Ну а существующую схема с интерполяцией цвета, по мнению разработчиков Foveon, должна постигнуть участь автохромного метода — то есть забвение. Стоит заметить, что Foveon уже зарекомендовала себя в качестве "непримиримого борца с мозаичным светофильтром", и первая попытка избавить цифровые фотоаппараты от этого "рудимента" вылилась в создание камеры Foveon II с расщеплением света посредством призм, однако эта модель популярности не снискала.
В основе новой разработки используется разделение изображения на основные цвета за счет того, что коэффициент поглощения светового излучения зависит от его длины волны, поэтому фотоны "разного цвета" проникают в слой кремния на разную глубину. Например, "синие волны" обладают наименьшей проникающей способностью, а "красные" — наибольшей. В сенсоре Foveon светочувствительный элемент каждого пиксела состоит из трех слоев.
Слои эти входили друг в друга, как матрёшки. Чередуясь по типу основных носителей (n-типа и p-типа), каждый следующий слой образовывал новую потенциальную яму — в зависимости от слоя, для электронов либо для "дырок". Толщина и материал подбирались таким образом, чтобы разделение проникающих фотонов происходило именно по тем диапазонам спектра, которые содержат основные цвета. Затем потенциалы ям считывались, и каждый пиксель получал "истинное неинтерполированное" значение цвета. Но как у каждой новой технологии, у этой схемы есть ряд побочных эффектов. Вот лишь некоторые из них.
Хорошо известно негативное влияние блюминга — переполнения потенциальной ямы пиксела с "разливом" избыточного заряда по соседним пикселам. Изучены также сложности, возникающие при нейтрализации этого эффекта. В многослойных матрицах блюминг становится "трехмерным" — избыточный заряд может перетекать не только в соседние пикселы, но и в "чужие" слои. При этом вертикальный электронный дренаж (то есть подача на подложку матрицы потенциала, "вытягивающего" избыточные электроны из потенциальной ямы ) практически невозможен — ведь "разноцветные" ямы пиксела расположены одна над другой. Ну а реализация бокового дренажа (то есть своеобразной "канавки" рябом с потенциальной ямой, в которую можно "сбросить" избыточный заряд) приводит к значительному уменьшению площади светочувствительной области.
Следует помнить, что при распределении фотонов по слоям часть их неизбежно будет поглощена при переходе из одного слоя в другой. В результате чувствительность матрицы опять-таки ослабляется. При съемке с максимально открытой диафрагмой увеличивается процент лучей, падающих на поверхность сенсора под большим углом. Даже в обычных матрицах данная проблема требует применения непрозрачной решётки либо микролинз. В многослойных ЭОП преломление света на стыке слоев матрицы может привести к проникновению в "чужой" слой фотонов, попавших в пиксел под большим углом.
Однако предположим, что разработчикам каким-то образом удалось разрешить все вышеперечисленные проблемы. Означает ли это, что многослойные матрицы при этом раз и навсегда заменят сенсоры "классической" конструкции? Вряд ли.
При одинаковом разрешении и равных габаритах потенциальные ямы пикселов матриц, построенных по Байеровской схеме, всегда будут обладать большей глубиной, чем у "слоеных" сенсоров. Соответственно, шире будет и динамический диапазон. Человеческий глаз устроен таким образом, что яркость для него важнее, чем цвет. И если кадр идеален по цветопередаче, но все освещенные участки представляют собой белые пятна, а тени — черные, то такое изображение никто не назовет удачным снимком — ни профессионал, ни любитель
Динамика продаж фотоаппаратов Sigma SD9 и SD10 , оборудованных трёхмегапиксельными "слоёными" сенсорами Foveon серии X3, отнюдь не поражает воображение. И решение аутсайдера рынка любительской цифровой фототехники, фирмы Polaroid, выйти на рынок с камерой, снабжённой полуторамегапиксельной, хотя и многослойной, матрицей, ничего, кроме удивления не вызывает — на текущий момент любительские фотоаппараты повсеместно оснащаются восьмимегапиксельными матрицами
В целом вряд ли можно утверждать, что матрицы с интерполяцией цвета в скором времени перестанут пользоваться интересом среди разработчиков цифровой фототехники. Ведь в отличие от автохромных фотопластинок фирмы "Люмьер" цифровые "зёрна крахмала" обладают весьма надёжным тылом в виде производительных процессоров и "хитрых" алгоритмов, позволяющих с получить полноцветное изображение объекта съёмки, на 99,99% соответствующее оригиналу.