Как исправить смаз на фото

Нерезкие фото, нечёткие фото, смазанные фото — если вы хоть раз брали в руки что-то, что умеет фотографировать, вы наверняка сталкивались с этой проблемой. И она становится проблемой в квадрате, потому что часто советы по борьбе со смазом противоречат друг другу. Дело в том, что у смаза (нерезкости, нечёткости) бывает как минимум 7 причин. И бороться с ними придётся 7 разными способами. Разбираемся во всех тонкостях в этом материале.

Иногда смаз может выглядеть красиво. Но далеко не всегда / Фото: unsplash.com

Смазанные фото при съёмке движения
Что делать, если укорачивать выдержку некуда
Смазанные фото из-за движения рук или шевелёнка
Классическая ошибка по фокусу
Проблемы с фокусировкой в темноте
Проблемы с фокусом из-за движения объекта на камеру
Недостаточная ГРИП
Какие смазы говорят о поломке объектива

В одной ветке комментариев в группе, посвящённой фотографии, я видела дивную (и очень типичную) дискуссию. Если коротко, её суть:

— Снимаю корпоративы в помещении на младшую зеркалку. Фото получаются нерезкие, помогите!

— А диафрагма какая?

— 1.4

— Это все потому, что у вас маленькая ГРИП. Закрывайтесь до 8 и будет вам счастье.

— Попробовала. Стало ещё хуже. Были чуть-чуть нерезкие, стали совсем размазанные. Запорола съёмку.

— Ну, не знаю тогда. Мне помогает.

И проблема нерезких фото у новичка, и совет, и то, что он не помогает — здесь всё крайне типично. Первая проблема в том, что под словом «нерезкие» у человека малоопытного могут скрываться разные проблемы. Вторая — в том, что смаз бывает очень разным. И бороться с ними нужно по-разному. И закрытая диафрагма может помочь бороться только с двумя типами проблем. И то, это далеко не лучший метод. Давайте обо всём по порядку.

Слева смаз, справа недофокус. И это совершенно разные вещи / Фото: unsplash.com

Смазанные фото при съёмке движения

Смаз движения объекта — очень частая проблема. Возникает, когда вы снимаете что-то относительно подвижное: танцующую пару, играющих детей, бегущего котика, едущие по дороге автомобили.

Выглядит примерно так: движущийся объект (или отдельные его части, например, кисти рук) размыты, всё остальное относительно чёткое

Лицо девушки чёткое, рука размазалась от быстрого движения / Фото: unsplash.com

Единственный метод борьбы со смазом движения: подбор правильного значения выдержки. Максимально длинная выдержка, которую стоит использовать:

• для статично позирующей группы людей — 1/30 (осторожно, может появиться смаз движения рук, о нём в следующем разделе);
• для медленного движения (йога, спокойная ходьба) — 1/100;
• для быстрого движения (бег, животные, играющие дети) — 1/500;
• для очень быстрого движения (профессиональный спорт, автомобили и т.п.) — 1/1000.

В плане контроля выдержки, удобнее всего снимать в режиме приоритета выдержки (Tv или S в зависимости от системы).

Что делать, если укорачивать выдержку некуда

Предположим, вы снимаете в танцующую пару в помещении, где темновато. Например, на свадьбе или корпоративе. Параметры, на которых фото получается нормально проэкспонированным, например такие: F 2.8, ISO 800, 1/100.

Объективно, сотки маловато для съёмки танца, особенно быстрого. По-хорошему, нужно 1/250 или 1/500. Чтобы получить досвеченный кадр на таких значениях выдержки, придётся либо поднимать ISO, либо открывать диафрагму. 

Если значение диафрагмы это уже предельное (нормальная история для бюджетного китового объектива), остаётся только ISO. Но если камера столь же бюджетна, что и объектив, на ISO 1600 уже пойдут сильные шумы. А тем более на 3200. С такими проблемами вы можете столкнуться, если снимаете, например, на Nikon D5300, а вот если у вас Canon EOS 5D Mark IV, то он справится с такой сценой без каких-либо проблем просто за счёт более высоких рабочих ISO.

Но что делать если у вас бюджетная камера? Либо снимать со вспышкой, либо смиряться с тем, что этот сюжет на эту камеру снять невозможно никак.

Кстати, в этой ситуации предложение закрыть диафрагму до 8 как раз будет убийством съёмки: закрываем до 8, выдержка удлиняется до 1/15. Мы получаем и более сильный смаз движения, и ещё смаз движения рук. 

Или альтернативный вариант: выдержка остаётся прежней, а ISO летит в космос, поднимаясь до 6400, провоцируя сильные шумы. В любом случае съёмка слита.

Смазанные фото из-за движения рук, или шевелёнка

Тоже возникает из-за движения. Но от движения рук фотографа. Может появляться на и на снимках бегущих детей, и на снимках пейзажа.

Выглядит вот так. Весь снимок довольно равномерно размазан / Фото: Алиса Смирнова, Фотосклад.Эксперт

Для решения этой проблемы снова возвращаемся к выдержке. Есть формула, которая помогает вычислить выдержку, при которой смаза движения рук быть не должно. Эту формулу можно встретить в абсолютно каждом тексте про нерезкие фото. Вот она:

Самая короткая выдержка = 1 / фокусное расстояние объектива

Если по формуле сложно, не огорчайтесь. Всё равно она абсолютно точна и полезна, только если вы снимаете на «Зенит» 1960 года выпуска. Во-первых, потому что формула была выведена во времена плёночных камер, расчёт ведётся для плёночных камер, которые обладали не самой высокой резкостью по сравнению с современными цифровыми. Например, тесты показывают, что на матрицах размером более 40 Мп (Sony Alpha A7R IIIA), выдержки, рекомендованные этой формулой, дают микросмаз. А хороший результат достигается при выдержках в два раза короче.

Во-вторых, потому что в 2022 году нужно ещё делать поправку на то, какая у вас камера и какой объектив. Если у вас стабилизированный объектив или камера (например, Fujifilm X-T4 и Nikon 18-140 mm), то наоборот, вы сможете не размазывать более длинные выдержки (в 3-4 раза).

А если стабилизированное и то, и другое, то в этом уравнении уже две переменные.

Всё это занимательная математика. Но по сути, для решения проблемы нужно выяснить, какую выдержку именно вы держите на своей конкретной аппаратуре, а какую — размазываете. Можно посчитать по формулам, но лучше провести эксперимент. Переведите камеру в режим приоритета выдержки и сделайте несколько кадров на значениях от 1/500 до 1/30. Потом посмотрите на большом экране, где начинается значение смаза. На выдержках длиннее с рук лучше не снимать.

Стоит помнить ещё про человеческий фактор: если дома, например, вы спокойно держите 1/50, на ответственной съёмке, когда вы нервничаете, вы можете её размазать. На таких съёмках лучше работать на чуть более коротких выдержках.

Ещё полезно посмотреть старые съёмки, найти смазанные картинки и выяснить, какая там была выдержка. Большинство снимков с большинства камер хранят в себе все данные о параметрах съёмки. Просмотреть их можно при помощи стандартного обозревателя Windows.

Чтобы правая панель появилась, нужно кликнуть по пиктограмме Details pane/Панель сведений / Иллюстрация: Алиса Смирнова, Фотосклад.Эксперт

Как правило, минимальная выдержка, на которой нет смаза, у разных людей находится в диапазоне от 1/30 до 1/200. Это зависит от техники (стабилизированные камеры и объективы помогают держать более длинные выдержки), и от навыков.

Тут можно пойти двумя путями: либо укорачивать выдержку (так же, как в случае смаза движения объекта), либо учиться снимать на более длинных выдержках.

Что может помочь снимать без смаза на более длинных выдержках:

— Штатив или монопод. Если снимаете статику (пейзаж, натюрморт, вечерний портрет взрослого человека, который способен стоять неподвижно), сам бог велел воспользоваться чем-то подобным. О том, как работать с моноподом, можно почитать здесь. Если штатива нет, а снимать нужно, ищите любую опору для рук. Упритесь локтями в стол, прислонитесь к стене. Всё это поможет немного минимизировать тряску.

— Правильный хват камеры. Легко смазать фотографию, если снимаешь её с вытянутых над головой рук. Существуют правильные хваты, которые помогают минимизировать тряску камеры в момент снимка. Самый распространённый хват выглядит, как на фото ниже.

Правая рука держит камеру, левая надёжно поддерживает объектив снизу. Сама камера прижата к лицу, из-за этого не может качаться взад-вперёд. Локти прижаты к телу / Фото: photographylife.com

И помните, что положение всего тела поможет минимизировать тряску. Для этого расставьте ноги, встаньте устойчиво и наклонитесь немного вперёд. Эта поза оптимальна, чтобы фото не размазывались.

Более экзотический вариант с опорой на собственное плечо / Фото: expertphotography.com

— Серийная съёмка. Если вы видите, что выдержка длинновата, а снимать надо, снимайте не один снимок, а длинную серию. Чаще всего движения рук, которые вызывают смаз, происходят именно в момент нажатия на кнопку спуска. В серии первые два снимка могут быть подмазанными, а у следующих двух уже есть шансы получиться резкими. Однако помните, что этот фокус помогает только при съёмке статики.

Классическая ошибка по фокусу

Иногда проблема в том, что автор снимка просто не попал в фокус при съёмке на относительно светосильный объектив. И результат выглядит, например, вот так:

Иногда такой приём используют осознанно, чтобы показать, что главный герой кадра не человек, а пейзаж. Но иногда ошибка — это просто ошибка / Фото: unsplash.com

Когда так происходит? Предположим, человек несколько лет снимал на китовый объектив, и в принципе не имеет привычки фокусироваться. Минимальное значение диафрагмы у него 4. А человек ещё и большой поклонник автодиафрагмы, которая эту 4 закрывает до 8. Фокусировочная точка болтается где-то в верхней левой части экрана, но на закрытой диафрагме резкость всё равно по всему кадру, так что отсутствие привычки фокусироваться жить не мешает.

Человек решает купить себе портретный полтинник на 1.4 и попробовать поработать с ним. А с ним уже нужно следить, чтобы фокусировочная точка была точно на зоне глаз модели, а не на ухе, не на руке, не на стене за спиной. А привычки фокусироваться нет. Отсюда такие ошибки. Иногда всё выглядит не так страшно, как на картинке выше, а например, вот так:

Здесь резкость не на глазах, а на букете в руках девушки. Такой снимок можно в принципе не считать браком, хотя, конечно, ошибка по фокусу здесь есть / Фото: Алиса Смирнова, Фотосклад.Эксперт

Проблемы с фокусировкой в темноте

Картинка выше — отличная иллюстрация проблемы недофокуса из-за темноты. Дело в том, что иногда недорогие светлые объективы медленно фокусируются. Если китовый объектив наводится на фокус за доли секунды, светлый в сложных условиях может ёрзать взад-вперёд несколько секунд и в итоге фокусироваться непонятно где. Или просто не сфокусироваться.

Такой снимок можно легко получить в сложных световых условиях / Фото: unsplash.com

Причём необязательно, чтобы темнота была кромешная. Также плохими условиями для фокусировки будут:

• контровой свет (портрет на закате, когда солнце в спину);
• постоянно меняющийся, мелькающий свет (танцы на свадьбе со стробоскопами).

Тут как раз съёмка в контровике. Лицо девушки подсвечено вспышкой, которая срабатывает уже в момент спуска затвора. В момент фокусировки оно было в сплошной тени. Фокус ёрзал и остановился на букете, который подсвечен гирляндой (постоянным светом) между веток. 

Как бороться с недофокусом из-за темноты:

• Использовать подсветку автофокуса. Если её нет, подойдёт любой фонарь. Причём, если дополнительный свет портит вам атмосферу кадра, использовать его можно только в момент фокусировки. Подсветили фонарём лицо героя, сфокусировались полунажатием кнопки спуска, не отпуская её, погасили фонарь, сделали кадр.
• Помнить, что любой фокус любит контраст: сфокусироваться проще на границе глаза, если это крупный портрет, границе кожи и темной одежды, если ростовой. Если фокусировочная точка попадает ровно на середину живота человека в чёрной футболке, сфокусироваться будет сложнее.

Проблемы с фокусом из-за движения объекта на камеру

Эта проблема возникает при съёмке подвижных объектов (например, спортивных соревнований или играющих детей). И, как правило, на на объективы с небольшой ГРИП.

Спортсмен на переднем плане выскочил из зоны резкости / Фото: Алиса Смирнова, Фотосклад.Эксперт

Происходит это так: вы сфокусировались, через несколько долей секунды сделали кадр, но человек за эти доли секунды уже успел из глубины резкости выбежать.

Эта проблем решается использованием непрерывного автофокуса (в большинстве систем AF-C или C-AF).

Недостаточная ГРИП

Переходим от смазов к проблемам, связанным с фокусом. Проблему недостаточной ГРИП (глубина резкости изображаемого пространства) любят приводить все любители советских учебников и формул, подходящих для Зенита. Именно здесь они дают совет закрыть диафрагму до 8.

Слева F 1.4, справа F 8. Да, горшок на левом снимке нерезкий, но на правой мы совсем потеряли красивый фон. Совет закрыться работает так себе / Фото: Алиса Смирнова, Фотосклад.Эксперт

На деле в современном мире эта проблема скорее редка. Чаще всего недостаточная ГРИП мешает либо при предметной съёмке, либо при съёмке пейзажей. О том, как получить и резкий горшок, и размытый фон, можно почитать здесь.

Либо ещё бывает частая ситуация при съёмке групп людей. Например, снимаем крупный или грудной портрет пары, где один человек стоит за плечом у другого.

Глаза матери совершенно резкие, лицо дочери уже ушло в размытие. Значение диафрагмы — 1.4 / Фото: Алиса Смирнова, Фотосклад.Эксперт

В этом случае действительно можно прикрыть диафрагму до 4, и проблема исчезнет. Единственный момент, что при F4 вы потеряете размытие фона и красивое боке от ёлочной гирлянды. Будет, как на фото с горшком выше. То есть закрытие диафрагмы пойдёт, как экстренная мера, которая поможет спасти кадр, но точно не годится, как долгосрочная стратегия.

Здесь проблема в том, что у объёктива действительно не слишком большая ГРИП. Если быть точной, с такого расстояния у конкретно этого объектива глубина резкости составляет около 10 сантиметров. И для такого двойного портрета её оказалось маловато. 

Что тут можно сделать:

Во-первых, стараться располагать людей примерно по одной линии. Посмотрим на другой снимок из этой серии.

Дочь села рядом с мамой, а не за её плечом проблем по фокусу нет / Фото: Алиса Смирнова, Фотосклад.Эксперт

Во-вторых, стоит детально познакомиться со своей аппаратурой и понять, какая у какого объектива глубина резкости на каких портретах. Есть хороший сервис, который симулирует разную глубину резкости на разных камерах.

Здесь можно выбрать конкретную модель камеры и объектива, в нижнем меню выбрать расстояние до модели и здесь же справа симулятор покажет глубину резкости при этих конкретных параметров / Иллюстрация: Алиса Смирнова, Фотосклад.Эксперт

С его помощью можем посмотреть, какой будет глубина резкости, если снимать поясной портрет на полнокадровую зеркалку на Canon EF 50mm f/1.4. ГРИП составит 8 сантиметров, что приемлемо для поясного портрета.

Если кликнуть по лупе над фигуркой, она развернётся в профиль и мы увидим ГРИП отчётливо. Здесь в резкости всё лицо практически до ушей, что приемлемо / Иллюстрация: Алиса Смирнова, Фотосклад.Эксперт

А вот снимать групповой поясной портрет (например, на девичнике) на подобный объектив с открытой диафрагмой уже не стоит. Три девушки встанут не в идеально ровную линию, кто-то обнимет подругу сзади и получится та самая проблема, которая была у первого новогоднего портрета. 

Какие смазы говорят о поломке объектива

Иногда бывает, что в смазе виноваты не некорректные настройки, не сложные условия съёмки, а неисправная техника. Суперхарактерный пример, который снят на бюджетный Fujifilm XC 50-230. У объектива пластиковый корпус, его легко повредить, он к моменту съёмки был уже не новый, и выдал вот такую картинку.

Обратите внимание на детали: весь правый край равномерно смазан. Резкость на лыжнике №201, а №286 выглядит размазанным / Иллюстрация: Алиса Смирнова, Фотосклад.Эксперт

Можно было бы списать всё на недостаточную ГРИП, но лыжник №260 дальше от камеры, чем №286, и если бы была проблема в ГРИП, он был бы более размытым. Более того, сравните характер размытия. Лыжник №260 уходит в размытие, а №286 именно смазан. Можно было бы списать всё на смаз движения, но выдержка на этом снимке 1/250. Лыжники поднимаются в гору, едут медленно, такой выдержки более, чем достаточно.

Ещё один важный признак такого смаза: фото всегда нерезкие. Смаз будет повторяться от кадра к кадру, постоянно возникать на одном и том же месте. Независимо от, того, какой сюжет вы снимаете, независимо от того, где фокус и какая выдержка. С такой проблемой уже ничего не поделаешь: нужно нести аппаратуру в ремонт или менять на новую.

Соседний кадр с той же самой съёмки: правый бок лыжника чёткий, левое плечо и голова, попадающие в проблемную зону, подмыты. Надпись на боку читается отлично, герб уже неразличим / Иллюстрация: Алиса Смирнова, Фотосклад.Эксперт

Впрочем, если увидели такое на своих снимках, не спешите паниковать. Для начала проверьте, не запачканы ли передняя и задняя линза. Иногда грязь на них даёт похожий эффект. Если запачканы — протрите, если чистые — тогда в сервис.

Восстановление расфокусированных и смазанных изображений. Практика

Не так давно я опубликовал на хабре первую часть статьи по восстановлению расфокусированных и смазанных изображений, где описывалась теоретическая часть. Эта тема, судя по комментариям, вызвала немало интереса и я решил продолжить это направление и показать вам какие же проблемы появляются при практической реализации казалось бы простых формул.

В дополнение к этому я написал демонстрационную программу, в которой реализованы основные алгоритмы по устранению расфокусировки и смаза. Программа выложена на GitHub вместе с исходниками и дистрибутивами.

Ниже показан результат обработки реального размытого изображения (не с синтетическим размытием). Исходное изображение было получено камерой Canon 500D с объективом EF 85mm/1.8. Фокусировка была выставлена вручную, чтобы получить размытие. Как видно, текст совершенно не читается, лишь угадывается диалоговое окно Windows 7.

И вот результат обработки:

Практически весь текст читается достаточно хорошо, хотя и появились некоторые характерные искажения.

Под катом подробное описание проблем деконволюции, способов их решения, а также множество примеров и сравнений. Осторожно, много картинок!

Вспомним теорию

Подробное описание теории было в первой части, но все же напомню вкратце основные моменты. В процессе искажения из каждого пикселя исходного изображения получается некоторое пятно в случае расфокусировки и отрезок для случая обычного смаза. Все это друг на друга накладывается и в результате мы получаем искаженное изображение — это называется сверткой изображения или конволюцией. То, по какому закону размазывается один пиксель и называется функцией искажения. Другие синонимы – PSF (Point spread function, т.е. функция распределения точки), ядро искажающего оператора, kernel и другие.

Чтобы восстановить исходное изображение нам необходимо каким-то образом обратить свертку, при этом не забывая про шум. Но это не так-то просто – если действовать, что называется, «в лоб», то получится огромная система уравнений, которую решить за приемлемое время невозможно.

Но на помощь к нам приходит преобразование Фурье и теорема о свертке, которая гласит, что операция свертки в пространственной области эквивалентна обычному умножению в частотной области (причем умножение поэлементное, а не матричное). Соответственно, операция обратная свертке эквивалентна делению в частотной области. Поэтому процесс искажения можно переписать следующим образом:

(1),
где все элементы — это фурье-образы соответствующих функций:
G(u,v) – результат искажения, т.е. то, что мы наблюдаем в результате (смазанное или расфокусированное изображение)
H(u,v) – искажающая функция, PSF
F(u,v) – исходное неискаженное изображение
N(u,v) – аддитивный шум

Итак, нам нужно восстановить максимальное приближение к исходному изображению F(u,v). Просто поделить правую и левую часть на H(u,v) не получится, т.к. при наличии даже совсем небольшого шума (а он всегда есть на реальных изображениях) слагаемое N(u,v)/H(u,v), будет доминировать, что приведет к тому, что исходное изображение будет целиком скрыто под шумом.

Чтобы решить эту проблему, были разработаны более устойчивые методы, одним из которых являтся фильтр Винера (Wiener). Он рассматривает изображение и шум как случайные процессы и находит такую оценку f’ для неискаженного изображения f, чтобы среднеквадратическое отклонение этих величин было минимальным:

(2)

Функцией S здесь обозначаются энергетические спектры шума и исходного изображения соответственно – поскольку, эти величины редко бывают известны, то дробь S_n / S_f заменяют на некоторую константу K, которую можно приблизительно охарактеризовать как соотношение сигнал-шум.

Способы получения PSF

Итак, возьмем за отправную точки описанный фильтр Винера — вообще говоря, существует множество других подходов, но все они дают примерно одинаковые результаты. Так что все описанное ниже будет справедливо и для остальных методов деконволюции.

Основная задача — получить оценку функции распределения точки (PSF). Это можно сделать несколькими способами:
1. Моделирование. Очень непросто и трудоемко, т.к. современные объективы состоят из десятка, другого различных линз и оптических элементов, часть из которых имеет асферическую форму, каждый сорт стекла имеет свои уникальные характеристики преломления лучей с той или иной длиной волны. В итоге задача корректного расчета распространение света в такой сложнейшей оптической системе с учетом влияния диафрагмы, переотражений и т.п. становится практически невозможной. И решение ее, пожалуй, доступно только разработчикам современных объективов.
2. Непосредственное наблюдение. Вспомним, что PSF — это то, во что превращается каждая точка изображения. Т.е. если мы сформируем черный фон и одну белую точку на нем, а затем сфотографируем это с нужным значением расфокусировки, то мы получим непосредственно вид PSF. Кажется просто, но есть много нюансов и тонкостей.
3. Вычисление или косвенное наблюдение. Присмотримся к формуле (1) процесса искажение и подумаем, как можно получить H(u,v)? Решение приходит сразу — нужно иметь исходное F(u,v) и искаженное G(u,v) изображения. Тогда поделив фурье-образ искаженного изображения на фурье-образ исходного изображения мы получим искомую PSF.

Про боке

Перед тем как перейдем к деталям, расскажу немного теории расфокусировки применительно к оптике. Идеальный объектив имеет PSF в виде круга, соответственно каждая точка превращается в круг некоторого диаметра. Кстати, это для многих неожиданность, т.к. с первого взгляда кажется, что дефокус просто растушевывает все изображение. Это же объясняет и то, почему фотошоповское размытие Гаусса совсем не похоже на тот рисунок фона (его еще называют боке), который мы видим у объективов. На самом деле это два разных типа размытия — по Гауссу каждая точка превращается в нечеткое пятно (колокол Гаусса), а дефокус каждую точку превращает в круг. Соответственно и разные результаты.

Но идеальных объективов у нас нет и в реальности мы получаем то или иное отклонение от идеального круга. Именно это и формирует неповторимый рисунок боке каждого объектива, заставляя фотографов тратить кучу денег на объективы с красивым боке Боке можно условно разделить на три типа:
— Нейтральное. Это максимальное приближение к кругу
— Мягкое. Когда края имеют меньшую яркость, чем центр
— Жесткое. Когда края имеют большую яркость, чем центр.

Рисунок ниже иллюстрирует это:

Более того, тип боке — мягкое или жесткое зависит еще и от того, передний это фокус или задний. Т.е. фотоаппарат сфокусирован перед объектом или же за ним. К примеру, если объектив имеет мягкий рисунок боке в переднем фокусе (когда, скажем, фокус на лице, а задний план размыт), то в заднем фокусе боке того же объектива будет жестким. И наоборот. Только нейтральное боке не меняется от вида фокуса.

Но и это еще не все — поскольку каждому объективу присущи те или иные геометрические искажения, то вид PSF зависит еще и от положения. В центре — близко к кругу, по краям — эллипсы и другие сплюснутые фигуры. Это хорошо видно на следующем фото — обратите внимание на правый нижний угол:

А теперь рассмотрим подробнее два последних метода получения PSF.

PSF — Непосредственное наблюдение

Как уже говорилось выше, необходимо сформировать черный фон и белую точку. Но просто напечатать на принтере одну точку недостаточно. Необходим намного большее отличие в яркости черного фона и белой точки, т.к. одна точка будет размываться по большому кругу — соответственно должна иметь большую яркость, чтобы быть видной после размытия.

Для этого я распечатал черный квадрат Малевича (да, тонера много ушло, но чего не сделаешь ради науки!), наложил с другой стороны фольгу, т.к. лист бумаги все же неплохо просвечивает и иголкой проколол маленькую дырочку. Затем соорудил нехитрую конструкцию из 200-ваттной лампы и сэндвича из черного листа и фольги. Выглядело это вот так:

Далее включил лампу, закрыл ее листом, выключил общий свет и сделал несколько фоток используя два объектива — китовый Canon EF 18-55 и портретник Canon EF 85mm/1.8. Из получившихся фоток я вырезал PSF и затем построил графики профилей.
Вот что получилось для китового объектива:

И для портретника Canon EF 85mm/1.8:

Хорошо видно как меняется характер боке с жествкого на мягкий для одного и того же объектива в случае переднего и заднего фокуса. Также видно, какую непростую форму имеет PSF — она весьма далека от идеального круга. Для портретника также видны большие хроматические аберрации из-за большой светосилы объектива и малой диафрагмы 1.8.

И вот еще пара снимков при диафрагме 14 — на нем видно, как поменялась форма с круга на правильный шестиугольник:

PSF — Вычисление или косвенное наблюдение

Следующий подход — косвенное наблюдение. Для этого, как писалось выше, нам нужно иметь исходное F(u,v) и искаженное G(u,v) изображения. Как их получить? Очень просто — необходимо поставить фотоаппарат на штатив и сделать один резкий и один размытый снимок одного и того изображения. Далее с помощью деления фурье-образа искаженного изображения на фурье-образ исходного изображения мы получим фурье-образ нашей искомой PSF. После чего применив обратное преобразование Фурье получим PSF в прямом виде.
Я сделал два снимка:

И в результате получил вот такую PSF:

На горизонтальную линию не обращайте внимания, это артефакт после преобразования Фурье в матлабе. Результат, скажем так, средненький — очень много шумов и детали PSF видны не так хорошо. Тем не менее, метод имеет право на существование.

Описанные методы можно и нужно использовать для построения PSF при восстановлении размытых изображений. Т.к. от того, насколько эта функция приближена к реальной напрямую зависит качество восстановления исходного изображения. При несовпадении предполагаемой и реальной PSF будут наблюдаться многочисленные артефакты в виде «звона», ореолов и снижения четкости. В большинстве случаев предполагается форма PSF в виде круга, тем не менее для достижения максимальной степени восстановления рекомендуется поиграться с формой этой функции, попробовав несколько вариантов от распространенных объективов — как мы видели, форма PSF может варьироваться в значительной степени в зависимости от диафрагмы, объектива и прочих условий.

Краевые эффекты

Следующая проблема заключается в том, что если напрямую применить фильтр Винера, то на краях изображения будет своеобразный «звон». Его причина, если объяснять на пальцах, заключается в следующем — когда делается деконволюция для тех точек, которые расположены на краях, то при сборке не хватает пикселей, которые находятся за краями изображения и они принимаются либо равным нулю, либо берутся с противоположной стороны (зависит от реализации фильтра Винера и преобразования Фурье). Выглядит это так:

Одно из решений, чтобы избежать этого состоит предобработке краев изображения. Они размываются с помощью той же самой PSF. На практике это реализуется следующем образом — берется входное изображение F(x,y), размывается с помощью PSF и получается F'(x,y), затем итоговое входное изображение F»(x,y) формируется суммированием F(x,y) и F'(x,y) с использованием весовой функции, которая на краях принимает значение 1 (точка целиком берется из размытого F'(x,y)), а на расстоянии равном (или большем) радиусу PSF от края изображения принимает значение 0. Результат получается такой — звон на краях исчез:

Практическая реализация

Я сделал программу, демонстрирующую восстановление смазанных и расфокусированных изображений. Написана она на C++ с использованием Qt. В качестве реализации преобразования Фурье я выбрал библиотеку FFTW, как самую быструю из опен-соурсных реализаций. Называется моя программа SmartDeblur, скачать ее можно на странице github.com/Y-Vladimir/SmartDeblur, все исходники открыты под лицензией GPL v3.
Скриншот главного окна:

Основные функции:
— Высокая скорость. Обработка изображения размером 2048*1500 пикселей занимает около 300мс в режиме Preview (когда перемещаются ползунки настроек) и 1.5 секунды в чистовом режиме (когда отпустили ползунки настроек).
— Подбор параметров в Real-time режиме. Нет необходимости нажимать кнопки Preview, все делается автоматически, нужно лишь двигать ползунки настроек искажения
— Вся обработка идет для изображения в полном разрешении. Т.е. нет никакого маленького окошка предпросмотра и кнопок Apply.
— Поддержка восстановления смазанных и расфокусированных изображений
— Возможность подстройки вида PSF

Основной упор при разработке был сделан на скорость. В итоге она получилась такая, что превосходит коммерческие аналоги в десятки раз. Вся обработка сделана по-взрослому, в отдельном потоке. За 300 мс программа успевает сгенерить новую PSF, сделать 3 преобразования Фурье, сделать деконволюцию по Винеру и отобразить результат — и все это для изображения размером 2048*1500 пикселей. В чистовом режиме делается 12 преобразований Фурье (3 для каждого канала, плюс одно для каждого канала для подавления краевых эффектов) — это занимает около 1.5 секунд. Все времена указаны для процессора Core i7.

Пока в программе есть ряд багов и особенностей — скажем, при некоторых значениях настроек изображение покрывается рябью. Точно причину выяснить не удалось, но предположительно — особенности работы библиотеки FFTW.

Ну и в целом в процессе разработки пришлось обходить множество скрытых проблем как в FFTW (например не поддерживаются изображения с нечетным размером одной из сторон, типа 423*440.). Были проблемы и с Qt — выяснилось, что рендеринг линии со включенным Antialiasing работает не совсем точно. При некоторых значениях углов линия перескакивала на доли пикселя, что давало артефакты в виде сильной ряби. Для обхода этой проблемы добавил строчки:

    // Workarround to have high accuracy, otherwise drawLine method has some micro-mistakes in the rendering
    QPen pen = kernelPainter.pen();
    pen.setWidthF(1.01);
    kernelPainter.setPen(pen);

Сравнение

Осталось сравнить качество обработки с коммерческими аналогами.
Я выбрал 2 самые известные программы
1. Topaz InFocus — www.topazlabs.com/infocus
2. Focus Magic — www.focusmagic.com

Для чистоты эксперимента будем брать те рекламные изображения, которые приведены на официальных сайтах — так гарантируется, что параметры тех программ выбраны оптимальными (т.к. думаю, разработчики тщательно отбирали изображения и подбирали параметры перед публикацией в рекламе на сайте).
Итак, поехали — восстановление смаза:
Берем пример с сайта Topaz InFocus:

www.topazlabs.com/infocus/_images/licenseplate_compare.jpg

Обрабатываем с вот такими параметрами:

и получаем такой результат:

Результат с сайта Topaz InFocus:

Результат весьма схожий, это говорит о том, что в основе Topaz InFocus используется похожий алгоритм деконволюции плюс постобработка в виде заглаживания-удаления шумов и подчеркивания контуров.

Примеров сильно дефокусировки на сайте этой программы найти не удалось, да и она не предназначена для этого (максимальный радиус размытия составляет всего несколько пикселей).
Можно отметить еще один момент — угол наклона оказался ровно 45 градусов, а длина смаза 10 пикселей. Это наводит на мысль о том, что изображение смазано искусственно. В пользу этого факта говорит и то, что качество восстановления очень хорошее.

Пример номер два — восстановление дефокусировки. Для этого возьмем пример с сайта Focus Magic: www.focusmagic.com/focusing-examples.htm

Получили вот такой результат:

Тут уже не так очевидно, что лучше.

Заключение

На этом я хотел бы закончить эту статью. Хотя и много чего еще хотелось написать, но и так уже длинный текст получился. Буду очень признателен, если попробуете скачать SmartDeblur и потестировать на реальных изображениях — у меня, к сожалению, не так много расфокусированных и смазанных изображений, все поудалял.
И буду особо признателен, если пришлете мне (мыло есть в профиле) свой фидбек и примеры удачных/неудачных восстановлений. Ну и просьба сообщать о всех багах, замечаниях, предложениях — т.к. приложение еще пока местами сыроватое и немного нестабильное.
P.S. Исходники пока не очень чистые в плане стиля — там пока куча утечек памяти, еще не успел перевести на смарт-поинтеры, поэтому после нескольких изображений может перестать открывать файлы. Но в целом работает.

Ссылка на SmartDeblur: github.com/Y-Vladimir/SmartDeblur

UPD: Ссылка на продолжение

--
Vladimir Yuzhikov

Поделиться статьей в социальных сетях: