Пиранези и ИИ: что перед нами — фотография или гравюра?

Внизу застыли люди. Над ними вздымаются колонны, за колоннами сгущается тень сводов, а луч из круглого отверстия в куполе падает на камень. На небольшом экране это почти неотличимо от снимка. Приблизьте изображение, и на нём проступят сотни тончайших линий. Отодвиньтесь от экрана: линии растворятся, и снова перед вами окажется Рим.

Этот Рим создал Джованни Баттиста Пиранези, итальянский архитектор и гравёр XVIII столетия. Он прожил с 1720 по 1778 год, запечатлевал памятники античности и сочинял собственные архитектурные миры. Его «Виды Рима» появлялись на протяжении десятилетий. Многие европейцы узнавали город по этим листам задолго до того, как видели его воочию.

Когда рассматриваешь изображения с такой тщательностью деталей, невольно возникает сомнение: а вдруг художник пользовался фотографиями? Я решил выяснить, можно ли найти тому свидетельства в самих картинках.

Для одного из экспериментов я использовал CLIP, готовую нейросеть компании OpenAI. Её название произносится как «клип». Она способна сопоставить картинку с несколькими текстовыми описаниями и выбрать самое подходящее. Например, ей можно показать изображение здания и предложить два варианта: фотография или гравюра.

Все двадцать работ Пиранези нейросеть признала гравюрами. Затем я превратил тени на современных фотографиях в штрихи. 16 из 24 снимков тоже получили ответ «гравюра». Происхождение этих изображений было мне известно заранее. Оставалось понять, о чём на самом деле свидетельствует подобный ответ.

Откуда возник вопрос о фотографиях

В описании одного из видео о Пиранези рассуждение строится примерно так: гравюр слишком много, деталей слишком много, а времени слишком мало. Пятьсот листов за десять лет — почти по листу в неделю. Следовательно, должен существовать способ быстро получать изображения. В роли такого объяснения выступает камера-обскура.

Это устройство действительно существовало. Свет проникает в тёмный ящик или комнату через отверстие либо линзу, и на внутренней стенке возникает изображение того, что находится снаружи. Художник может обвести его по контуру. Однако сам прибор снимка не сохраняет. Чтобы получилась фотография, нужен ещё и материал, на котором свет оставляет след. Как устроена такая камера, показывает Оксфордский музей истории науки.

С количеством работ тоже нужно разобраться. Согласно каталогу музея Гетти, 135 крупных листов «Видов Рима» создавались с 1746 по 1778 год:

135 / 32 ≈ 4,2 нового вида в год.

Это всего лишь одна серия. Для всего наследия Пиранези музей Бойманса ван Бёнингена называет оценку около 2,3 работы в месяц и описывает операции, которые поручались помощникам. К тому же с готовой пластины можно напечатать множество оттисков: каждый экземпляр рисовать заново не нужно.

Эти данные не позволяют подсчитать, сколько часов потребовалось на конкретную гравюру. Но объявлять такую работу физически невозможной лишь из-за обилия деталей я бы не стал.

Меня занимал более узкий вопрос. Допустим, перед нами действительно гравюра. Могла ли фотография служить образцом, с которого её выполнили? Судя по характеру штрихов, это не определить: фотографию тоже можно перенести на бумагу линиями.

Зачем понадобились обычные снимки

Я взял двадцать цифровых копий работ Пиранези из коллекции Art Institute of Chicago. Восемнадцать из них относятся к «Видам Рима», ещё на двух изображены скелеты и несколько памятников на одном листе. Знаменитых «Воображаемых тюрем» в этом наборе нет.

Для сопоставления требовались изображения с заранее известным способом получения. Я использовал 102 фотографии зданий и городских улиц из исследовательского набора York Urban Database. Из них я случайным образом отобрал 24 для проверки нейросетями. Выбор был сделан до запуска моделей и впоследствии не пересматривался.

Все изображения для сравнения уменьшались по единому правилу. Отдельно я сохранял результаты обработки файлов в исходном размере. Это существенно: тонкая линия после уменьшения может выглядеть иначе.

Логика такого сопоставления проста: если прямые линии считать признаком рисунка, нужно проверить, встречаются ли они на настоящих снимках. А если встречаются, то по одним лишь линиям способ получения изображения определить нельзя.

Что выбирала нейросеть

Я применял CLIP в готовом виде и специально дообучать её на Пиранези не стал. В моём эксперименте она выбирала между описаниями фотографии здания и архитектурной гравюры. Для каждого варианта ответа я составил по четыре близких по смыслу описания.

Сначала ответы совпали с известным происхождением изображений: 20 гравюр из 20 получили ответ «гравюра», 24 фотографии из 24 — ответ «фото».

Затем я преобразовал фотографии. Вместо плавных переходов света и тени появились тонкие штрихи, гуще ложащиеся в тёмных местах. К ним добавились линии по краям предметов. Здания и лестницы остались на своих местах, но картинка стала напоминать рисунок. После такой обработки нейросеть отнесла к гравюрам 16 из 24 фотографий.

Почему она изменила ответ? Из-за исчезновения цвета, из-за штрихов или из-за очертаний предметов? Чтобы выяснить это, я подготовил несколько версий каждого снимка и показал их той же программе.

Что было показано нейросети	Ответ «гравюра»	Ответ «фото»
20 работ Пиранези	20	0
24 обычные фотографии	0	24
Те же фото в чёрно-белом варианте	0	24
Те же фото, только очертания предметов	14	10
Те же фото, только штрихи	6	18
Те же фото, штрихи вместе с очертаниями	16	8

Чёрно-белая версия ничего не изменила. Зато одних очертаний хватило, чтобы 14 фотографий из 24 получили ответ «гравюра». Выходит, дело не только в отсутствии цвета. Значение имел сам способ, которым на картинке переданы предметы.

Рис. 2. Пять версий одного снимка. Под каждой подписан ответ нейросети. Справа внизу приведены результаты для всех 24 фотографий. В качестве иллюстрации взят первый снимок по имени файла, без подбора удобного ответа.

Во всех вариантах обработки использовались одни и те же 24 фотографии. Менялся лишь их внешний вид. Повторный запуск на исходных снимках дал прежний результат: все 24 получили ответ «фото».

Ответ «гравюра» описывал то, что нейросеть видела в данный момент. Обработанные фотографии тоже состояли из линий. Определить по этому ответу, что находилось перед художником в начале работы, не удалось.

Можно ли разглядеть след объектива

Ещё до эксперимента с нейросетью я искал другой возможный признак. Некоторые объективы слегка искривляют изображение: прямая граница стены на снимке выглядит выгнутой. К краям кадра это искажение может нарастать. С ним сталкиваются, например, при калибровке камер для точных измерений.

Я написал программу, которая находила на изображении длинные линии и проверяла, насколько они отклоняются от прямой. Вдоль каждой линии она отыскивала границу в 21 точке. Затем исключала из расчёта общий наклон и подбирала плавную кривую, описывающую изгиб. Так единичный скачок на несколько пикселей не принимался за искривление всей линии.

Рис. 3. Слева отмечена выбранная линия на изображении Пантеона. Справа точки показывают найденные отклонения от прямой, а зелёная кривая — их плавную составляющую. Число на рисунке относится к одной линии, а не ко всем работам Пиранези.

На восемнадцати из двадцати листов программа нашла достаточно линий — всего 769. На двух остальных их оказалось слишком мало для выбранного мной способа расчёта.

Для каждого листа я выстраивал значения изгиба по порядку и брал медиану, то есть середину ряда. Затем листы сравнивались между собой тем же способом. Типичная величина изгиба составила 0,145% длины линии. Для отрезка в тысячу пикселей это означало бы отклонение примерно в 1,45 пикселя.

Замечает ли программа искривление как таковое? Я сделал заведомо искривлённые копии тех же изображений и повторил расчёт. После такой обработки подходящих линий хватило лишь на семи копиях из двадцати. Поэтому для сравнения пришлось взять семь соответствующих исходных листов.

Что сравнивалось	До искривления	После искривления
Типичная величина изгиба	0,147%	0,380%
Средняя доля почти прямых линий, с изгибом менее 0,3%	71,8%	35,4%

Во всех семи парах программа зафиксировала рост изгиба. Но тут же проявилась и слабость самого метода: после сильного искривления у большинства копий не набралось достаточно подходящих линий. Программа сначала отбирает почти прямые участки, и это уже сказывается на итоге.

Тогда я проверил тем же способом 102 настоящие фотографии. На 96 снимках программа не обнаружила заметного усиления изгиба к краям по принятому мной порогу. Встретились и фотографии с совсем небольшим изгибом. Например, на одном снимке здания показатель составил 0,292%, то есть оказался ниже выбранной границы в 0,3% для почти прямых линий.

Рис. 4. Два снимка из набора для сравнения. Они, несомненно, сделаны камерой, хотя программа находит на них почти прямые линии. Указанные числа рассчитаны по файлам в исходном размере.

Выходит, рассуждение «линии прямые, значит, объектива не было» проверки не выдержало. Есть и другая сложность: мы имеем дело с цифровыми копиями бумажных листов. Бумага могла деформироваться, а сам оттиск фотографировали или сканировали. Обнаруженное искривление ещё предстоит соотнести с тем этапом, на котором оно возникло.

А если попытаться восстановить камеру

С помощью другой нейросети, GeoCalib, я попробовал оценить параметры камеры по одному изображению. В частности, программа определяет фокусное расстояние объектива. Для одной и той же камеры от него зависит, насколько широкий вид попадёт в кадр.

Для проверки я показывал программе каждое изображение дважды: целиком и с обрезанными краями. От обрезки картинки объектив не меняется. Поэтому после поправки на размер кадра две оценки должны оставаться близкими. В расчёте учитывался и возможный изгиб линий, вызванный объективом.

На фотографиях типичное расхождение между двумя оценками составило 4,4%, а на работах Пиранези — 43,6%. Здесь я тоже сравнивал медианы. При обрезке гравюр программа меняла ответ куда сильнее.

Прежде чем связывать эту разницу с тем, как художник выстраивал перспективу, я проверил GeoCalib на фотографиях, превращённых в штриховые рисунки.

У программы можно сопоставить два расчёта: сначала она оценивает перспективу на картинке, затем подбирает параметры камеры. После штриховки они стали хуже согласовываться в 23 случаях из 24. Это внутренняя проверка самой программы. Реальная камера, которой снимали здание, от обработки фотографии не изменилась.

Выяснилось, что уже сам способ передачи света и тени влияет на расчёты GeoCalib. Поэтому полученное число ещё не даёт оснований называть его фокусным расстоянием «объектива Пиранези». Подтвердить надёжность такой оценки на гравюрах мне не удалось.

Где остаётся загадка

Мои эксперименты не подтвердили, что Пиранези пользовался фотографиями. Но и исключить фотографический образец по проверенным признакам не получилось. Почти прямые линии нашлись на настоящих снимках, а ответ «гравюра» получили фотографии, превращённые в штриховые рисунки.

Следующим шагом могла бы стать проверка конкретного вида: независимо измерить здание и выяснить, можно ли снять его с такой точки, чтобы получилась перспектива гравюры. Но даже точное совпадение покажет лишь, что подобный кадр возможен. Художник способен построить такую перспективу и без снимка.

А теперь снова отойдите от экрана.

Штрихи исчезнут. Из тёмной ниши выступит колонна, над ней раскроется купол, а человек у подножия снова станет крошечным. Всё, что программа только что разложила на линии и числа, вновь превратится в город.

Что находилось перед художником, когда он начинал работу? Сама римская площадь, её проекция в камере-обскуре или фотографический образец? И какое наблюдение убедило бы вас в ответе?

 

Источник