Расширение реальности: тестирование фотоинструментов Apple Intelligence в iOS 27 Dev Beta

Пока рано делать окончательные выводы о подходах Apple к искусственному интеллекту в бета-версии iOS 27 для разработчиков. Однако тестирование новых функций, включая инструменты Apple Intelligence для редактирования изображений в приложении "Фото" – в частности, "Пространственное перекомпонование" (Spatial Reframing) и "Расширение" (Extend) – уже выявило их значительный потенциал. Для генеративного изменения изображений Apple использует мощную облачную диффузионную модель, построенную частично в сотрудничестве с Google. Эта технология отличается от всего, что Apple представляла ранее, и поднимает вопросы о приоритете достоверности изображения над его эстетикой. Важно отметить, что речь идет о бета-версии для разработчиков, и функционал, вероятно, будет доработан к релизу, который ожидается на iPhone 18 в сентябре. Это обновление платформы знаменует собой полноценное вхождение Apple в мир искусственного интеллекта, ставя компанию в один ряд с OpenAI и Google. Теперь Siri способна поддерживать диалог, Image Playground может создавать изображения с нуля, а "Фото" – изменять и расширять снимки одним жестом.

Заглянуть за край кадра

Функция "Расширение" (Extend) особенно увлекательна не только возможностью восполнить недостающую информацию на снимках, но и тем, как инструменты генерации изображений Apple "угадывают" то, что изначально не было захвачено камерой. При работе с собственными фотографиями пользователь, как правило, знает, что было обрезано. Возможно, кадрирование было намеренным, но, как отмечалось в презентации Apple, иногда сложно уместить портретное фото в альбомную ориентацию, и тогда требуются дополнительные фрагменты.

Подход Apple на данный момент можно охарактеризовать как "позвольте догадкам быть вашим проводником". Система не знает точно, что отсутствует, но Apple Intelligence способна анализировать остальную часть изображения и заполнять пробелы. Для оценки эффективности ранней версии инструмента были сделаны как широкие, так и сильно кадрированные снимки различных объектов и мест. Цель состояла в том, чтобы проверить, насколько точно "Расширение" сможет воссоздать недостающие части. Учитывая исходные данные, функция справилась довольно хорошо, хотя некоторые результаты оказались непреднамеренно комичными.

Было также установлено, что инструмент "Расширение" в текущей версии iOS 27 Dev Beta не достраивает, например, части тела. При попытке расширить обрезанное изображение руки, приложение не добавляло недостающие пальцы, что, по мнению обозревателя, является скорее хорошей новостью. Кроме того, замечено, что "Расширение" предпочитает порядок: оно почти не терпит беспорядка, поэтому сгенерированные элементы обычно выглядят чисто, упорядоченно и содержат минимальное количество деталей.

Ниже представлены примеры, где широкие оригинальные снимки сопоставлены с более тесно кадрированными, к которым было применено "Расширение" от Apple Intelligence. Если бы не было видно оригиналов, было бы сложно догадаться, что значительные части изображений были сгенерированы искусственным интеллектом. Для большинства этих примеров сначала делался один широкий снимок, а затем – второй, более крупным планом. К последнему применялась функция "Расширение", после чего результат сравнивался с реальностью. Оригинальное, нерасширенное фото обычно располагается в центре для наглядности.

Расширение кадра и изменение реальности

В одном из экспериментов было использовано лишь одно фото, расширенное инструментами Apple Intelligence. Поскольку это бета-версия для разработчиков, критических замечаний немного, но некоторые пользователи могут быть удивлены "редизайном" Эмпайр-стейт-билдинг.

Домашний офис. В примере с домашним офисом видно, как инструмент "Расширение" старается сохранить оригинальные элементы, но чем больше информации требуется добавить, тем более фантастическими становятся изменения. Например, шкаф получил три двери, а стеклянная дверь справа выглядит загадочно и неясно, почему она была добавлена. Однако, даже на ранней стадии эти генеративные возможности впечатляют.

Зелень. Похоже, "Расширение" уже хорошо "понимает" принципы строения растений и деревьев. Расширенное дерево выглядит вполне реалистично. Небо получило драматичный, почти величественный вид, а сарай был "переработан" весьма необычным образом.

Гитара на стене. Работа с изображением гитары демонстрирует стремление "Расширения" к чистоте и порядку. Предмет, напоминающий абажур, превратился в идеально круглую, ярко окрашенную трубу, которая, судя по двум видимым опорам, уже не является абажуром. Жалюзи также были немного "очищены". Что касается самой гитары, она осталась практически неизменной. Это говорит о том, что даже в бета-версии инструмент старается сохранить основной объект изображения нетронутым, даже при его небольшом расширении.

Офисная полка. Такой сложный объект, как загроможденная офисная полка, может представлять вызов для любой генеративной системы из-за обилия предметов и вариантов их интерпретации. В одном из экспериментов было сделано фото реальной полки, затем более крупный план, и, наконец, расширенное изображение. В расширенном варианте "Расширение" предпочло порядок беспорядку. Наиболее примечательным стал преобразование космического корабля "Энтерпрайз" в нечто, напоминающее пассажирский самолет. Несколько названий книг также, судя по всему, были переписаны.

Мебель на заднем дворе. "Расширение" эффективно убрало беспорядок на заднем дворе. Было замечено, что когда инструмент обнаруживает кубообразный объект (в данном случае, очаг), он превращает его в безликий ящик, вместо того чтобы пытаться слишком усердно "угадывать" его детали.

Авиалайнер. Обозреватель был впечатлен тем, насколько эффективно "Расширение" дополнило изображение авиалайнера. Однако, снова проявляется тенденция к созданию порядка там, где в реальности присутствует хаос.

По итогам ранних экспериментов с новейшими и наиболее мощными инструментами генерации изображений Apple Intelligence можно отметить их значительный потенциал. То, что они демонстрируют такие возможности уже на стадии бета-версии для разработчиков, обнадеживает, поскольку у Apple есть еще несколько месяцев для доработки. Вероятно, большинство пользователей не будут использовать "Расширение" столь экстремально. Возможно, они ограничатся центрированием объекта, добавив лишь несколько сантиметров (1 дюйм = 2.54 см) с одной или другой стороны, или расширением однотонного фона, либо вечернего неба, что не исказит и не изменит основной объект фотографии.