Методика EvidPic
Как работает проверка фото на ИИ
EvidPic проверяет само изображение и данные внутри файла. Нейросети ищут признаки генерации, а метаданные могут подсказать, какой камерой или программой пользовались. Ниже объясняем, как читать результаты этих проверок и где возможны ошибки.
Редакция методики от . Дата текста не является версией модели.
01 / Что внутри проверки
Что проверяем
Мы анализируем изображение несколькими способами. Одни ищут признаки в пикселях, другие читают данные о создании и обработке файла.
Как нейросети анализируют изображение
Для анализа мы используем несколько нейросетевых моделей — детекторов, которые ищут признаки генерации в изображении. Их оценки показаны в отчёте. Если одна модель дала высокий балл, а другая низкий, однозначного вывода по ним сделать нельзя.
Несколько моделей могут ошибиться на одном и том же изображении. Поэтому важно смотреть и на другие результаты проверки.
Метаданные и отметки генераторов
Метаданные — это сведения, сохранённые внутри файла: например, модель камеры или название редактора. Часть таких записей хранится в формате EXIF. Мы также ищем отметки, которые оставляют программы для генерации изображений.
Эти записи можно изменить или удалить. Например, название редактора в EXIF — подсказка о возможной обработке, но не подтверждение того, что именно делали с изображением.
C2PA и водяные знаки
C2PA — стандарт для записи истории создания и обработки файла. Такие записи называют Content Credentials. Они могут содержать цифровую подпись. При проверке важно отдельно выяснить, есть ли запись, прошла ли проверку подпись и можно ли доверять тому, кто подписал данные.
Цифровая подпись помогает проверить, не изменились ли подписанные данные и связаны ли они с этим файлом. При этом сама сцена на фото может быть постановочной: подпись этого не проверяет. Подробнее о C2PA.
«C2PA не найдено», «подпись не прошла проверку» и «проверка недоступна» — разные ситуации. Отсутствие записи не доказывает генерацию, а ошибка проверки сама по себе не устанавливает причину. Для просмотра встроенных credentials есть отдельная проверка C2PA.
Некоторые генераторы добавляют в изображение невидимые метки — водяные знаки. SynthID — одна из таких технологий. Наша модель может обнаружить признаки водяного знака. Этот результат нужно отличать от ответа официального сервиса проверки. Если доступна отдельная проверка SynthID/C2PA через OpenAI, изображение отправляется туда только после нажатия кнопки этой проверки.
02 / Читаем отчёт
Как читать результат проверки фото на ИИ
Открыть пример отчёта — посмотрите, где находятся итог, основания вывода и подробные результаты проверок.
- Посмотрите, на чём основан вывод. Модель нашла признаки генерации? В файле есть название редактора? Найдены данные с цифровой подписью? Это разные результаты.
- Посмотрите, какие проверки выполнены. «Не найдено» означает, что проверка прошла, но не нашла нужных признаков. Статусы «Проверка недоступна» и «данных недостаточно» означают, что по этой проверке нельзя сделать вывод.
- Прочитайте пояснения. Посмотрите, согласны ли модели друг с другом и есть ли предупреждения о формате, сжатии или другой обработке файла.
Балл — не процент вероятности
Балл показывает, насколько сильные признаки использования ИИ нашёл сервис. Например, 80 из 100 не означает, что изображение создано нейросетью с вероятностью 80%. Чтобы понять оценку, посмотрите, какие результаты на неё повлияли.
03 / На практике
Что означают результаты
Разберём три условных примера. Они показывают, как читать отчёт, а не насколько точен детектор.
Модель дала высокий балл, метаданных нет
Модель нашла признаки генерации в самом изображении. Но данных о том, как создали файл, нет. Они могли исчезнуть при пересылке — стоит запросить оригинал и проверить его.
В метаданных указан редактор
Название программы не объясняет, что в ней делали. Изображение могли обрезать, изменить цвета или обработать с помощью ИИ. По одной записи выбрать между этими вариантами нельзя.
Проверка не нашла признаков ИИ
Выполненные проверки не нашли признаков ИИ. Это ещё не значит, что перед вами фотография с камеры или что изображение никто не редактировал.
04 / Ограничения
Почему детектор ИИ может ошибаться
Ошибка возможна в обе стороны: детектор может найти признаки ИИ в настоящей фотографии или не заметить их в сгенерированном изображении. Высокий балл сам по себе не доказывает генерацию, а низкий не подтверждает подлинность.
- Скриншоты и пересылка. Скриншот не сохраняет исходные метаданные. При пересылке сервисы также могут удалить их или сжать изображение.
- Сжатие, обрезка и изменение размера. После такой обработки модели могут оценить изображение иначе, чем оригинал.
- Новые генераторы и необычные изображения. Детекторы могут пропустить незнакомые признаки генерации или ошибочно принять особенности обычного изображения за следы ИИ.
- Изменение отдельного участка. Общая оценка может не отражать небольшую правку. Если в отчёте есть экспериментальная карта подозрительных областей, она показывает, куда стоит присмотреться. Подсветка не доказывает, что этот участок изменили.
- Недоступная проверка. Не каждый метод подходит для любого файла. Отдельная модель или внешний сервис также могут быть недоступны — это отмечается в отчёте.
Что делать, если детекторы дают разные результаты?
Не выбирайте только самый высокий балл и не усредняйте оценки вручную. Модели могут реагировать на разные особенности файла и ошибаться одновременно. Сравните их пояснения, выполненные проверки и сведения о происхождении; по возможности проверьте оригинал вместо скриншота.
Одна удачная или ошибочная проверка не показывает точность детектора на других изображениях. Ниже объясняем, как сравнивать результаты и какие данные нужны для оценки качества.
05 / Повторная проверка
Как сравнить оригинал и обработанную копию
Используйте файл, происхождение которого вам известно и который вы вправе загрузить. Этот протокол помогает исследовать конкретный случай; он не измеряет общую точность сервиса.
- Сохраните оригинал без изменений. Запишите источник, формат, размеры в пикселях и размер файла. Для точного сопоставления файлов можно дополнительно сохранить контрольную сумму SHA-256.
- Проверьте оригинал. Зафиксируйте дату, итог, отдельные оценки, сведения о происхождении и недоступные проверки. Сохраните названия и версии моделей, если они указаны в подробностях; если версия не показана, отметьте это.
- Измените только одно условие. Например, создайте JPEG-копию с известным качеством сжатия. Запишите программу и параметры экспорта. Не заменяйте оригинал и не смешивайте сжатие, обрезку и скриншот в одном сравнении.
- Проверьте копию и сопоставьте основания. Отдельно сравните оценки моделей, метаданные, C2PA и доступность проверок. Разница баллов после экспорта не доказывает, что в изображение добавили ИИ.
Обновление моделей или изменение доступности проверок тоже может повлиять на результат. Сравнение без сведений о версиях имеет это ограничение. Сохраняйте свои записи: временное задание в сервисе не является постоянным архивом отчётов.
06 / Проверяемость
Что известно о точности
На этой странице не опубликована репрезентативная проверочная выборка с измеренными ошибками для всех поддерживаемых типов изображений. Поэтому мы не заявляем универсальный процент точности. Условные примеры выше и пример интерфейса отчёта объясняют результат, но не заменяют такую проверку.
Для обоснованной оценки нужны известное происхождение файлов, версии моделей и настроек, отдельная выборка, не использованная для настройки, и описанные преобразования изображений. Результаты следует показывать отдельно для оригиналов, сжатых копий, скриншотов и частично изменённых изображений.
- Ложное срабатывание: сколько изображений без ИИ получили положительный вывод, из какого числа проверенных файлов этой группы.
- Пропуск: сколько изображений с известным использованием ИИ получили отрицательный вывод, из какого числа файлов этой группы.
- Нет вывода: сколько проверок были недоступны или дали недостаточно данных. Такие случаи нужно показывать отдельно, а не считать успешными.
Небольшая выборка и повторные копии одной сцены могут дать обманчивое впечатление о качестве. Для важных решений проверяйте источник изображения и дополнительные свидетельства независимо от оценки сервиса.
07 / Следующий шаг
Если от результата зависит решение
Сохраните исходный файл. Попробуйте найти первую публикацию: когда и где появилось изображение, кто его разместил и что о нём написал. Если у вас только скриншот или пересланная копия, запросите оригинал.
Отчёт поможет разобраться в файле. Установить, кто создал изображение и произошло ли показанное событие на самом деле, по нему одному нельзя.
Проверить фото на ИИЧто происходит с файлом
Для проверки изображение загружается на сервер. Временная рабочая копия исходника и данные задания хранятся не дольше 30 минут для дополнительных действий.
Во время стелс-беты первый исходный файл, его имя, снимок метаданных, IP и заголовки запроса также передаются в защищённый служебный сервис через Telegram. Эта отдельная копия не удаляется по таймеру рабочего задания и хранится до удаления администраторами. Подробнее — в условиях обработки данных.
Условия обработки данных