Мультимодальность: что это простыми словами

Простыми словами

Модальностью называют способ подачи информации. Текст – одна модальность, картинка – другая, звук – третья. Пару лет назад чат с нейросетью напоминал переписку с человеком из соседней комнаты: он видел только ваши сообщения, и всё остальное приходилось описывать словами. Теперь собеседник будто пересел к вам за стол, и ему можно показать лист бумаги, экран телефона или просто сказать вслух.

Что пишут сами разработчики. По официальной документации Anthropic, Claude принимает картинки в форматах JPEG, PNG, GIF и WebP, а на claude.ai фото загружают как обычный файл или перетаскивают прямо в окно чата. OpenAI в документации для разработчиков пишет, что все её последние модели принимают текст и изображения. В ChatGPT к этому добавляются голосовые чаты и создание картинок, на бесплатном тарифе с лимитами.

Пример из практики

В статье нейросеть по фото, скрину и голосу разобран простой случай. Вы фотографируете полку с товаром и спрашиваете, какой продукт на ней выделяется меньше всего и что поправить в упаковке. Нейросеть отвечает, что слабее всех читается вторая слева банка: тёмный шрифт сливается с тёмным фоном, а соседи берут светлый текст на ярком фоне. Дальше идёт совет поднять контраст названия и увеличить шрифт.

Ещё сильнее работает скриншот. Он всегда чёткий, без бликов и теней, поэтому нейросеть читает его уверенно. Выскочило окно с непонятной ошибкой на английском – сделайте снимок экрана и спросите, что нажать. Пришла статистика рекламного кабинета – отправьте скрин и попросите сказать, что тут хорошо и что плохо. Голос выручает, когда заняты руки: надиктовали идею поста по дороге, и нейросеть собрала из этого потока связный текст.

Где у мультимодальности потолок

Нейросеть смотрит на картинку иначе, чем вы: она раскладывает её на признаки и по ним делает выводы. Отсюда и ошибки. В документации Anthropic прямо написано, что Claude может ошибаться на снимках плохого качества, повёрнутых или совсем маленьких, меньше 200 пикселей. Предметы на фото он считает приблизительно, определить, нарисована ли картинка нейросетью, не умеет, а называть людей по фото отказывается.

Поэтому мелкий шрифт, блик поперёк текста или снимок под углом лучше переснять, прежде чем спрашивать. Ответы по медицинским снимкам, договорам и деньгам перепроверяйте: на плохой картинке модель чаще додумывает, чем признаётся, что не разобрала. Про эту привычку нейросетей подробно рассказано в термине галлюцинация.

Где почитать подробнее

• Нейросеть по фото, скрину и голосу: мультимодальность на практике
  12 задач по фото, скрину и голосу
• Нейросети для чайников: 30 терминов простыми словами
  мультимодальность среди 30 базовых терминов
• Claude 5, GPT-5 и Gemini 3: что изменилось и кому что подходит
  что видят и слышат Claude, GPT и Gemini