Нейросеть смотрит на фото и называет породу

Приложение по фотографии называет породу собаки или кошки за секунду, причём иногда с процентом уверенности. Для чистокровных питомцев с чёткими признаками результат обычно хороший, а вот с дворнягами и метисами всё гораздо сложнее.

Фото: Jakub Hałun, CC BY-SA 4.0, Wikimedia Commons

Стоит понять, как это работает, где технология ошибается и что разумно делать с полученным ответом.

Как нейросеть узнаёт породу

В основе лежит компьютерное зрение. Модель обучают на огромном наборе размеченных фотографий: на каждом указано, какая это порода. Постепенно нейросеть учится замечать признаки, которые человек описал бы словами «форма ушей», «длина морды», «окрас», «тип шерсти», но делает это на уровне числовых закономерностей.

Когда загружается новое фото, модель сравнивает его с усвоенными образами и выдаёт вероятности. Например, 70% за одну породу, 15% за другую, остаток поделён между остальными. Процент не означает «уверенность в правде», это лишь оценка схожести с примерами из обучения.

Популярные приложения для определения пород существуют и в российских магазинах, и в зарубежных. Есть также функции распознавания животных в поиске по картинкам, в Яндекс Картинках и Google Lens, и специализированные сервисы приютов и ветеринарных платформ. Доступность и условия меняются, поэтому актуальное лучше смотреть в магазине приложений.

Когда результат получается точным

Лучше всего модель справляется с породами, у которых яркие и устойчивые признаки. Такса, корги, шарпей, мейн-кун, сфинкс, шотландская вислоухая кошка выглядят узнаваемо. Хорошая фотография сильно повышает шансы.

• Животное снято целиком или по грудь, в фокусе, при хорошем свете.
• Морда видна анфас или в три четверти, без закрытых глаз.
• На снимке одно животное, нет одежды, ошейников и ярких предметов, которые отвлекают.
• Фон простой, без людей и других питомцев.

Разработчики и исследователи обычно сообщают о высокой точности на аккуратных учебных наборах данных. Но реальные фотографии из телефона, снятые в движении, в тени или с необычного ракурса, дают результат хуже. Поэтому цифры из рекламы стоит воспринимать как ориентир для идеальных условий.

У кошек определение в среднем сложнее. Многие породы различаются тонкими деталями шерсти и пропорций, а множество домашних кошек не принадлежит к породам вовсе: это обычные короткошёрстные, которые просто красивы.

Почему ошибаются на дворнягах

Главная причина проста. Нейросеть умеет выбирать только из тех вариантов, которым её научили. Если в обучающем наборе есть сто пород, она назовёт одну из ста, даже когда перед ней метис пяти разных линий или обычная дворняга. Варианта «ничего из перечисленного» у многих моделей нет.

Метис наследует признаки сразу нескольких пород, и они сочетаются непредсказуемо. Уши от одной, окрас от другой, телосложение от третьей. Для человека порода «дворянин», для алгоритма набор конфликтующих подсказок. Итог: модель называет породу, на которую животное похоже сильнее всего, и это вовсе не значит, что она есть в родословной.

Вторая проблема связана с данными. Фотографий популярных пород в интернете гораздо больше, чем редких, поэтому модель лучше знает первых и чаще склоняется к ним. Это называют смещением набора данных. Ещё одна трудность: щенки и котята выглядят совсем иначе, чем взрослые животные, и признаки породы проявляются позже.

Наконец, внешность не равна происхождению. Даже ветеринары и кинологи по внешнему виду определяют породу приблизительно. Подтвердить породу по-настоящему можно только документами (родословной) или генетическим тестом, а у фото-определения такой функции нет.

Что делать с результатом

Ответ приложения лучше рассматривать как подсказку, а не как диагноз. Он помогает выбрать направление: узнать общие особенности похожих пород, понять, какие нагрузки и уход могут понадобиться.

Нужно учесть несколько ограничений. Порода по картинке не показывает состояние здоровья, характер конкретного животного и уровень активности. Нельзя выбирать корм, лекарства или дозировки только по тому, что приложение назвало породу. Любые вопросы здоровья решаются с ветеринаром.

Если порода действительно важна, например при покупке щенка или котёнка, надёжнее смотреть документы питомника, договор и родословную. Для приютских животных вопрос породы вторичен: ориентироваться стоит на поведение и здоровье, а не на строку в приложении.

Для интереса хорошо работает такой приём: загрузить несколько разных фотографий одного питомца и сравнить ответы. Если результаты сильно расходятся, значит, модель путается и доверять ей особенно не стоит. Если ответ стабилен, он правдоподобнее.

Где ещё это применяют и что дальше

Распознавание изображений давно работает не только для забавы. В ветеринарии модели помогают анализировать рентгеновские снимки. В сельском хозяйстве камеры следят за здоровьем и поведением скота, а системы подсчёта животных используются в заповедниках. В поиске пропавших питомцев сервисы сопоставляют фото с объявлениями, и это способно ускорить встречу с хозяином.

В ритейле нейросети классифицируют товары на полках, в медицине находят патологии на снимках, на производстве выявляют брак. Принцип тот же, что и у определителя пород: модель сравнивает изображение с усвоенными примерами. Разница лишь в цене ошибки.

Дальше такие приложения, вероятно, станут точнее за счёт больших мультимодальных моделей, которые понимают и картинку, и текстовое описание. Они смогут не только называть породу, но и честнее признавать неуверенность: «похоже на метиса с чертами таких-то пород». Возможно, появятся сервисы, объединяющие фото, данные об окружающей среде и генетические тесты.

Пока же разумный итог такой: определитель по фото хорош как любопытный инструмент и повод узнать больше о питомце. Но окончательный вердикт о породе, здоровье и характере остаётся за документами, ветеринаром и наблюдением за самим животным.