Обработка фотографий для интернет‑магазина Lamoda с помощью нейросетей
О проекте
Lamoda — один из крупнейших интернет-магазинов в России и СНГ, специализирующийся на продаже одежды и обуви. Компания обладает разветвленной внутренней инфраструктурой, включая собственные складские комплексы, контактные центры и фотостудию, где ежедневно снимаются сотни товаров.
Для оптимизации обработки фотографий Lamoda обратилась к команде разработчиков с целью автоматизировать рутинные процессы, связанные с ретушью и подготовкой изображений для каталога.
Для оптимизации обработки фотографий Lamoda обратилась к команде разработчиков с целью автоматизировать рутинные процессы, связанные с ретушью и подготовкой изображений для каталога.
Задача
Необходимо было разработать решение на базе машинного обучения (ML), которое бы автоматизировало задачи по ретуши фотографий, такие как правильное расположение объектов в кадре, коррекция цвета фона и другие действия, которые традиционно выполняли сотрудники вручную.
Проблемы, с которыми столкнулась Lamoda.
Основной проблемой Lamoda была высокая нагрузка на отдел ретуши из-за большого объема изображений, которые необходимо было обработать для размещения товаров в каталоге. Для каждой карточки обуви требовалось несколько фотографий, представленных с разных ракурсов. Каждый снимок должен был соответствовать определенным стандартам: объект должен был быть расположен по центру кадра, с правильно выбранным фоном и тенью. Однако точные параметры для углов поворота и расположения объектов были неопределены, что усложняло задачу. С помощью нейросетей компания хотела ускорить процесс и автоматизировать корректировку изображений.
Проблемы, с которыми столкнулась Lamoda.
Основной проблемой Lamoda была высокая нагрузка на отдел ретуши из-за большого объема изображений, которые необходимо было обработать для размещения товаров в каталоге. Для каждой карточки обуви требовалось несколько фотографий, представленных с разных ракурсов. Каждый снимок должен был соответствовать определенным стандартам: объект должен был быть расположен по центру кадра, с правильно выбранным фоном и тенью. Однако точные параметры для углов поворота и расположения объектов были неопределены, что усложняло задачу. С помощью нейросетей компания хотела ускорить процесс и автоматизировать корректировку изображений.
Реализация
Для решения задачи была использована система, основанная на ансамбле нейронных сетей, которая позволила автоматизировать обработку изображений.
Система состоит из двух ключевых моделей:
Кроме того, для обработки разных ракурсов объекта, таких как вид сбоку или сверху, использовались морфологические операции с использованием библиотеки OpenCV, что обеспечивало точность и высокую скорость обработки.
Система состоит из двух ключевых моделей:
- Дихотомическая сегментация изображений. Эта нейронная сеть разделяет изображение на несколько однородных областей по цвету, текстуре или интенсивности. Такой подход позволяет эффективно выделить объект и отделить его от фона.
- Модель Deep-OAD. Эта модель глубокого обучения помогает определить угол ориентации объекта на изображении, что важно для выравнивания изображений и корректировки их положения в кадре.
Кроме того, для обработки разных ракурсов объекта, таких как вид сбоку или сверху, использовались морфологические операции с использованием библиотеки OpenCV, что обеспечивало точность и высокую скорость обработки.
Вид объекта в профиль.
Изображение обуви в профиль автоматически обрабатывается нейросетью, которая разделяет объект и фон, корректирует его расположение на изображении, обрезает по контуру и вставляет на новый фон. Также применяется затемнение и коррекция освещения для улучшения контраста и насыщенности.
Изображение обуви в профиль автоматически обрабатывается нейросетью, которая разделяет объект и фон, корректирует его расположение на изображении, обрезает по контуру и вставляет на новый фон. Также применяется затемнение и коррекция освещения для улучшения контраста и насыщенности.
Вид объекта сверху.
Для обработки изображений сверху используется модель сегментации, которая выделяет объект и корректирует его ориентацию, обеспечивая горизонтальное расположение обуви. Далее, происходит центрирование объекта и установка белого фона с применением коррекции освещения и тени.
Для обработки изображений сверху используется модель сегментации, которая выделяет объект и корректирует его ориентацию, обеспечивая горизонтальное расположение обуви. Далее, происходит центрирование объекта и установка белого фона с применением коррекции освещения и тени.
Обработка поворота обуви.
Для обработки изображений обуви, нуждающихся в повороте, используется модель Deep-OAD для предсказания угла поворота. После этого, изображение сегментируется, и объект обрезается по контурному прямоугольнику, после чего центрируется и размещается на прозрачном фоне.
Для обработки изображений обуви, нуждающихся в повороте, используется модель Deep-OAD для предсказания угла поворота. После этого, изображение сегментируется, и объект обрезается по контурному прямоугольнику, после чего центрируется и размещается на прозрачном фоне.
Результат
Ускорение процесса и повышение эффективности.
Решение, разработанное для Lamoda, существенно ускорило обработку фотографий. Время на обработку одного изображения составляет 5−15 секунд в зависимости от мощности процессора, что в несколько раз быстрее, чем вручную выполняемая ретушь. Обработка изображений с использованием нейросетей не только ускорила процессы, но и позволила повысить качество и точность каждой фотографии, что особенно важно для интернет-магазина, где изображение товара играет ключевую роль в принятии решения о покупке.
Дополнительные улучшения
Кроме того, в систему была добавлена еще одна нейросеть, которая автоматически определяет тип задачи для каждой фотографии и направляет изображения в соответствующие модули для дальнейшей обработки. Это позволило сделать процесс еще более автоматизированным и эффективным.
Система позволяет снизить нагрузку на сотрудников и улучшить пользовательский опыт за счет быстрого обновления каталога товаров.
Основные результаты внедрения решения:
Решение, разработанное для Lamoda, существенно ускорило обработку фотографий. Время на обработку одного изображения составляет 5−15 секунд в зависимости от мощности процессора, что в несколько раз быстрее, чем вручную выполняемая ретушь. Обработка изображений с использованием нейросетей не только ускорила процессы, но и позволила повысить качество и точность каждой фотографии, что особенно важно для интернет-магазина, где изображение товара играет ключевую роль в принятии решения о покупке.
Дополнительные улучшения
Кроме того, в систему была добавлена еще одна нейросеть, которая автоматически определяет тип задачи для каждой фотографии и направляет изображения в соответствующие модули для дальнейшей обработки. Это позволило сделать процесс еще более автоматизированным и эффективным.
Система позволяет снизить нагрузку на сотрудников и улучшить пользовательский опыт за счет быстрого обновления каталога товаров.
Основные результаты внедрения решения:
- Время обработки одного изображения сокращено до 5−15 секунд.
- Ускорение процессов обработки изображений и добавления товаров в каталог.
- Повышение качества фотографий и точности их расположения.
- Автоматическое распределение задач между модулями для обработки изображений.
Обсудить идею или проект
Или просто напишите нам на почту:
Ответим в рабочее время
с 9:00 до 18:00 по московскому времени
с 9:00 до 18:00 по московскому времени