Which Is Plagiarism: Fashion Image Retrieval Based on Regional Representation for Design Protection

作者 | Yining Lang, Yuan He, Fan Yang, Jianfeng Dong, Hui Xue

单位 | 阿里；浙江工商大学；AZFT

会议｜CVPR2020

paper地址

概述

在服装领域，虽然打假一直不断，但盗版抄袭问题依旧普遍存在，而且从线上线下，抄袭手段越来越刁钻。目前来看，服装领域的抄袭有以下三类

•图片盗用

抄袭成本很低，很容易被平台的图片检索系统锁定

•创意盗版

抄袭成本稍高，但基于相似度度量的算法，可以对它们进行召回和治理

•对服装的某些区域进行修改

抄袭成本高，需要人工审核发现，打假成本也高

两组盗版示例，其中每组中左图为正版服装，右图为盗版服装

盗版服装检索的难点

盗版服装的形式层出不穷，有些盗版服装跟原图比较相似，但是有些并不相似

而且有些盗版服装与原创服装属于不同的类型，提高了网络训练时的要求

盗版服装的定义

作为盗版服装检索领域的首次工作，作者对盗版服装的定义是整体上抄袭原版服装设计和风格，服装修改的局部区域数小于等于2

将图像中的服装分为五个区域，包括领子、胸部、腰部和两个袖子区域

方法

基于三元组的损失函数（for 相似性检索）

$\begin{array}{c} \mathcal{L}_{t r i}\left(I, I^{+}, I^{-}\right)=\sum_{r=1}^{R} \max \left(D_{r}^{I, I^{+}}-D_{r}^{I, I^{-}}+m, 0\right) \\ \mathcal{L}_{t r a}=\sum_{n=1}^{N} \mathcal{L}_{t r i}\left(I, I^{+}, I^{-}\right) \end{array}$

基于三元组的损失函数（for 盗版检索）

$\begin{array}{c} \mathcal{L}_{t r i}^{\prime}\left(I, I^{+}, I^{-}\right)=\sum_{r=1}^{R} \max \left(D_{r}^{I, I^{+}}-D_{r}^{I, I^{-}}+m, 0\right) \cdot \lambda_{r} \\ \alpha_{t r i}=\frac{\operatorname{avg}\left\{\left\|f_{r}(I)-f_{r}\left(I^{+}\right)\right\|_{2} ; r=1,2, \ldots R\right\}}{\max \left\{\left\|f_{r}(I)-f_{r}\left(I^{+}\right)\right\|_{2} ; r=1,2, \ldots R\right\}} \\ \mathcal{L}_{p l a}=\sum_{n=1}^{N}\left[\mathcal{L}_{t r i}^{\prime}\left(I, I^{+}, I^{-}\right) \cdot \alpha_{t r i}\right] \end{array}$

网络框架

PS-Net总体框架

Network Backbone

HR-Net提取图片的特征

HR-Net 的多分辨率子网并行连接，使得每一个高分辨率到低分辨率的表征都从其它并行表示中反复接受信息，从而得到丰富的高分辨率表征

但HR-Net不是必须的，可以用ResNet、VGG-Net 等替代

Landmark Branch

关键点估计分支，为划分区域做准备，通过反卷积进行上采样

Retrieval Branch

聚合局部区域的特征进行检索

根据 Landmark Branch 得到的关键点预测和输出的热力图，得到特定局部区域在特征图上的位置

再根据特定区域在特征图上的位置，通过ROI pooling得到 Retrieval Branch 的特征图中该区域相应的局部特征图

Plagiarized Fashion 数据集

•总共60,000张图片,其中40,000用于训练 20,000用于测试

•包括4类服装：短袖T恤、长袖上衣、外套以及连衣裙

•图片从淘宝网爬取并经过专家标注

总结

•提出了一个新的抄袭服装检索问题

•建立了新的用于抄袭服装检索的数据集Plagiarism Fashion

•提出了一种基于区域表示的多任务网络PS-Net且达到了SOTA

•PS-Net还可以用于传统的服装检索和关键点估计任务