CSA-Net:哪双鞋可搭配那套衣服?

需要衣柜升级吗?您可以向Netflix的Queer Eye询问时尚专家,也可以使用发布的新神经网络。

亚马逊(Amazon)的Yen Liang Lin、桑特兰Son Tran和Larry s.Davis提出了 Category-based Subspace Attention Network(CSA Net),以预测和检索可互补的兼容服装和配饰。

假设你有几件衣服放在一起,想要再多一个来完成整个组合。过去的方法,如SCE-Net,可以通过对服装或配饰进行评分来找到匹配的服装,但亚马逊的商品目录太大,无法比较其中的每对商品。CSA-Net通过学习每个物品的矢量描述并寻找附近的物品来检索物品。网络根据已经选择的类别调整其表示。例如,给它一件衬衫和鞋子,它可以找到一个匹配的手袋或帽子。

  • 卷积神经网络从服装或配饰的图像中学习特征。
  • 注意力机制修改了特征,以将放在一起的不同类型的物品(匹配的衬衫和裤子,匹配的裤子和鞋子)放置在不同的子空间或部分特征空间中。
  • 呈现出几件包含不完整衣服的物品,CSA-Net通过将其与每件物品分别配对来预测丢失的物品。 假设您有帽子,裤子和鞋子,并且想要上衣。 系统会寻找与您的帽子搭配的上衣,然后与您的裤子搭配的上衣,依此类推,通过融合来自不同查询项的分数来获得最终排名。

研究人员在Polyvore服装数据集上对CSA-Net进行了评估,这些数据集的时尚物品和标签详细描述了兼容性。在提供不完整4件套服装的情况下,CSA-Net预测第五个衣服的正确率为59.26%,而之前的技术水平为53.67%。在预测一副衣服是否兼容方面,也优于先前的技术水平。

时尚单品和配饰的世界是巨大而复杂的,在一个特征空间中匹配单品是一个挑战。CSA-Net通过将特征空间重构为兼容的子空间,使任务更易于处理。