使用人工提示和草图生成逼真的时尚图像的模型

人工智能(AI)最近开始进入许多创意产业，例如，以数字艺术家，建筑师，室内设计师和图像编辑的工具的形式。在这些情况下，人工智能可以自动化繁琐或耗时的过程，同时也有可能激发艺术家的灵感并促进他们的创作过程。

佛罗伦萨大学、摩德纳大学和雷焦艾米利亚大学以及比萨大学的研究人员最近着手探索人工智能模型在时装设计中的潜力。在arXiv上预先发表的一篇论文中，他们介绍了一种新的计算机视觉框架，可以帮助时装设计师通过向他们展示他们在人体上的外观来可视化他们的设计。

过去大多数探索人工智能在时尚行业使用的研究都集中在计算工具上，这些工具可以推荐类似于用户选择的服装，或者可以向在线客户展示服装在身体上的外观的模特(即虚拟试穿系统)。另一方面，这个研究人员团队着手开发一个可以支持设计师工作的框架，向他们展示他们设计的服装在现实生活中的外观，以便他们能够找到新的灵感，识别潜在的问题并在需要时改变他们的设计。

“与以前主要关注服装虚拟试穿的作品不同，我们提出了多模态条件时尚图像编辑的任务，通过遵循多模态提示(如文本、人体姿势和服装草图)来指导以人为中心的时尚图像的生成，”Alberto Baldrati，Davide Morelli和他们的同事在他们的论文中写道。

“我们通过提出一种基于潜在扩散模型的新架构来解决这个问题，这种方法以前在时尚领域从未使用过。

研究人员没有使用生成对抗网络(GAN)，即通常用于生成新文本或图像的人工神经网络架构，而是决定创建一个基于潜在扩散模型或LDM的框架。由于LDM在压缩和低维潜在空间中训练，因此可以创建高质量的合成图像。

虽然这些有前途的模型已被应用于许多需要生成人工图像或视频的任务，但它们很少用于时尚图像编辑的上下文中。该领域的大多数先前工作都引入了基于GAN的架构，其生成的图像质量低于LDM。

大多数用于在时装设计任务上训练人工智能模型的现有数据集仅包括低分辨率的服装图像，不包括基于文本提示和草图创建时尚图像所需的信息。为了有效地训练他们的模型，Baldrati，Morelli和他们的同事必须首先更新这些现有的数据集或创建新的数据集。

“鉴于缺乏适合该任务的现有数据集，我们还扩展了两个现有的时尚数据集，即着装规范和VITON-HD，以半自动方式收集多模态注释，”Baldrati，Morelli和他们的同事在他们的论文中解释道。“这些新数据集的实验结果表明了我们提案的有效性，无论是在真实性还是与给定多模式输入的一致性方面。

在初步评估中，这组研究人员创建的模型取得了非常有希望的结果，受人体草图和特定文本提示的启发，创建了人体上服装的逼真图像。他们的模型源代码和他们添加到数据集中的多模态注释将很快在GitHub上发布。

　　免责声明：本文由用户上传，与本网站立场无关。财经信息仅供读者参考，并不构成投资建议。投资者据此操作，风险自担。 如有侵权请联系删除！