DALL・E 这波超进化,画质艺术感双飞升,还学会了无痕 P 图

量子位 2022/4/7 14:55:08 责编:潇公子

把椅子上的萌犬 P 成猫猫,需要几步?第一步,圈出狗狗。第二步,告诉 AI 你的需求。鼠标一点,齐活。

这位 AI P 图大师,其实是位老朋友 ——OpenAI 风靡全球的那位 DALL・E。现在,它刚刚完成了“2.0 超进化”。不仅新学了一手出神入化的 P 图绝技,创作质量也有了飞跃式的提升。

话不多说,直接看作品感受一下~ 这是 DALL・E 2 在“星云爆炸状柯基头”这一提示下的创作出来的画作:

这幅萨尔瓦多・达利的画像,是不是有点萨尔瓦多・达利内味儿了?

跟初代 DALL・E 比起来,着实是画质与艺术感双双飞升了。

△ “日出时分安坐在田野里的狐狸,莫奈风格”

所以,研究人员具体如何点亮了 DALL・E 的新技能点?

CLIP + 扩散模型

DALL・E 此番进化,简单来说就是分辨率更高了,延迟更低了。此外,还有更新 2 大新功能:

首先,在更细粒度上实现文本 → 图像功能。也就是说,DALL・E 2 可以根据自然语言提示进行 P 图。在 P 图的过程中,还会考虑阴影、反射、纹理等元素的变化。比如在左图标“2”的位置 P 一个火烈鸟泳圈,DALL-E 2 会把水面倒影这种细节也处理到位。

其次,是可以在保留原作核心元素的基础之上,赋予原作船新的风格。并且生成画面的画质是 DALL・E 1 的 4 倍,即从 256×256 提升到了 1024×1024。

具体的实现方法,用 OpenAI 官方的话来说,就是结合了 CLIP 和扩散模型两种技术的优点。CLIP 是原版 DALL・E 功能实现的基础,是一个负责给图像重排序的模型,其零样本学习能力已经在各种视觉和语言任务上大放异彩。而扩散模型的特点在于,在牺牲多样性的前提下,能大大提升生成图像的逼真度。于是,OpenAI 的研究人员设计了这样一种方案:

在这个名为 unCLIP 的架构中,CLIP 文本嵌入首先会被喂给自回归或扩散先验,以产生一个图像嵌入。而后,这个嵌入会被用来调节扩散编码器,以生成最终的图像。

OpenAI 解释称,DALL・E 能够 get 图像和用于描述画面的文本之间的关系。其图像的生成是在“扩散”过程中完成的,可以理解为是从“一堆点”出发,用越来越多的细节去把图像填充完整。

研究人员将 DALL・E 2 与 DALL・E、GLIDE 等模型进行了对比。

实验结果显示,DALL・E 2 的图像生成质量与 GLIDE 相当,但 DALL・E 的生成结果更具多样性。

目前,DALL・E 2 并未对公众开放,不过如果你感兴趣,可以在线注册申请一发~

项目地址:

https://openai.com/dall-e-2/#demos

相关文章

关键词:OpenAI模型图像

软媒旗下网站: IT之家 辣品 - 超值导购,优惠券 最会买 - 返利返现优惠券 iPhone之家 Win7之家 Win10之家 Win11之家

软媒旗下软件: 魔方 云日历 酷点桌面 Win7优化大师 Win10优化大师 软媒手机APP应用