tensorflow keras pytorch，tensorflow.keras.models

机器心脏报告

机器之心编辑部

研究人员对稳定扩散的探索永无止境。

最近，慕尼黑大学和Runway 的研究人员基于CVPR 2022 论文《High-Resolution Image Synthesis with Latent Diffusion Models》 实现了一种文本到图像模型——稳定扩散。图形处理器。

自其推出以来，研究人员对稳定扩散进行了更详细的研究。有研究人员将Web UI“结合”起来，打造了将两者结合起来的绘画工具，让从未系统学习过UI知识的朋友也能上手。

为了帮助更多人快速入门，一些研究人员整理了一份在Apple M1 芯片上运行Stable Diffusion 的指南。

然而，最初的模型是基于Torch实现的。现在，Meta 研究员Divam Gupta 表示： “基于Tensorflow/Keras 的稳定扩散就在这里。”

%20项目地址：https://github.com/divagupta/stable-diffusion-tensorflow

概括起来，该项目具有三个特点。它对预先训练好的模型进行转换，代码简单易懂，代码量小。

Divam%20%20Gupta%20%20表示，在8GB%20%20M1%20MacBook%20%20Air%20%20上运行Stable%20%20Diffusion%20%20的运行速度比Torch%20%20实现快约4%20倍。

%20%20Keras%20%20的创建者Franois%20%20Chollet%20%20说：%20“Keras%20%20可以与M1%20MacBooPros%20%20GPU%20%20配合使用，甚至可以开箱即用地运行多GPU%20%20推理。”

%20%20%20Chollet%20%20还表示，除了GPU%20%20之外，还可以开箱即用地运行TPU%20%20推理。只需获取一个TPU%20%20VM%20%20并将TPU%20%20策略范围添加到您的代码中即可。这在处理大批量时显着加快了推理速度并降低了成本。

%20%20总之，乔莱说：%20“非常感谢Divam%20%20Gupta%20%20创建了这个端口，它将使所有参与创意人工智能的人受益，它的快速发展永远让我感到惊讶。”%20”

项目介绍

我怎样才能运行这个项目？

首先输入以下地址：https://colab.research.google.com/drive/1zVTa4mLeM_w44WaFwl7utTaa6JcaH1zK

运行命令行：

python%20%20text2image.py%20%20--prompt='马背上的宇航员'%20使用Python%20%20界面。

pip%20%20install%20%20git+https://github.com/fchollet/stable-diffusion-tensorflowfromsteady_diffusion_tf.stable_diffusion%20%20import%20%20Text2Imagefrom%20%20PIL%20%20import%20%20Imagegenerator=Text2Image(%20img_height=512,%20img_width=512,%20jit_compile=False,)img=generator.generate(%20'马',%20num_steps=50、unconditional_guidance_scale=7.5,Temperature=1,batch_size=1,)Image.fromarray(img[0]).save('output.png')只需简单两步即可完成。输出如下： 1 洛可可狼人在着火的咖啡馆里喝咖啡。

摩天大楼粉色和白色蜘蛛侠：

天视：

有兴趣的朋友请尝试一下。

参考链接：

https://twitter.com/divamgupta/status/1571234504320208897?s=20t=kpyjZ8LLSmgJFnUKqyepAw

https://twitter.com/fchollet/status/1571874757582389250

版权声明：本文由今日头条转载，如有侵犯您的版权，请联系本站编辑删除。