stable diffusion和NovelAI有哪些区别？

NovelAI 和 Stable Diffusion 都是 AI 绘画领域的当红明星了，尽管这两种模型在出图效果上存在明显差异，但它们在算法本质上是大同小异的。在本文中，我们将讨论 Stable Diffusion 和 NovelAI 的区别，并探讨它们之间的关系。

Stable Diffusion 在 2022 年 8 月开源后，市面上大部分模型都是在 Stable Diffusion 的基础上做优化，novelai 研发的 3 个模型也不例外，NovelAI 介绍文档中已经明确提到，NovelAI Diffusion Models 是基于 Stable Diffusion 开发的，所以两者共用同一套底层技术。

那 NovelAI 和 Stable Diffusion 有什么不同呢？我们在 ai绘画是怎么画的？ai绘画算法揭秘、一文讲透ai作画原理技术 两篇文章中已经介绍了 AI 绘画的原理，目前大部分 AI 绘画模型在算法上都大同小异，最大的区别在数据集和训练方式。Stable Diffusion 的训练数据集是 LAION-5B，这个数据库拥有从互联网上抓取的 58 亿「图像-文本」数据；NovelAI 训练数据大量来自 Danbooru，”Danbooru”是一个图片搜索和分享网站，它主要提供了许多来自日本动画、漫画和游戏的图片，NovelAI 就是用 Danbooru 的图片在 Stable Diffusion 的基础上做了模型的优化训练（fine-tune）。直观感受上两个模型的出图效果有很大区别，下面我们分人像、风景、物品来做一些对比 ～

人像

数字绘画的年轻漂亮的女孩与巴洛克假发与鲜花, 佛兰芒巴洛克, 新古典主义, 花卉, 艺术站趋势, HD
digital painting of young beautiful girl with baroque wig with flowers, flemish baroque, neoclassicism, flowers, trending on artstation , HD

一位可爱的年轻女士，大眼睛，美丽细致的眼睛，微笑，看起来像阿凡达角色，蓝色皮肤，尖耳朵，肖像，插图，杰作，最佳质量，CG，高清，8k，4k，非常详细，壁纸
a cute young lady, big eyes, beautiful detailed eyes, smile, (( looks like an avatar character, blue skin, pointed ears)), portrait, illustration, masterpiece, best quality, CG, HD, 8k, 4k, highly detailed, wallpaper, 8k

漂亮女孩的肖像，金色的眼睛，琥珀色的眼睛，孩子气的脸，专业的数字绘画，狂野的笔触，概念艺术，获奖摄影，电影，wlop，色块，流行，臀部，安迪沃霍尔的艺术，pixiv 艺术，天野喜孝，动画风格
portrait of a pretty girl, golden eyes, amber eyes, boyish face, professional digital painting, wild brush strokes, concept art, award – winning photography, cinematic, wlop, color block, pop, hip, art by andy warhol, pixiv art, yoshitaka amano , animation style

对称性，男性角色的全镜头素描，线条素描，错综复杂，优雅，非常详细，单色，数字绘画，artstation，概念艺术，锐利的焦点，插图，艺术由 grzegorz przybys 和 yintiong
symmetry, full shot sketch of a male character, line sketch, intricate, elegant, highly detailed, monochrome, digital painting, artstation, concept art, sharp focus, illustration, art by grzegorz przybys and yintiong

（毛茸茸的）， 一只可爱的兔子，（1女孩）， 毛茸茸的， 兔耳女孩， 白色短发， 鲍勃头发， 全身肖像， 美丽的细节眼睛， 高清， 8k，（肖像）， 插画， 风格参考 J.C. wlop
(furry), a cute bunny,(1girl), furry, rabbit-eared girl, white short hair, bob hair, full body portrait, beautiful detailed eyes, HD, 8k,(portrait),illustration, style reference J.C. wlop

一个年轻人的即时照片，看着相机，只有脸，宝丽来，原始，美丽，怀旧，漏光，日落，云，公园
Instant photograph of a young man, looking to the camera, face only, polaroid, raw, beautiful, nostalgic, light leak, sunset, clouds, park

风景

中国皇城购物街的史诗风景，柔和的月光，cel 阴影，虚幻引擎，美丽的构图，美丽，高度详细
epic scenery of a shopping street in the Chinese imperial city， Soft Moonlight， cel shaded， unreal engine， beautiful composition， Beautiful, highly detailed

分层雪林山地景观，禅宗，冬季计划，冰川，宁静，油画，粗笔触，艺术站，概念艺术，威廉特纳和丹尼尔 F.Gerhartz，4k
layered snowy forest mountain landscape, zen, winter scheme, glacier, tranquil, oil oncanvas,rough brushstrokes, artstation, concept art, by william turner and Daniel F.Gerhartz, 4k

物体

雪中玫瑰，温暖，寒冷，精美数字油画，壁纸
Rose in snow, warm, cold, exquisite digital oil painting, wallpaper

极简艺术的鸟
minimalist art of a bird

总结

从出图效果看，NovelAI 几乎只能生成动漫、手绘、素描、CG 风格的图片，但在这些风格的人像上出图率更高，是专精型选手；Stable Diffusion 相比之下不擅长生成动漫图片，但对于摄影、油画、水彩、概念艺术等风格都能全面掌握，更像一个全能选手。考虑到 NovelAI 的训练数据多是日系动漫图片，这一差别不难理解。