个性化、以品味度量及内在型界面

本周,Midjourney 推出了 新的“个性化”功能 功能,我认为它与我一直倡导的、用于与 AI 系统交互的直接操控型界面形成了有趣而有价值的对比。

此外,这种个性化实现还揭示了一种在创意工具中看待风格的非传统方式:不是通过具体的风格特征来定义,而是通过某种风格与其他各种品味或风格偏好之间的关系来界定。

以下是我对这两个想法的一些随想笔记。

工具性界面与内在性界面

借助个性化功能,Midjourney 用户可以通过选择数百张能够代表其偏好的图像样本来引导生成结果朝向特定风格。这种方法让用户能够比传统的文本提示更准确、或许也更便捷地表达并强化自己的风格偏好。

我推测,在底层,Midjourney 会训练出一个引导向量或 LoRA 适配器,从而将模型的输出导向用户偏好的风格。从我在线上看到的演示来看,这一机制的效果相当不错。

我一直主张这样一种界面:用户可以观察模型在训练过程中学到的概念与风格,并直接操控界面中的某些交互元素,以引导模型生成自己想要的结果。

这种方式依赖用户在使用模型的过程中,通过探索其输出空间来发现自己的偏好。更重要的是,它能让每位用户建立起关于工具如何将输入映射为输出的清晰内在心智模型——它揭示了生成模型在理解和表达概念与风格时所遵循的某种“物理法则”。

相比之下,Midjourney 的个性化系统则在很大程度上替用户自动完成了风格探索的过程。用户无需再费力构建对机器学习模型输出空间的心智模型,个性化系统会直接接收用户的二元偏好信号,并在模型的概念与风格空间内自动推断出用户的意图。

我将这两种设计理念上的差异类比于两种导航系统的区别:一种只提供逐次转向的指令列表,另一种则在地图上直观地标示出多条路线:

  • 在仅显示转向指令的系统(即 Midjourney 的个性化)中,系统会接收用户的指令并自动解读,以帮助用户获得所需的结果。这是一种工具性界面,也就是说,界面只是达成目标的工具,而目标本身才是关键。
  • 而在带有路线的地图系统(即直接操控型界面)中,用户需要主动理解所见内容(地图),并形成如何将其应用于自身情境的心智模型(读图)。作为回报,用户会习得一种有用的心智模型(如本地地理知识),这不仅有助于今后使用该工具,也可能在生活中的其他场景派上用场。这是一种内在性界面——它的价值不仅在于结果,也蕴含于使用过程本身。

区分这两种界面的一个简单标准是:如果我把界面替换成一个能神奇地解决用户问题的按钮,用户还会在意吗?如果用户毫不在意,那么工具性界面就更为合适;但如果用户确实在意,那他们真正看重的是与界面互动本身的价值,此时内在性界面可能更佳。

毕竟,我们可以用一个魔法按钮取代逐次转向的导航系统,却无法用它替代一张地图。

工具性界面在现实世界中有着广阔的应用空间。许多人只关心能否得到理想的输出或结果,并不在意实现过程。但我更关注内在性界面——它们往往需要用户投入更多精力,却能帮助我们内化关于该界面所代表领域的知识。

关于工具性与内在性界面的思考在我脑海中酝酿已久,尤其要感谢 Parthiv,是他播下了最初的种子,并协助将其发展成我在此阐述的模样。

以品味为尺度

另一种理解 Midjourney 个性化功能的方式,是将每个“个性化代码”(无论其底层具体实现如何)视为指向模型内部视觉风格表征空间——也就是模型的“风格空间”的指针。

只要拥有一个空间以及足够多的参考点,我们就能在这个空间中建立坐标系。与其用绝对位置来描述空间中的某个点,不如通过计算该点到所有已知参考点的距离来定位它。

换言之,如果我们把 Midjourney 的个性化代码看作指向模型风格空间中特定区域的指针,就可以设想构建一种“风格坐标系”,用它来描述某张图像的风格为“A 风格占 0.5,B 风格占 0.2”等等。

当然,我们也可以在风格空间中选择不同的参考点。例如,我们可以选取那些有明确名称、易于理解的风格要素,如“影棚灯光”、“35 毫米胶片摄影”或“黑色电影”。

在这种风格坐标系下,我们就可以把某张图像描述为“影棚灯光占 0.7,黑色电影占 0.4”等。

我的 最新研究 技术理念——即在基础模型中映射可解释的特征——本质上与此类似:我们在模型的概念空间中寻找那些可用于精准引导模型朝向特定语调、风格或主题的“特征”。

随着时间推移,我们将为更强大的模型绘制出更加精细的特征图谱,从而获得一套高度详尽且人类可读的观念与风格坐标体系。

从技术层面讲,Midjourney 的个性化实现并不独特。研究者们已经发明了多种方法,只需少量样本即可为生成模型添加风格适配器:LoRA、引导向量、文本反演、软提示词,等等。

让 Midjourney 式的风格适配器显得有趣的,是它促使我构想出一种截然不同的生成模型特征图谱:其中的每一维坐标不再对应人类能够快速标注的具体概念或风格要素,而是源自某人独特偏好指纹的 氛围。

不再按概念切分潜在空间,而是按氛围划分;用品味作为度量现实的基本单位。

添加评论
点赞收藏
点踩分享查看原文
评论
?
参与讨论