Exploring the Marginal Ability of Large Models: An Experiment with Xiao Xin’s Home Image Replacement

😄兄弟们！试探大模型的边际能力是真的有趣的实验！ 今晚在群里看到有趣的测试实验，我简单说下我实现的思路以及过程。 🤔起因：看到群友在讨论的一个需求需要使用将小新家的四个化作替换为自己提供的四个相片替换，大家迭代了很多个版本依旧没有办法实现这个需求，尝试多种prompt都不行。 🧠思考：看这个图其实的核心关键点就是空间位置和多人物角色，其实之前我做过一些类似的换衣服，换脸等多场景的测试，基本是没有太多问题，除非人物非常复杂。 我们先解决图片中关键的图片的位置和比例都需要保持不变，并且可以完美的替换。 解决这2个问题基本就可以实现。 ✍🏻执行步骤：① 给Gemini发送小新家的图片，让其记住和标记对应的位置。 也就是这句Prompt：复刻专家角色复刻该图尤其分析空间感的位置，采用坐标定位标注然后1:1 像素级复刻该图，所有的一些细节尽可能的完整复刻包括位置比例等等。 ②然后大模型会给你整个画布和坐标，光源和细节的坐标定位，也就是给画作定位。（图2） 📺③关键的一步：让LLM记住图一相框（小新）空间坐标位置（参考第二步中生成的内容粘贴）（图3） 需求：将附件2的空间排列的位置画填入到图像1中并且保持图1位置和大小比例，与原图1包吃一致性。 ④就可以完成你需要的效果见图4. 总结，其实大模型的理解能力就是你可以精准的理解和明白关键的任务核心要素，��及可能会涉及到他无法精准理解你需求的点就可以！