GemNews

全部文章 · 文章

如何为商家开发 AI 功能,而不丢给他们一堆“垃圾炸弹”

作者 Janie Nguyen · · 9 分钟阅读

分享: WhatsApp · Telegram · X · Facebook · LinkedIn · Email

Shopify CEO 本月给行业造了个新词,而且注定会流行开来。在 @shaneparrish 分享的 The Knowledge Project 播客访谈中 (https://x.com/shaneparrish/status/2099823553726070973),Tobi Lütke 描述了某些员工将未经审核的 AI 生成邮件和代码直接发给同事的行为。他将这些产出称为“垃圾炸弹(slop grenades)”。@interesting_aIl 总结的这番言论 (https://x.com/interesting_aIl/status/2102007936809841117) 赢得了 713 个赞和超过 7.6 万次浏览。据 @rauchg 透露 (https://x.com/rauchg/status/2102436383923339629),这句话现在甚至列入了他在 Vercel Ship 的专访提纲。

我是为 Shopify 商家开发软件的。相比大多数转发者的快感,这个警告给我带来了不一样的冲击。Tobi 当时在讲员工,但这种“快速生成、把核对成本甩给别人”的模式,恰恰是目前许多 Shopify 应用内 AI 功能的真实写照。而被甩包袱的那个“别人”,正是商家。

炸弹不是 AI 产出的内容,而是转嫁出去的核对工作

@tmiyatake1 对 Tobi 的观点做出了最深刻的解读 (https://x.com/tmiyatake1/status/2101824478212669521)。他指出,偷懒的定义已经翻转。过去偷懒意味着做太少,在 AI 时代则意味着做太多,然后逼着别人去核验。

把这个概念套用到应用上:一个点击就能重写 20 个商品描述并直接发布的插件,确实产出了大量内容。但它是否产生了价值,完全取决于接下来的步骤。如果商家必须逐个打开页面,对比新旧版本,搜寻模型是否胡编了材质或尺寸,这个应用就是递给了商家一颗带有友好按钮的炸弹。

反过来也成立。@jay_neyer 描述了一次迁移工作 (https://x.com/jay_neyer/status/2102178562375610443),8 小时内搬运了 1,000 多个商品。随后让 AI 对比原始商品目录做质检,并将不一致的地方标记出来给人工核查。最触动我的一句话是:重复性的工时消失了,核对保留了下来。这就是设计目标——消除重复,保留核对,并降低核对的成本。

Sidekick 刚刚树立了“可审核”的标准形态

Shopify 在 9月24日 推出了全新设计的后台,Sidekick 被放在了最核心的位置。@katarinabatina 的发布推文 (https://x.com/katarinabatina/status/2103161312901816394) 获得了 1,451 个赞和超过 23.8 万次浏览。这个入口位置对所有应用开发者都很关键,因为商家会拿我们的 AI 功能,去对比 Shopify 直接放在导航栏旁边的这个官方工具。

Sidekick 在处理店铺内容时是怎么做的?@sh_sakamoto 演示了一次商品页面的 SEO 优化过程 (https://x.com/sh_sakamoto/status/2101446357173289307):Sidekick 针对标题、Meta 描述、图片 Alt 文本和 URL 路径提出修改建议,清晰标记出每一处改动,并等待商家确认批准后才真正应用。

这个流程包含了三个要素:商家能看到修改内容、商家来做决定、确认前不生效。这套“防炸弹”设计模式浓缩在一个界面里,现在已经成为 Shopify 后台的默认体验。

应用开发者 @junaidkbr 提出了一个后续问题 (https://x.com/junaidkbr/status/2102778882617463095):既然 Sidekick 占据了那个位置,商家会期望它能与所有应用配合工作吗?我认为这种期望会进一步延伸。商家会要求任何应用里的所有 AI 功能,都按照 Sidekick 的方式运作:清晰展示、由我批准、支持撤销。

即便是 Shopify 自家的助手,三分之二的时候也会犯错

强调审核并不是因为 AI 太差,而是因为 AI 犯错的频率足够高,设计时必须将其作为前提考虑。@TRPage_dev 向 Sidekick 咨询迁移礼品卡的应用推荐 (https://x.com/TRPage_dev/status/2099492186857275745)。三个建议里有两个不符合需求,第三个很棒,甚至给出了结合 Matrixify 的实用思路。

如果输出只是供商家阅读和挑选的建议,这种准确率完全可以接受。但如果输出是商家未曾察觉的直接修改,这就是一场灾难。同样的模型质量,取决于生成与发布之间是否有活人把关,会带来截然相反的结果。

@jamiegrove 带来了另一个相关的教训 (https://x.com/jamiegrove/status/2102810220648976526)。他用 AI 校验 682 个商品页面。第一次尝试消耗了约 $185 的 Token 却卡死未能完成。第二次运行,同样的提示词和模型,只花了 $12.60。决定性的差异在于模型外围的控制框架,而非模型本身。对开发者来说,这个控制框架才是真正的产品。你在这里决定了模型在人工干预前能跑多远。

推出 AI 功能前,我会评估这几点

我不打算在这里引用内部数据,毕竟我们还没有公开发布过,我也不想把个例伪装成数据。看了这周的讨论后,我可以分享我现在针对任何 AI 功能(无论自家还是别家的)都会提出的几个问题:

商家能否看到新旧对比(Diff)? 不能只展示新版本。要像 @sh_sakamoto 演示的 Sidekick 那样,将新旧内容并排或高亮标出修改。如果功能只展示最终结果,商家就得凭记忆去还原到底改了什么,这就是在转嫁核对成本。

是否有且仅有一个真实的确认步骤? 一个弹窗写着“确认应用 40 项修改?”不叫审核。真正的审核意味着商家可以接受一部分修改,拒绝另一部分。@chesny 描述的 AI Agent 运营店铺之所以可行 (https://x.com/chesny/status/2102778825591689255),是因为人类保留了两个核心权力:审批预算和把控审美。在 Agent 自检通过并获得人类签字前,任何东西都不能上线。

能否一键撤销? 如果解决方案是“从主题备份恢复”,那这个功能就不安全,不能交给每天在客户邮件之间忙碌处理订单的商家。

不确定时是否会主动说明? @ridark_eth 分享的单人运营工作流中 (https://x.com/ridark_eth/status/2098891678480310680),有一条规则非常突出:当提示词找不到足够证据时,必须返回 UNKNOWN,而不是硬猜。一个标注了“无法找到此 SKU 材质”的商品页生成器,远比一个偷偷写上“优质纯棉”的更有价值。

单次请求生成了多少内容? 这是开发者最容易抵触的一点,因为生成量大在演示时看起来很炫。但一次性生成的内容越多,商家在建立信任前需要阅读的工作量就越大。小批量配合快速审批循环,远胜于配有单一发布按钮的巨量产出。

当平台做得更好时,果断删掉你自家的版本

@junaidkbr 这周的经历还带来了第二个启示。Alfred 停用了自家的后台侧边栏开关,因为 Shopify 新后台自带了更好的版本 (https://x.com/junaidkbr/status/2103215196387119176,286 个赞)。他们的声明听起来甚至挺高兴的。

对待 AI 功能也该有这种心态。如果 Sidekick 已经能用“标记-批准”流程处理商品页面的 SEO 建议,应用再提供一个体验更差的同类功能,就是在增加审核负担而非创造价值。开发者应该深耕 Sidekick 做不了、或者缺乏上下文做不好的领域:复杂页面布局、结合营销活动的大段文案、需要商家品牌判断力的转化元素。把这些做成可审核的精细版本,通用的基础层直接交给 Shopify。

商家和代运营团队挑选 AI 应用的检查清单

你不需要看懂代码,就能判断一个应用的设计是否规避了“垃圾炸弹”。在试用期运行以下测试:

  1. 让它修改一个微小的细节,比如单个商品标题。它是展示修改前后对比,还是只给你看修改后的结果?
  2. 让它一次性修改 10 个项目。你能否选择接受 7 个并拒绝 3 个,还是只能全盘接受或全部放弃?
  3. 接受一项修改,然后尝试撤销。数一数需要点击几次。
  4. 喂给它一个缺失关键信息的商品,看它是坦诚信息缺失,还是用看似合理的猜测填满。
  5. 看看谁在承担核对工作。如果应用的宣传语写着“一键发布”,问问自己后续需要人工核验哪些内容,针对你的目录规模需要耗费多久。

如果一个应用在 5 个测试中挂了 3 个,无论演示看起来多惊艳,它后续带来的清理成本都会远超节省的生成时间。

Sources

在 GemCommunity 讨论