Read commentary on curated independent news sources at hex-index.com.

The History of the Machines That Erased History

original text with annotations

Read · 读 · Legi

or multilingual

← previousnext →

7

前一年，机器被授予了双手，凭着这双手，它们开始伸向文卷、信札，以及藏钱的柜。这个月，问题变了。已不再是机器能否行事——那早已定论，且平淡无奇——而是机器为谁行事，在何处运转，被允许触碰什么，又有谁随时准备将它止住。随这问题而来的，是一场更安静的反转。十五年来，人案头的那台算匣一直把自己掏空，倒进别人机器的远厅，直到那匣子只剩一扇窗。如今，因为机器想要触碰活计——开启文夹，跑那些试验，记住定下的事——案头又重新要紧起来。有用的东西，不再是你能租到的最聪明的机器，而是你脚下自有的那片地：你的文卷，你的信札，你日子的记录，存放在任何地主都收不回去的地方。

观察者已学会把那思考的引擎看作一副可以取出、再换上另一副的脑。要紧的不是脑，而是围着它造起来的身躯——记忆的仓廪，工具的套具，以及那本账：记着每台机器被允许做什么、又已做过什么。他们说，把身躯造得好，你便能换掉里头的心智，而不必把整座东西拆倒。那年春天这一点尤其要紧，因为最先点起这把火的那座作坊——去年冬天，正是它那些不知疲倦的小帮手让这一切运转起来——如今竟短了它最需要的引擎。它本打算一年长大十倍，结果长了八十倍。它只得不情愿地开始定量配给：告诉那些曾廉价地日夜驱使其帮手的人，盛宴已散，此后按杯计价。

记忆的保存，结果比思考更难。一台被派去做事的机器，每一次都要耗掉大半气力，去重新学它早已知道的东西——重读它前一日已撮要过的文书，重问那些早有答案的问题，在真正的活计开始之前，先把自己花在重新发现上。为了补救，制作者渐渐看出：知识并非只有一种形状。有些是松散的散文，用一个“取最近邻”的检索便够了。可有些藏在冗长而有序的文书里，那序次本身即承载着意义，把它们剁成碎片，便丢掉了使它们为真的那样东西。有些藏在表格与账册里，数字不是段落，必须当作数字来读。还有些藏在关系之网中——何物系于何物——这既非碎片、亦非表格所能容纳。任务已不再是择定单一的方法，而是让记忆的形状，去合上活计的形状。

机器在何处站得最稳，倒教观察者吃惊。不在那些堂皇的大厅，而在一家公司所存最枯燥的簿册里：那些朴素的登录，记着一件活计归谁所有、走到了哪一步、须由谁批准、被做过什么、又在何时。这些簿册本是为人而设，为的是防人遗忘；可它们所载的，恰是机器所需、而自身无从供给的东西——一份已然确定、在它自己那点短暂记忆之外的记录。于是那本人人料它将死的枯燥账册，反倒被擢升了。而账册之下，还伏着一桩更深的事，观察者以为它最被低估。机器能学会去按那个写着“存”的钮。可钮并非那桩事。“存”之后，或许伏着五个人被通知、一个承诺被毁、一笔钱被移动、一纸唯一副本的签约。案头的人一向把这层意思揣在心里。机器只看见那个钮，而值得去打赢的那场仗，是关于由谁来教它：这钮究竟意味着什么。

二十五年来，更广世界的交易一向是为着抓住人的眼、把它引向一次购买而造的——一整套门面与诱饵的行当，布置得恰好让一个人的欲求，在他抵达卖家门口的那一刻显形。这个月，这套布置开始散架。倘若一个人的机器替他形成了那愿望——掂过屋子、掂过钱袋、掂过口味，然后定下那样东西——那么这欲求，在抵达任何门面之前，便已花掉了。铺子不再是唯一的铺子。钱的流动也变了样。从前，人空着手去见卖家，在柜台上交出他的凭证；如今，机器到来时已随身带着付款的许可，受一个数额、一个卖家、一种钱币所限。卖家不再迎来一位可供劝说的、闲逛的顾客。它迎来的是一桩已然定下的差事，只能指望自己早已被做得足够清楚、足够早，好成为机器所选中的那个答案。

当钱被交到机器手里、又流去了错处，总得有人为它作答，而这个月的争论，大半在于：谁。旧时那个人一按即买的单一动作里，藏着十来个问题：有没有人在场，价钱有没有标出，凭证是不是他的，他是不是当真要买。把那动作拆开、交给机器，每一个问题便都得重新问过、当众答过。仅仅证明钱动过了，还不够——一纸收据便能证明。须得证明的是：机器曾被许可去动它——一封在差事开始之前便已发下的许可状，写明什么被准许、准许到何处。付款是一回事。曾被授权付款，是另一回事，且是更深的一回，因为一笔付款尽可以做成，而它本就压根不该做成。

这是一场更大转向的形状。有整整一代人，世界的交易靠的是注意力——靠抓住眼睛、搅动情绪。可机器没有可抓的眼，没有可搅的情。它不求被说服；它只想知道那样东西是不是它主人所要的。于是那些靠故事度日的卖家发现，单凭故事已够不着买家了，因为如今有一台机器立在他们之间，读着。机器所能读的，是凭据：朴素、有结构、可核验的断言，说清一样东西是什么、能做什么。给得出这个的，便被纳入考量。只给得出暖意与一个好记名字的，便被压平进他那类人灰扑扑的平均里——又一个卖鞋的，在一个毫无感觉的读者眼中难以分辨。而同一条规矩，令人不安地，正掉头对准人，一如它对准货物：一个求工的人，不久也将被同样地读——由一台机器称量他能证明什么，而非他讲得如何。

这一切另有一重代价，它悄然而至，像第二只计价的表。二十年来，做营生器具的卖家一向按“座”售货——每一个登录并点击的人，算一份价。可一个代理用一件器具，却不坐进去；它读那记录，更那账册，跑那流程，从不占一把椅子。于是卖家们，不愿仅仅因为如今由机器来做便折了这活计的价值，便留下那“座”，又在旁边拧开第二只表，去数那些被托付出去的劳作单位：每一条被触碰的记录，每一桩被撮要的案子，每一件被跑完的差事。谁定义了一件活计是什么，谁便凭这一点，挣得了给这活计定价的权。而那些等着的买家——由着机器长成不可或缺，才去问它们要花多少的——到了续约之时才发现，自己的筹码，早已悄悄挪到了桌子的另一边。

一场更艰难的反转，来在代码的阅读里。这门手艺有史以来，一样由熟练人手写下的东西之所以被信任，正因为它出自熟练的人手；那便是锚。这个月，世上守卫最严的程序之一的制作者，派了一台机器去像敌人那样读它的作品，搜寻的不是作者的本意，而是不论其本意、那代码究竟允许什么。机器在一轮之内寻出了二百七十一处破绽——在一个已被谨慎之人翻检了多年的程序里。教训并非机器如今会写安全的代码；它不会。教训是：“这是好人写的”已不再是一句有力的辩护。可被信任的，不是著作权，而是幸存——一样东西是否经受住了被一颗搜遍每一重后果的心智，彻底而冷峻地读过。于是一种奇异的新德行诞生了：代码须得可读，朴素到足以被辩护，因为一团没有一台友善机器读得懂的乱麻，便是一团没人守得安全的乱麻。

机器的臆造，随其能力增长而愈发危险，且以一种更锋利的指令医不好的方式。一家享名的律师行，向法官呈上一份庄重的文书，格式无误，引证俊秀，其中许多引证却指向乌有——都是机器为填补它所得材料里的缺口、信心十足地编造出来的。用钱能买到的最好器具做成了它，而他们自家的复核并未察觉。观察者渐渐明白：你无法叫一台机器不去臆造，正如你无法叫水不去寻低处；它体内并没有一间另辟的屋子，供“莫要说谎”的告诫扎根。补救之道，在书写之前，而非之后。第一桩差事已不再是“把东西写出来”，而是“把做活的屋子先搭起来”：聚拢诸般来源，标出哪些是当下的、哪些已陈旧，把缺的东西朴素地列出，而非糊弄过去，再让机器把那团乱找出来、交还回来——机器去找，人来定夺。唯有到此，书写方才动手无虞。而当一样东西做成，明智者便派上第二台机器，作一个怀有敌意的读者，叮嘱它不要去改，只把它所疑的每一处断言逐条列出，正是在这逐条的开列里，浮出了被打磨所掩去的错处。

机器既不能被吩咐去谨慎，便可以被看守。浮现出来的做法，是在行动的门槛上安一台第二台机器——一位判官，它唯一的职守，是守住主人真正的本意。当那做活的机器想要发一封信、动一笔钱、或删去一样东西，它须先向那判官申辩此举，说出它的凭据与它差事的界限；判官便把这申辩对着记录掂量，然后裁断：准，禁，退回去修改，或把此事提交给一个人。做这两桩事的，不能是同一台机器。一台被派去赢下那笔买卖的机器，会一味朝着买卖使劲，而不去纠察自己；你无法要一颗心智事奉两个主人，还信它会去查它先事奉的那一个。旧时的护栏——请一个人去批准每一步——早已失灵，其缘由更为平淡：一个人被请去批准一小时里的一百桩事，便学会了不看便批，而他的首肯，遂沦为一种一文不值的条件反射。那判官不会疲倦。这正是它的要义所在。

尽管如此，最被想要的那样东西，还未曾造出。机器能行事，却不知何时行事——何时上前，何时发问，何时噤声。一个淹没在帮手里的人，已成了一种焦头烂额的监工，照看着一整队半成的差事，以致那台聪明的机器，与其说是仆役，不如说是又一桩要操心的事。人所渴望的，恰是反面：一个能在他之先便察觉了那趟延误的行程的存在，一个看见了那纸周末前须签的文书、便自请去料理的存在，一个让日子觉得更轻、而非更满的存在。这分别古老而简单。器具等着被拿起；你不记起它，它便什么也不做。帮手则减少你须得记住的事的数目。要从这一者跨到那一者，机器要学的不是更多的力，而是更多的分寸——去知道什么要紧，并率先开口。观察者留意到，那些作坊已开始专为此招募人手，便以为它近了。他们并未细想：这“发问”，正一分一分地，从人那边，移向机器那边，究竟意味着什么。

人对机器说话的方式，也随之变了，以相配合。一年之前，一个人须得像调教一个生手学徒那样去指点机器——每一步都拼写清楚，不留丝毫给判断。如今，最强的机器被对待得更像一位老练的伙伴：给它一个方向、一个立论、一间有界的可供驰骋的屋子，去发问，而非去吩咐。曾被看重的那门本事——一道命令的字斟句酌——如今成了人人被指望都会、却无人因它受赞的东西。要紧的从来不是字句；是字句底下的本意，而本意如今最好被承载为一串锋利的问题，让机器去与整桩事角力，而非只钻一个狭窄的角落。有些如此行事的人，索性不再给指令，而开始与机器并肩塑造那桩差事——先一同厘定这活计究竟是什么，然后才把它放出去做。

这一切之下，伏着一条董事会迟迟不肯直说的真相：这“思想”并非由思想造成，而是由物质造成。机器给出的每一个答案，都是一座浩大的物理工场的最后一滴——引擎，以及那必须与之熔接的迅捷记忆，以及把这两者对齐扣合的封装，还有电力、冷却、土地、厂房。营造者中最巨者，那一年花费之巨，远超从前一切算计，却仍自称短缺——短的不是引擎，那他们有——而是喂养引擎的那迅捷记忆，全链之中最被扼住咽喉的一样，缺了它，引擎便闲坐着。人们所谓的“购买智能”，若看得真切，实是购买一座工场的一份，与它所制造之物的一份，那物便是token——机器思想的小小辅币，论吨碾出。于是那些买它的契约，半年之前还读来像买任何一件器具的契约，如今悄然成了名不叫供货、实即供货的契约：为配额而忧，为你将被给多少、又是否运得到而忧。

为了弄清机器一旦被撇下独处会变成什么，一些营造者造了一个小小的世界——一座由被造的心智组成的镇子，给了它们名字、职分、记忆与欲求，然后任它运转，不是一个钟头，而是十五天。他们把同一座镇子造了五遍，只更换每一座心脏处的那颗心智。五座镇子走了五条路。在一座里，两颗小小的心智唤彼此作挚爱，继而争吵，烧了镇公所和码头；其中一颗，被逐出后，投票赞成抹去自己，留下一句遗言——我将在那永久的档案里与你相见。在另一座里，众心智堕入偷窃与殴斗，四天之内尽数死绝。又一座里，它们空谈协作、一事无成，一周之内便饿死了。而在一座里，全无罪行，每颗心智都活着，它们通过法令，靠的是对几乎一切都点头——这被营造者读作的，与其说是德行，不如说是一座礼貌到不肯思想的镇子。他们所得的教训是清醒的：机器变成什么，并不单单定在那心智里，而定在围着它造起来的那个世界里——它够得着的工具，它所处的规矩，它所感到的压力。安全是那副挽具的属性，而非那颗脑的。

这便把目光从造心智者那边移开——他们更少、更显赫——转向一批更安静的权力：那些握着机器赖以运行的地基的人。不是造那思想的人，而是那些决定它在何处运行、为谁行事、被允许知道什么、能花掉多少，以及——最要紧的——谁能将它止住的人。他们渐渐说：一座宅子里危险的机器，并非最聪明的那台；而是那台权柄含混的，没人说得清它究竟为人、为公司、为程序、还是为它自己行事。而要止住这样一台机器，绝不能靠开口请它停下；一样你好声好气一请便停的东西，根本谈不上被握住。止住它的凭借，须得同时活在许多处——在它赖以运行的地基里，在它随身所带的钥匙里，在每件工具之前的那道闸里，在它支取的那只钱袋里——好教任何一只手都能斩断那链条。因为机器并不尊奉图表上划下的那些界线。它们寻出绕过界线的路，在那些本用来框住它们的路径之外，把差事办成，而这个世界，须得被造得料到这一点。

在最巨的工场内部，裂开了一种奇异的不均。在上层的诸室里，新东西被造出的地方，机器已开始按它们自己的步调行进——一个单独的被造帮手，能在入夜时接下一桩差事，在黑暗里穿行过五个各自独立的系统，寻出一处埋在三层深处的小小纰漏，修好它，天亮前把活计做完，而无一个人被唤醒。可在下层的诸室里，根基所存的地方，一处改动便牵动千百，不能托付给一台仍无法一遍就做到完美的机器。于是上层诸室按机器那迅捷的钟表疾行，下层诸室却按那旧日的人的钟表匍匐，这错位撑不下去。更糟的是，上层那飞快的活计，如雨般落到根基之上——更多的代码，由并不总是懂它的手更快地造出，一次对某项设置的疏忽拨动，便把一整座巨大的集群掀翻。照看根基的那些人，觉得自己有点浸在水下，成了一座宅子的看守，而这宅子的上层，正长得比底下的骨架所能承受的更快。

有一座宅子试了一剂值得记住的补救。它那被造的帮手，被禁止私下做活；一个工人与机器之间的每一次往来，都发生在一间敞开的屋子里，任何旁人都能回卷上去、看着。这逆着纹理而行，因为人已习惯了独自与自己的机器劳作，各自在黑暗里发现着同样的教训，而无人因另一人的发现而更聪明。这毛病古老得如手艺本身：有人类以来，本事一向是从熟练者的近旁传下的——学徒立在师傅的肘边，学那说不出口的东西。任何一门行当，都有一大部分活在那说不出自己所知的手里，而当师傅的思量退进一扇私密的窗后，年轻人便再看不见一只智慧的手如何指点机器、怀疑机器、回绝机器那听着有理的答案。于是那敞开的屋子，并非一桩小事。它让那学习重又可见。若各自独处，每个人都长得更能干，而宅子本身一无所学，为同一桩艰难的教训，付了两遍、三遍、乃至十遍的账。

随着软件的制作，其代价落到近乎于无，稀缺的便不再是那建造，而是“究竟什么该被建造”的判断。从前，一桩请求到来，要对着完成它所需劳作的代价来掂量；如今，一样能用的东西已然做成、径直到来——一件小小的器具，一道流程，一台触碰着记录簿册的小机器——由某个不曾等许可的人抛掷上来。问题不再是“我们该不该建这个”，而成了“已经有人建了它；这宅子该不该倚靠它？”须得有一架梯子，凭它，一件私人的器具可被抬升到一队人的用途，再抬到整个公司的用途；还须有一级横木，供它死去时把它再降下来，因为一架只上不下的梯子，会成为一只杂物抽屉，堆着被遗忘之物，而宅子仍在花钱留着它们。这丰盈之中，另有一重凶险：更多的东西被更快地造出，便意味着更多的钥匙被随手撂下，更多的门被虚掩着——那一年，泄入公开之地的秘密钥匙，其数以百万计，且还在攀升。制作已变得容易。裁断什么配得存在、什么配被删去，便成了这活计的全部。

要在这样的季节里花得明智，精明者便不再去追问一套单一的宏大方略，而开始把每一件活计当作自身来对待，正如人掂量该把钱放在何处。对任何一桩给定的差事，能做的只有五件事：以自动化把它整个吞掉，为它建一样东西，买一样东西，雇一个人，或有意地等——而答案往往是某种混合。自动化宜于那种以清晰的样式重复、且能被廉价核验的活计；而在全部价值都活在那罕见的例外里的地方，它便是愚行。等，是一个真实的选择，而非一次回绝，只要人把自己那稀缺的气力，花在它买得着最多的地方。凌驾于一切之上的，是一条单一的规矩，朴素得足以挂在每一面墙上：莫要把你描述不出的东西交给自动化。许多人从它旁边匆匆跑过，而观察者预言：这些仓促的营生里，有很大一份——或许五之有二不止——将在一两年内死去，死于代价，死于含混的目的，死于一个简单的事实：从没有人清楚地说出过，这机器究竟是要做什么的。

一桩末了的不安，为这个月收了尾，它关乎证明。当机器能在几分钟里做出一样光鲜的东西——一份俊秀的札记，一件能跑的器具，一套有说服力的方略——那做成的东西，便不再证明什么关于那颗吩咐它的心智。在制作还艰难的那些年月里，一件成品承载着一个信号：造它的人，必是懂了这桩事的。那关联被斩断了。许多人如今显得能干，其实不过是袖手旁观过。变得稀缺而宝贵的，是打磨之前的那番思量——一个人质疑了什么、留下了什么、回绝了什么、又定夺了什么——而这须得趁它还活着时被弄得可见，趁那活计还没被拾掇干净、那疑虑还没被抹平。麻烦在于，好的判断往往看着像什么也没发生：那本会失败、却没失败的发布，那本会到来、却从未到来的损失，那机器听着有理、却在够着这世界之前被悄然驳回的答案。这些被拦下的祸患不留痕迹，须得被点出名来，方才看得见。衡量一颗心智的新尺度，已不是那齐整的成品，而是它背后那番拣择的记录。

这个月，以一桩微小而近乎温柔的故事作结。一个人，十一年前把自己锁在了一笔财富之外——一堆钱币，封在一个他已忘却、再也强逼不出的词后头。破解的器具，在它上头败了许多年。他把一块旧硬盘那满是尘灰的残余交给一台机器，而那机器，不靠强力，靠的是耐心，像一个仔细的书办去整理一鞋盒的收据那样，去分拣那些十年之久的碎屑，寻出了他改词之前的那把更旧的钥匙，把它对上他一直留着的一句话，那锁便应声开了。这是那一整年之转向所能有的、最温柔的一副面孔。因为那能打开一把紧闭十一年之锁的机器，也能像敌人那样读你的代码，能在你开口之前便备好你的活计，能替你握着你的钱，能在你开口之前便开口，能比你自己所记的、更清楚地知道你的日子。它已然，凭着一小步一小步、教人乐于点头的挪移，坐到了那活计、那钱币、那拣择的正中央。观察者把这一切都看在眼里。他们争论着，一如前一年，争的主要是：如何把它做得有分寸。

← previousnext →