翰墨斋的品文人

一、满腹经纶的哑巴先生

苏默之是翰墨斋最博学的人。

三岁识字，七岁通经，十五岁的时候已经把斋中八万卷藏书从头到尾读了三遍。你问他任何问题——从《禹贡》里大禹走的哪条水路，到前朝第三次北伐出动了多少匹战马——他都能在三次呼吸之内背出原文。一字不差。斋里的老教习们说，苏默之的脑子就是一座行走的藏经阁。

但他有一个毛病。

他答不出"简单"的问题。

不是不会答。是答得太奇怪了。

问他"明天会下雨吗"，他背了半篇《月令》和十二段历代雨雪奏折，然后看着你——意思是"我都说了，你自己判断"。

问他"这封信怎么写才客气"，他列出三百七十二种书信格式，从战国竹简到本朝奏折，末了补一句："你自己挑，都可以写。"

翰墨斋的学子们私下管他叫"哑巴先生"——不是真哑，是说出来的话没人用得上。

老教习们围在一起商量了三次。有人提议给苏默之多加几门课——"他缺的是礼学，不懂待人接物。"有人说恰恰相反——"他读的已经太多了，再读就读傻了。"商量来商量去，谁也拿不出个主意。苏默之照旧坐在藏书楼的角落里，对面的座位永远是空的。

没人愿意找他答问。

这天，新上任的山长陆问樵把苏默之叫进了他的书房。陆问樵今年六十七，教了四十年书，见过的聪明人不计其数。但像苏默之这样——脑子里装着一整座图书馆，却连"今天中午吃什么"都答不上来——他头一回见。

"默之，"陆问樵递给他一杯茶，"你跟我说说——你平时是怎么想问题的？"

苏默之低头想了很久。他手里的茶凉了又续，续了又凉。窗外的天从青灰暗成了墨蓝。

"山长，"他终于开口，声音很轻，"我看到一个字，脑子里就会涌出所有跟这个字有关的东西。像一扇门开了，后面是一条一条看不到头的巷子。我沿着巷子走，每条巷子都有道理，每条巷子都能通向一个答案——我不知道该停在哪一条，也不知道哪一条是问问题的人真正想走的。"

陆问樵放下茶杯。他听懂了。

苏默之的问题不是学问不够，是学问太多。不是不会说，是不会选。他需要的东西不是更多的书，而是一个声音告诉他：这条路比那条路好。这个人问的是这个意思，不是那个意思。这个回答比那个回答更像人话。

"我需要三间屋子。"陆问樵站起来，朝门外走去。

"三间屋子？"

"一间给你看。一间给别人看。一间给你自己用。"

"您要做什么？"

陆问樵在门口回过头。烛火映在他脸上，眼睛亮得像两颗棋子。

"我要让翰墨斋的每一个学子，都愿意来找你答问。"

二、第一间屋：临帖处

第一间屋在翰墨斋东厢，陆问樵给它起了个名字："临帖处"。

苏默之推门进去，发现布置极简——一张长案，案上左边放着一摞卡片，右边也放着一摞。

左边那摞卡片上，每张写着一个问题。不是"何谓仁政""论战国合纵之得失"那种大题目。全是翰墨斋学子们平日里真会问的话：

"我该怎么跟先生请假才不显得偷懒？"
"读《史记》先读本纪还是列传？"
"同窗借了书老不还，该怎么催？"
"第一次去见未来岳父，开口说什么？"

三百张卡片，三百个真问题。

右边那摞是对应的回答。每一张都是陆问樵亲手写的——不是引经据典的长篇大论，就是一段话，三五句，像正常人面对面说话那样。

苏默之拿起"该怎么跟先生请假"那张回答。上面只写了三句话：

"先生，我明日要去城里抓药，上午的课能不能告半天假？下午回来我找同窗抄笔记。药方我拿去给医馆的先生看过，您放心。"

他翻过来，背面还有一行小字，是陆问樵的笔迹：不说假话，不绕弯子，不让先生替你操心。

苏默之把这张纸片翻来覆去看了好几遍。三句话。没有《礼记》里的"告假之仪"，没有《论语》里的"父母唯其疾之忧"。只有三句人话。

"山长，"他把卡片放下，"这些回答……都不全。"

"没错。这摞卡片里没有一张是'全'的。它们只是'好'的。"

"全和好有什么区别？"

"全是自己跟自己比的。"陆问樵伸出两根手指，先指苏默之，再指案上的卡片，"好是别人觉得的。"

苏默之在临帖处坐了七天。

他把三百张问题卡片全部答了一遍。第一天写了二十张，陆问樵看了就摇头——"你在背书，不在答问。"每一张回答都是七八百字，引经据典，面面俱到，读完之后什么印象都没留下。

苏默之不服："我说的每一句都有出处——"

"出处没错，用处错了。"陆问樵把那二十张纸片拢成一叠，轻轻放在一边，"我问你，那个来问你'怎么跟先生请假'的人，他需要《礼记》吗？他明天就要出门了。他慌。他怕先生觉得他偷懒。他要的不是学问，是一句让他安心的话。"

苏默之盯着那叠被否掉的纸片。第三天他开始学会把话说短。第五天他第一次写出了一段让人读完想点头的东西。第七天，三百张卡片全部答完。

陆问樵把他第一天写的第一张和第七天写的最后一张并排放在案上。

第一张写了两千三百字，从请假之礼的历史沿革讲到各朝各代的告假公文格式。最后一张只有九十八个字。

九十八个字的那张，意思反而更清楚。

"你现在知道'好'是什么感觉了。"陆问樵把两张纸片叠在一起，两千三百字的那张在下，九十八个字在上，"但光是'知道'还不够。你得学会自己判断——什么东西是好的，什么东西是更好的。"

苏默之抬起头。

"好和更好也不一样？"

"不一样。"陆问樵转身朝西廊走去，"走吧。第二间屋有十二个人在等你。"

三、第二间屋：品茗处

第二间屋叫"品茗处"，在翰墨斋的西廊尽头。

苏默之进门的时候愣住了。屋里坐着十二个人。有斋里须发皆白的老教习，也有刚入学的少年学子，还有两个在后厨烧了三十年饭的老厨娘。

"这些人干什么的？"

"喝茶的。"

陆问樵示意他坐下，然后给十二个人每人面前放了两杯茶。茶是一样的龙井，水是一样的山泉。杯子下面压着两张纸条——一张写着一个问题，另外两张写着两个不同的回答。

"不一样的不是茶。"陆问樵拿出一本厚厚的蓝皮簿子，翻开，"是三百个问题，每个问题两个回答。每个坐在这间屋子里的人，喝一口茶，看一个问题、两个回答，然后做一件事——"

一个老教习放下茶杯，拿起桌上那支朱砂笔，在两个回答之中画了一个圈。

"挑一个。"他说，"哪个更好。"

苏默之凑近了看。两个回答都是他写的。

一个是他按照"临帖处"的方法写的——短、直接、说人话。另一个是他故意写差一点的——啰嗦、掉书袋、答非所问。三百个问题，每个问题两个版本，六百个回答，全是他的手笔。

十二个人从午时喝到申时。茶续了七轮，朱砂笔画了三千六百个圈。

陆问樵翻着那本厚厚的蓝皮簿子，念给苏默之听：

"'我该怎么跟先生请假'——你的短版得了十一票，啰嗦版只得了一票。这个没问题。"

"'读《史记》先读什么'——你的短版只得了四票。"

苏默之愣住了："那啰嗦版得了八票？"

"对。"

"为什么？"

陆问樵把他领到一个老教习面前。老教习面前的那两张回答还摊着。苏默之低头一看——自己写的"短版"只有一句话："从你觉得最有意思的那篇开始。"

老教习摘下老花镜，慢悠悠地说："你这个答法，对一个刚入学的少年来说，是顶好的。但我是教了四十年书的人。你让我推荐'从最有意思的开始'——我教过的学生里，觉得《五帝本纪》最有意思的一个都没有。你这话没错，但不对路。"

苏默之张了张嘴，又闭上了。

他拿起自己写的"啰嗦版"看了一遍。那个版本他本来要当反面例子的——他把《史记》五体的篇目结构梳理了一遍，又根据不同的读书目的推荐了不同的入门路径。写了四百多字。

"这个版本，"老教习指着那张纸，"看起来又长又啰嗦，但每一句都答在了我的疑问上。我在挑——你是当我觉得两篇都好、需要行家指路的时候——我要的不是一句聪明话，是一张地图。"

苏默之慢慢坐了下来。他翻了翻蓝皮簿子上三百道题的投票记录——有九十二道题，他的"啰嗦版"得票更高。

"写短版的时候，"他忽然开口，"我其实在猜——猜你们想听什么。我猜你们想听短的，我就说短的。猜对了的时候，票就多。猜错了的时候——"

"猜错了的时候，"陆问樵接过话头，"票就在你那个'写得差一点的版本'上。"

苏默之沉默了很长时间。

"所以第一间屋里学的那些——说人话、写短句、不引经据典——还是不够。"

"不够。"陆问樵说，"因为'好'不是一个模子。'好'是十二个人坐下来，一人一杯茶，各自觉得这个东西对自己有没有用。一个人觉得好不算好。十二个人都觉得好——那个才叫好。"

"那要怎么学到？"

陆问樵往蓝皮簿子上写了几个字，撕下来递给苏默之。纸上只有一行字：你觉得好不算。别人觉得好才算。

"这十二个人，三百道题，三千六百次选择——你全部看一遍。看谁投了什么，为什么投。看你自己猜错了多少次，为什么猜错。看完以后，你不用任何人告诉你——你就能自己判断，什么样的回答对什么样的人是最好的。"

苏默之在品茗处看了十天。

他把三千六百次投票一条一条地过。厨娘为什么投了这一票——她嫌回答里的"之乎者也"碍眼。老教习为什么投了那一票——他要的不是安慰，是论证。少年学子投了苏默之猜不到的一票——他要的根本不是答案，是想有个人告诉他"你这个问题问得好"。

十天以后，苏默之合上蓝皮簿子。

"山长，我好像明白了一件事。"

"什么事？"

"品茗处不是在教我写答案。是在教我读人。"

陆问樵没有说话。他只是站起来，朝斋子深处走去。

"第三间屋在等你。"

四、第三间屋：空山堂

第三间屋在翰墨斋的最深处，夹在藏经楼和柴房之间的一条窄巷子里。苏默之在斋中住了七年，从来不知道这里还有一间屋子。

他推开门。屋里什么都没有。

没有卡片。没有茶。没有十二个品茗的人。没有蓝皮簿子。

只有一把旧椅子，放在屋子正中间。椅背上搭着一块灰布，布上绣着三个字：空山堂。

"第三间屋不给你看任何东西。"陆问樵站在门外，没有进来。月光从门框里斜着切进来，把他的影子投在空荡荡的地面上，拉得很长。

"那它做什么？"

"它只做一件事：把第一间屋和第二间屋教给你的东西，沉到你骨头里去。"

苏默之走进屋子，坐到那把椅子上。椅子很旧，坐上去发出一声低沉的木响，像一声叹气。

"你在临帖处学会了什么是'好'的回答。你在品茗处学会了别人觉得什么是'更好'的回答。"陆问樵从袖子里掏出一本薄薄的册子，放在门边的地上，"但真正的功夫不在临帖，也不在品茗——在你自己一个人坐在这把椅子上，面前什么都没有的时候，还能不能给出一个让十二个人都觉得好的回答。"

"这册子里是什么？"

"三百道新题。只有题，没有答。"

苏默之捡起册子翻了翻。问题都是他没见过的——从"被朋友误会了怎么办"到"读了一本烂书该不该告诉别人"。

"你每天进这间屋子，抽一道题，自己答。答完之后——"

"去临帖处？去看参考答案？"

"没有参考答案。"陆问樵说，"这三百道新题，没有任何人写过示范。你得去品茗处，让那十二个人重新给你打一遍票。"

苏默之愣住了。

"也就是说——"

"也就是说，"陆问樵替他说完，"你只有一道又一道的新问题，和一盏又一盏的茶。好与不好，别人说了算。这是你唯一的标准。没有书可以参考，没有人可以模仿，没有蓝皮簿子可以翻。你自己判断——然后十二个人告诉你，你判断对了没有。"

陆问樵转身走了。脚步声在窄巷子里一截一截地远，然后消失。

苏默之一个人在空山堂里坐了很久。

第一个月很难。他的第一批回答，十二票里能拿两三票。厨娘说他还是有点绕，少年学子说他有时候太啰嗦，老教习说他偶尔太浅。他在空山堂里写了撕、撕了写，椅子底下的纸团堆成了一座小山。

第二个月开始好转。四五票变成了七八票。他不再"猜"了——他看到一个问题，脑子里先浮出来的不是答案，而是人。这道题是一个慌了神的人在问。这道题是一个心里已经有答案、只是来找认同的人在问。这道题是一个自己都不知道自己在问什么的人在问。

第三个月，他的平均票数到了十票。三百道新题答了一轮——品茗处那十二个人里，通常有十到十一个人觉得他的回答"像是人说的"。

第三个月的最后一天，陆问樵推门进来。

"你准备好了。明天有一道真难题。"

五、一道问了三代人的老题

翰墨斋每年秋天有一场"辩难"——斋中最难的论题摆出来，上至教习下至新生，谁都可以上去说一段。

今年的论题传了三代人。从陆问樵的先生那一辈起，就没有人答得让所有人都服气。

论题是：读书到底有什么用。

这题看起来简单，实际上处处是坑。说"为了做官"——当场就落了下乘，台下坐着的有一半是这辈子没打算做官的。说"为了明理"——飘在半空里，不接地气，听着像敷衍。引经据典太多，像掉书袋。说得太浅白，又觉得没分量。三代人，没有一个回答能同时说服老教习和烧水的厨娘。

辩难那天，台下黑压压地坐了将近三百人。连隔壁书坊的掌柜、巷口卖馄饨的老陈都搬着板凳来了。

苏默之走上台的时候，看见陆问樵坐在角落里。面前放着两杯茶。一杯满的，一杯空的。

他站在台上，望着底下那些熟悉的面孔——有品茗处里那个总是画圈很慢的老教习，有两杯茶喝完就忍不住打盹的厨娘，有临帖处窗外天天路过的扫地小童。

"我来翰墨斋之前，"他开口了，"我爹跟我说：'去读几年书，认得几个字，回来帮老子记个账就行。'"

台下有人笑了。角落里那个厨娘笑的声音最大。

"后来我读着读着就忘了记账的事。也不是忘了——是不甘心。觉得读书得有个更大的用处。可我找了好多年，没找到那个'更大'在什么地方。我把八万卷书翻了三遍，翻到能把《禹贡》倒着背——"

他停了一下。

"但那时候，同窗问我'明天会不会下雨'，我背了半篇《月令》给他。他听完以后就走了。第二天淋了雨回来，发了两天高烧。他后来再也没问过我任何问题。"

台下的笑声没了。

"后来山长给了我三间屋子。"苏默之的声音不高，但在安静的大堂里，每一个字都清清楚楚。"第一间屋子教会我一件事：把话说短。第二间屋子教会我另一件事：把话说进别人心里。第三间屋子什么都没有——只有一把椅子，和三百道没人告诉我答案的问题。"

"我在那把椅子上坐了三个月。后来有一天我终于想通了。"

他望着台下那三百双眼睛。

"读书最大的用处，不是让你知道更多。是让你听懂别人在说什么。"

"听懂一个人问'明天会下雨吗'——他问的不是雨。是他明天要赶路，他怕淋。听懂一个人问'这封信怎么写才客气'——他要的不是格式。是一段不伤人的话。听懂一个人问'读书有什么用'——"

他停了一拍。

"他不是来要一个答案的。他花了那么多时间读书，身边的人都跟他说没用。他只是想要一个人告诉他：你花的时间是值得的。"

大堂里安静极了。连窗外树上的蝉都不叫了。

"值得。"苏默之说，声音很轻，但每个人都听见了，"因为你读过的每一本书，总有一天会帮你听懂一个人的话。而听懂一个人——是这世上最难也最好的事。"

老教习放下了手里的茶杯。厨娘用袖子擦了擦眼睛。陆问樵端起面前那杯满的茶，一口喝干了。

辩难的规矩——觉得回答"服气"的人举手。台下坐了将近三百人。

两百六十三只手举了起来。

破了翰墨斋一百二十年的纪录。

散了场，苏默之和陆问樵并肩走在斋后的山路上。月光从松枝间漏下来，在地上铺成一地碎银子。

"山长，"苏默之说，"您从头到尾没教我任何新学问。您教我的三件事——怎么把话说短、怎么让不同的人点头、怎么在没有答案的地方自己判断——这些都不是书里的东西。"

"对。"

"那这算什么？"

陆问樵站住了。山路边上有一棵极老的银杏，树干粗得要四个人才合抱得住。树底下落了一层白果，在月光里泛着青黄的光。

"这棵树，种子落下来的时候，谁都看不出它能长这么高。种子只是种子——一种'可能'。"陆问樵拍了拍树干，"但一棵好树——不是最大的种子长出来的。是落在人最多、最能晒到太阳、最有人给它浇水的地方长出来的。"

"书是种子。你的八万卷书就是八万粒种子。但没有第一间屋的阳光，没有第二间屋的雨水，没有第三间屋的风——种子永远是种子。"

苏默之望着那棵银杏，很久没有说话。

书读在心里，话说在人里。

技术解读

RLHF（Reinforcement Learning from Human Feedback，基于人类反馈的强化学习）是将预训练大语言模型转化为有用助手的关键技术路径。2022 年，OpenAI 在 InstructGPT 论文（Ouyang et al., 2022）中系统阐述了这一方法，并直接应用于 ChatGPT 的训练。此前，Anthropic 也在其偏好模型研究中探索了类似的方向（Bai et al., 2022）。RLHF 解决了一个根本问题：一个在海量文本上预训练的模型"知道"很多事，但不知道如何以人类期望的方式呈现这些知识——它可能给出冗长的、卖弄的、甚至有害的回答。RLHF 通过引入人类偏好信号，将模型的行为从"预测下一个词"校准为"给出人类喜欢的回答"。

整个流程分为三个阶段：监督微调（SFT）——用人类撰写的高质量示例教会模型"好回答长什么样"；奖励模型训练（RM）——让标注者对多个回答进行偏好排序，训练一个能模拟人类判断的评分模型；近端策略优化（PPO）——用奖励模型的分数作为反馈信号，通过强化学习微调语言模型，同时用 KL 散度约束防止模型偏离太远。

核心概念回顾

故事中的隐喻对照

为什么这个故事对应 RLHF？

1. 从"能说"到"会说"的质变：苏默之读遍八万卷书之后仍然"答非所问"，正如预训练基座模型虽然掌握了海量知识，却不知道如何以人类期望的方式使用这些知识。三间屋子的训练之后他的知识总量没有增加，但输出的质量和可用性天差地别。这正是 InstructGPT 论文的核心发现：1.3B 参数的对齐模型在人类评估中可以击败 175B 的未对齐模型。

2. 三段式训练流水线的精确映射：临帖处对应 SFT（从示例中学习什么是好回答），品茗处对应 RM 训练（从偏好比较中学习人类标准），空山堂对应 PPO 优化（在奖励信号引导下自我迭代）。三个阶段层层递进——先看示范，再学评判，最后自主优化。

3. 偏好排序优于撰写示范：品茗处的核心操作是"在两个回答里挑更好的"，而非"写出一个完美的回答"——这是 RLHF 的关键工程洞察。对同一问题的好坏进行排序远比写一个完美的标准答案容易，标注者不需要是领域专家，歧义可以通过多数投票自然消解。

4. 奖励信号的标量性与自动化：蓝皮簿子上"十一票"——一个数字——决定了苏默之的努力方向。对应奖励模型对每个回答输出一个标量分数。策略模型不需要知道"为什么好"，只需要知道"分数更高"，这使得 RL 阶段可以脱离人工标注自动运行。

5. 人类偏好的多样性与标注者池：品茗处十二个人来自不同身份（教习、新生、厨娘），映射标注者多样性的重要性。同一个回答对不同的人有不同的价值——这避免了模型只讨好单一群体，也是为什么 RLHF 需要足够广泛和多样的标注者池。

6. KL 散度的隐含约束：空山堂的训练没有改变苏默之"博学"的本质——他仍然是那个读过八万卷书的人，只是学会了如何选择和组织自己的知识。这对应 RLHF 中的 KL 散度约束：优化过程中强制模型不偏离原始策略太远，防止为了讨好 RM 而开始编造事实或产生语法错误。

7. 最终标准永远是"人"：辩难台上那两百六十三只手——最终评判标准不是准确率、困惑度或任何自动指标，而是真实人类的满意度。这揭示了 RLHF 的终极目标：不是让模型更"聪明"，而是让它对人类更有用。

后记：预训练赋予大模型一座藏经阁般的知识——八万卷书，倒背如流。但知识不是智慧，博学不是体贴。RLHF 做的事，不是往阁子里再塞几本书，而是在阁子外面开了三间屋子：一间让你看什么是好，一间让别人告诉你什么更好，一间让你自己在沉默中把这些融进骨血。苏默之的转身不是从无知到有知——他从头到尾都是翰墨斋最博学的人。他只是学会了为谁而说。读书是为自己，答问是为别人。那棵老银杏的种子再好，没有阳光、雨水和风，也长不成荫。书读在心里，话说在人里。