读博这几年，我走了很多弯路。
本科靠记性过，靠刷题过，靠考前突击过，那一套到了博士阶段，全部失效了。
失效得很彻底。
博士第一年，我看文献看得很勤，每天看，看完记笔记，记了厚厚一本，但两个月之后，我发现脑子里什么都没有，那些文献像水一样流过去了，没留下任何东西。
我去问导师，说我感觉学了很多但什么都没记住。
导师问我，你看完一篇文献，你会做什么。
我说，记笔记。
他说，然后呢。
我说，看下一篇。
他沉默了一下，说，那你记的那些笔记，是给谁看的。
那句话把我问住了。
后来我开始认真研究怎么学*这件事。那段时间，我前男友在做神经网络相关的研究，我们经常聊他的工作，有时候聊着聊着，我发现，他说的那些大模型训练的原理，和人怎么学*这件事，有一些地方，细思极恐地像。
不是比喻，是真的像，因为神经网络本来就是模仿人脑设计的，仿生学的底子在那里，只是后来两件事走着走着，走出了各自的路，但根，是一样的。
那些对话，让我重新理解了学*这件事。
今天想认真说一说。
第一件事，主动回忆，不是反复看。
先说神经网络里的一个核心过程，叫反向传播。
简单说，模型先做一个预测，把那个预测和真实答案比较，看差了多少，然后根据那个差，去调整模型内部的参数，让下一次预测更准一点。那个过程反复发生，模型就慢慢变好了。
关键在哪里，模型不是通过反复看数据变好的，是通过反复预测、反复犯错、反复调整变好的。如果只是把数据喂进去，不让它预测，不让它犯错，它什么都学不到。
人脑，是一样的道理。
你反复看书，反复看笔记，你的大脑是被动的，只是在接收，没有在工作。但你把书合上，试着把刚才看的东西从脑子里挖出来，那个挖，哪怕挖错了，哪怕挖不出来，那个努力挖的过程，相当于给你的大脑做了一次反向传播，那个记忆，会扎得更深。
认知科学里，这个叫提取练*，retrieval practice，有大量研究支持它。有一个实验，把学生分成两组，都学同样的内容，一组反复看，一组看一遍然后做回忆练*，一周之后测试，做回忆练*的那组，成绩比反复看的那组高出将近50%。
那个数字，我第一次看到的时候，坐了很久。因为我本科四年，一直在反复看。
具体怎么做，看完一个章节，合上书，拿白纸把记得的东西写下来，不管多少先写，写完再翻开书对照，看漏了什么，错了什么。那个漏的和错的，就是你真正需要花时间的地方，不是那些你已经写出来的。
还有一个变体，叫做问题化笔记。记笔记的时候，不是把内容抄下来，而是把那个内容，变成一个问题，比如”某某概念的核心机制是什么”，然后合上笔记，先回答那个问题，再翻开对照。那个方式，逼着你每次复*都在做回忆，而不是在看。
第二件事，间隔重复，不是集中复*。
大模型训练，有一个很常见的问题，叫灾难性遗忘，catastrophic forgetting。
就是模型学了新东西之后，会把旧东西忘掉，因为新的训练，覆盖了旧的参数。研究者为了解决这个问题，发展出了持续学*的方法，核心思路之一，是让模型定期回顾旧的数据，不是集中复*，是在训练新东西的过程中，穿插着复*旧的。那个穿插，让旧的知识，不会被新的覆盖掉。
人脑有一条遗忘曲线，学完一件事，第一天可能还记得80%，一周之后可能只剩30%，一个月之后可能只剩10%。但每次你在快要忘掉的时候，把那件事重新回忆一遍，那条曲线就会重置，而且下一次遗忘的速度，会变慢。
关键是那个时机，快要忘掉的时候，不是每天复*，不是考前集中复*，是在那个将要忘记的临界点复*一下，效果最好。
工具层面，有一个叫Anki的软件，专门做间隔重复，它根据你每次回忆的难易程度，自动计算下一次应该复*的时间，简单的卡片隔久一点，难的隔短一点，那个算法是根据遗忘曲线设计的，比你自己感觉要复*了，要准确得多。
具体怎么做，把学的东西做成卡片，一面是问题，一面是答案，每天花二十分钟过卡片，不是看，是遮住答案先想，再翻开对照。卡片不要做得太复杂，一张卡片只放一个知识点，越原子化越好，因为你要能精确地知道，你哪里不会，而不是这张卡片有五个知识点，你只会三个，但你说不清楚是哪三个。
坚持三个月，那些东西，真的会留下来。
第三件事，费曼技巧，用输出倒逼输入。
神经网络里，有一种结构叫自编码器，autoencoder。
它的工作原理很有意思，它先把输入的信息，压缩成一个很小的表示，然后再从那个小的表示，重新把原来的信息还原出来。如果还原得好，说明那个压缩的表示，真的抓住了那个信息最核心的东西。如果还原得不好，说明丢掉了很多重要的东西。那个还原的过程，是检验理解深度的过程。
费曼技巧，原理一样。如果你不能用简单的语言，把一件事从头解释给一个完全不懂的人听，说明你的理解，还停在表面。
你能把那件事压缩成最核心的东西，然后重新展开说清楚，那才是真正的理解。很多时候我们以为自己懂了，是因为那些词认识，那个概念见过，有一种熟悉感，但熟悉感不是理解，理解是你能还原出来。
我现在写论文，写到某一段写不下去，往往不是因为那段话不好写，是因为我对那件事的理解还有漏洞，那个写不下去，是一个信号，告诉我得回去想清楚。
具体怎么做，学完一个概念，拿一张白纸，假装在给一个完全不懂的人讲，从头写下来，写到哪里卡住了，哪里就是没真正理解的地方，回去专门把那个地方弄清楚，再来一遍，直到能从头流畅说到尾。
有一个进阶版，叫做橡皮鸭调试法，程序员用得多，但学*也适用。就是对着一个橡皮鸭，或者任何一个不会说话的东西，大声把你理解的东西说出来。说出声，比写下来，更能暴露那些你以为自己懂了、但其实说不清楚的地方。
第四件事，交错练*，不是集中练*。
大模型训练，有一个很重要的概念，叫泛化能力，generalization。
一个模型如果只在一种类型的数据上训练，它会在那种数据上表现很好，但换一种数据，它就不行了，这个叫过拟合。为了避免过拟合，训练的时候，要把不同类型的数据混在一起喂给模型，让它学会在不同情况下都能做出正确的判断。
我们平时学*，*惯一次把一种题做完，今天练A类型，明天练B类型，那个过程感觉很流畅，感觉进步很快，但那个流畅是假的。你做第十道A类型题的时候，你已经知道要用A方法，你不是在思考，你只是在重复，那是过拟合。
真正的考试，题目是混在一起的，你需要先判断这道题用哪种方法，那个判断才是最难的部分，也是集中练*完全没有训练到的部分。
交错练*就是把不同类型的东西混着做，那个过程会很痛苦，感觉比集中练*慢很多，感觉自己进步很慢，但那个痛苦，是大脑在真正工作的感觉。研究发现，交错练*的短期效果比集中练*差，但长期保留和迁移能力，远高于集中练*。
具体怎么做，做题的时候不要一次把同一类型做完，把不同章节不同类型的题混在一起，随机抽着做。学多门课的时候，不要一门学完再学下一门，交替着来，今天学一个小时A，再学一个小时B，那个切换虽然难受，但它在训练你的判断能力，不只是你的执行能力。
第五件事，睡眠，是学*的一部分。
神经网络训练里，有一个过程叫剪枝，pruning。
就是把那些不重要的、冗余的连接去掉，让网络变得更精简更高效，同时泛化能力更强。不是加更多，是去掉不重要的，留下真正有用的。
人脑在睡眠里，做的事情有点像这个。睡眠里，大脑会把白天接收到的信息整合巩固，把重要的连接加强，把不重要的慢慢减弱，把那些零散的东西，整合成有结构的知识。具体来说，是在慢波睡眠阶段，海马体会把白天的记忆，向新皮质转移，那个转移，是从短期记忆变成长期记忆的过程，只在睡眠里发生，没有替代品。
你熬夜多看了一个小时，但少睡了一个小时，那天学的东西有很大一部分没有被巩固，明天的吸收效率也会大幅下降，那是一个恶性循环，熬夜学*，睡眠不足，第二天效率差，又要熬夜补，然后更差。
还有一件事，睡前学的东西，是被优先巩固的。睡前那三十分钟，适合复*当天最重要的内容，不是学新的，是回顾旧的，让那些东西在睡眠里被优先处理。
具体怎么做，把睡眠当成学*计划的一部分，不是所有事做完之后剩下的时间。学了重要的东西，不要马上刷手机，给大脑一点安静的时间，然后去睡觉，让巩固自然发生。
第六件事，注意力，是最稀缺的资源。
大模型里，有一个现在非常核心的机制，叫注意力机制，attention mechanism，transformer架构的核心就是它。
它的原理，是让模型在处理信息的时候，不是把所有输入平等对待，而是学会哪些部分是现在最重要的，把更多的计算资源分配给那些重要的部分。那个选择性分配，让模型处理信息的效率大幅提升。
人脑也有注意力系统，但和大模型不一样的地方在于，大模型的注意力可以同时关注很多地方，但人脑的注意力，同一时间，只能真正关注一件事。
多任务处理，在人脑里，是一个幻觉。你以为你在同时做两件事，实际上你的大脑在两件事之间快速切换，每次切换，都有认知成本，都有信息损耗，那个成本，研究估计，会让你的工作效率下降将近40%。
而且每次被打断之后，重新进入深度专注状态，平均需要23分钟。你每隔十分钟看一次手机，你实际上从来没有真正进入过深度工作状态。
具体怎么做，找到你一天里精力最好的两个小时，手机放到另一个房间，关掉所有通知，只做那一件最重要的事。把难的事放在那个时间里做，不要用最好的注意力去处理邮件和消息。那两个小时，抵得上分心状态下的四五个小时。
有一个技术叫番茄工作法，25分钟专注，5分钟休息，那个方法的核心不是那个时间数字，是那个结构，给自己一个明确的边界，25分钟内不做任何其他事，到了才休息。那个边界，让你的大脑知道，现在只有一件事。
但我自己用下来，25分钟对深度工作来说有点短，真正进入状态可能需要15分钟，进入了又要停，很割裂。我后来改成了90分钟专注，然后休息20分钟，那个节奏，和人脑的ultradian rhythm，也就是超日节律，大概吻合，那个节律说的是，人脑每隔90分钟左右，会有一个从高度专注到需要休息的自然周期。顺着那个节律工作，比对抗它，要省力得多。
最后说一件事。
我前男友有一次跟我说，神经网络这个东西，最开始就是想模仿人脑造出来的，但造着造着，走出了自己的路，现在反过来，神经网络的一些东西，又在帮我们理解人脑。
那句话我觉得很有意思，两件事，互相照亮。
那些学*方法，也是同一个道理。
主动回忆，是因为提取比存储更能强化记忆，就像反向传播，犯错和修正，才是真正的学*。
间隔重复，是因为在遗忘临界点复*效果最好，就像持续学*里穿插回顾旧数据，防止新的覆盖旧的。
费曼技巧，是因为输出会暴露理解的漏洞，就像自编码器的还原，压缩再展开，检验你真正抓住了什么。
交错练*，是因为泛化能力需要多样性训练，就像防止过拟合，只在一种数据上训练，换个场景就垮了。
睡眠，是因为记忆的巩固和整合只在那里发生，就像剪枝，不是加更多，是在安静里留下真正重要的。
注意力，是因为它是有限的资源，需要选择性分配，就像attention mechanism，把计算资源给最重要的部分，而不是平均撒出去。
这些方法背后，是同一个原理，你的大脑，不是一个被动的容器，不是你往里放多少就有多少的硬盘，它是一个主动的系统，它需要被用，被挑战，被检验，被给够时间整合，才会真正变强。
理解了这件事，你不是在用别人的方法学*，你是在用自己的方法，学*。
那个差别，很重要。
版权声明：本文转载于今日头条，版权归作者所有，如果侵权，请联系本站编辑删除
