听播客学到的东西

几年前，在 blog 里写过当初学机器学习原理的时候领悟到的一件事情。机器学习模型「学习」的过程是随机启动一系列权重，基于输入数据猜测一个输出，再与标准答案对比。这个过程中，最重要的步骤是「反向传播」(back propagation)，也就是犯错误之后，从结果一步一步追溯推导的过程，并调整各个步骤的权重。

类似的情形对人而言就是，人也应该不断地犯错误，并反思错误，进而指导自己下一步的行动。犯了错误就缩回去，不从错误中学习，也不敢再去尝试，那就太可惜了。

前段时间听到的一集播客里，嘉宾韦青也提到了机器学习这样的比喻。但是他还提到了另一个层面，机器学习模型在数学空间里探索的过程中，如果反向传播的梯度 (gradient) 太小，可能会陷入「本地最优解」，而无法找到「全局最优解」。所以机器学习模型需要多次随机初始化，去寻找「全局最优解」。

这对人来说也是有借鉴意义的。「随机初始化」放到人类的语境里，就是要多尝试新的东西，甚至换到新的领域。

---

另一个好像是播客里听到的，但可能是这一期，或者这一期。主持人问，做公司最重要的事情是什么。嘉宾 Albert 回答说，最重要的是设计发现问题的机制，因为所有问题都是可以解决的。

---

利用大语言模型涌现出的推理能力，执行操作、调用工具的系统，英文通常叫 agent，中文通常翻译成「智能体」。这一期播客里面，嘉宾 Hawstein 提到 agency 在哲学里是指「（主观）能动性」，agent 是「可以行动的东西」。所以适当的翻译应该是「能动体」。非常同意。