听播客学到的东西
几年前在 blog 里写过当初学机器学习原理的时候领悟到的一件事情。机器学习模型「学习」的过程是随机启动一系列权重,基于输入数据猜测一个输出,再与标准答案对比。在机器学习的过程中,最重要的步骤是「反向传播」(back propagation),也就是犯错误之后,从结果一步一步追溯推导的过程,并调整各个步骤的权重。
这让我意识到人也应该不断地犯错误,并从反思错误,进而指导自己下一步的行动。翻了错误就缩回去,不敢再去试试,也不从错误中学习,那就太可惜了。
前段时间听到的一集播客里,嘉宾韦青也提到了机器学习这样的比喻。但是他还提到了另一个层面,机器学习模型在数学空间里探索的过程中,如果反向传播的梯度 (gradient) 太小,可能会陷入「本地最优解」,而无法找到「全局最优解」。所以机器学习模型有时候需要多次随机初始化,去寻找「全局最优解」。
这对人来说也是有借鉴意义的。「随机初始化」放到人类的语境里,多尝试新的东西,甚至换新的领域。
主持人问,做公司最重要的事情是什么。Albert 回答说,最重要的是设计发现问题的机制,因为所有问题都是可以解决的。
利用大语言模型涌现出的推理能力,执行操作、调用工具的系统,英文通常叫 agent,中文通常翻译成「智能体」。这一期播客里面,嘉宾 Hawstein 提到 agency 在哲学里是指「(主观)能动性」,agent 是「可以行动的东西」。所以适当的翻译应该是「能动体」。深以为然。
