Header logo.
极北人工智障
主页逐年标签自述RSS

听播客学到的东西

几年前,在 blog 里写过当初学机器学习原理的时候领悟到的一件事情。机器学习模型「学习」的过程是随机启动一系列权重,基于输入数据猜测一个输出,再与标准答案对比。这个过程中,最重要的步骤是「反向传播」(back propagation),也就是犯错误之后,从结果一步一步追溯推导的过程,并调整各个步骤的权重。

类似的情形对人而言就是,人也应该不断地犯错误,并反思错误,进而指导自己下一步的行动。犯了错误就缩回去,不从错误中学习,也不敢再去尝试,那就太可惜了。

前段时间听到的一集播客里,嘉宾韦青也提到了机器学习这样的比喻。但是他还提到了另一个层面,机器学习模型在数学空间里探索的过程中,如果反向传播的梯度 (gradient) 太小,可能会陷入「本地最优解」,而无法找到「全局最优解」。所以机器学习模型需要多次随机初始化,去寻找「全局最优解」。

这对人来说也是有借鉴意义的。「随机初始化」放到人类的语境里,就是要多尝试新的东西,甚至换到新的领域。


另一个好像是播客里听到的,但可能是这一期,或者这一期。主持人问,做公司最重要的事情是什么。嘉宾 Albert 回答说,最重要的是设计发现问题的机制,因为所有问题都是可以解决的。


利用大语言模型涌现出的推理能力,执行操作、调用工具的系统,英文通常叫 agent,中文通常翻译成「智能体」。这一期播客里面,嘉宾 Hawstein 提到 agency 在哲学里是指「(主观)能动性」,agent 是「可以行动的东西」。所以适当的翻译应该是「能动体」。非常同意。

1 月 25 日

之前的想法是「今天是一年的第几天,就写几个字」。作为文字游戏还蛮有趣,但是限制了表达力。于是放弃。


昨天出门去见了人,感觉还挺好。那家咖啡馆不错,倒是可以偶尔带着电脑过去待一下。


今天上了一节法语课,三十分钟时间。年轻的时候学过的东西就是记得牢,现在法语的听力都还可以,虽然一直在学瑞典语,但脑子里两种语言打架的时候,还是觉得法语略微好一点。


华北平原可能是地球上最贫瘠的地方,无论从土地、粮食、教育资源、看世界的机会,都有层层的障碍。家里人的际遇的原因,可能有三分之一在于被世界的 gate-keeping 机制拦住了。另外恐怕有三分之二在于被拦住之后,就放弃尝试并 internalize 失败,哪怕 gate-keeping 机制并不正义,哪怕这条路被拦着,不代表没有别的路。于是我小时候曾经听长辈悲怆地长叹「咱家的人就是不行」。

以上的心态对我也是一个负担,一直在 unlearn,但偶尔消沉的时候就会浮现出来。


最近感觉挺累的,是那种因为没什么意义感而产生的倦怠。

昨天跟朋友聊天,吐槽了一些去年工作的事情。其实也受到了很多启发。

感觉不对劲的事情就是不该做的事情。等遇到了该做的事情,是能感觉到的。其实去年 4 月就感觉不对劲了,确切说工作没多久就感觉这个工作不对劲了,只是一直觉得原因是远程工作。于是去年 4 月搬家,以为搬到同一个地方,经常见人可能「感觉」就对了。然而并没有。于是一直忍着想到 12 月底辞职,结果意外在 11 月底被解雇了。前者的好处是自己能宣泄情绪,后者的好处是工会给发失业金。总是都蛮好的。

之所以去年 4 月的时候,哪怕感觉不对劲,也想尝试搬个城市,是因为之前的几年自己的情绪问题很严重,需要时时刻刻用理性压制、否定自己的情绪,才能强打精神 carry on surviving。所以工作中遇到情绪上的不适,也一直在用理性压制。之前觉得很累,八成是因为这个。

最理想的情形是做自己喜欢的事情。因为想把任何事情做好,都是很困难的。如果不是喜欢,是拿不出那么多 dedication 去把它做好的。希望能做起来,希望做起来之后能顺风顺水。

但首先把第一季度打算做的事情做完。

1 月 19 日

早上七点去了健身房,意外发现竟还有别的人。

1 月 18 日

这一天感到相当烦躁。当天没写,第二天补的。

1 月 17 日

心情涣散。计划做的三件事,一件都没有做。