今天去体验了一下Apple的Vision Pro,挺好玩的。它可以让使用者同时看到周围世界和虚拟世界。有一点非常不错:它对使用者周围世界的拍摄非常清晰。

现在有人在研究盲人的视觉重建,拍摄周围世界也是其中一步,看来已经解决,难点肯定还在于如何给刺激。因盲人大多是视网膜出问题而皮层完好,所以理论上刺激V1就可以了。尽管如此,想知道如何给刺激很难。肯定要用深度学习。我觉得触觉和本体感觉的重建比视觉简单,肯定是前两者先突破。

我浅估计下神经科学应用于医学的时间节点。首先是脊柱损伤患者重新行走、瘫痪患者重新沟通、截肢患者用机械假肢,看最近的论文,这三件Decoding未来十年应该能落地。其次是Encoding了,残疾人急需的是触觉、本体感觉、视觉,但不知道要多久。最后是Elon Musk提到的读心术、传心术、意识上传,我感觉遥遥无期,等个几百年也说不定。

下方的推文写得相当好,顾凡及深入浅出地解释了一些论文是如何包装自己的。能否识破造假、灌水、吹牛的文章也是评价一个人是不是该领域出色科学家的标准啊。

文中有个金句:这就是华盛顿大学神经科学家格雷格·霍维茨(Greg Horwitz)所说的:“如果你想让我移动我的手臂,我知道把电极放到哪里”,“即使你能够在我脑中的任何地方插入电极,如果你想让我投拜登或特朗普的票,我不知道你应该刺激哪里才能实现,或者以什么模式去刺激才行。”

Read more »

在这个风云变幻的时代,在AI即将改变世界的前夜,我们都需要从历史中汲取一些信念。

1949年,一本宣传社会主义的杂志,Monthly Review,在美国纽约出版。阿尔伯特·爱因斯坦应邀为它撰写了开篇文章—— Why Socialism? 。这是爱因斯坦一生中唯一一篇表达自己对政治和经济的看法的长篇文章。这时的他已经70岁,已经去过世界上众多的国家、见过众多领导人、致信罗斯福帮助了无数人。

文章中,以下几点很亮眼:

  1. 两次工业革命前后人类社会的变化:过去几个世纪的科技发展已经对人类社会造成了不可逆转的影响。密集的定居人口、极端的劳动分工、高度集中的生产装置,都是上述的影响的一部分。个人和小团体能够自给自足的、看似很悠闲的时代永远过去了,现在的人类社会是这个星球上一整个生产和消费的社区。
  2. 经济危机:经济危机起源于市场经济中生产和消费的无序性。在我眼里,只有计划经济才能解决这一问题。
  3. 教育:我们的教育教导孩子们要成功、要争当人上人,而不是去帮助更多的人。
  4. 民主:只有计划经济还不够。计划经济需要一个强有力的政府,这可能导致极权。如果保证人民民主呢?如何防止官僚变得狂妄自大又为己谋利呢?
  5. 由于麦卡锡主义,现在讨论这些事很难了。希望这本杂志的创办能帮助讨论和阐明以上问题。

Read more »

昨天和朋友骑了巢湖,共210km。骑最后20km时,左膝盖隐隐作痛。奇了怪了,之前疼的都是右膝盖。

要是有个数学公式,可以根据运动类型、运动强度、部位损伤程度预测出哪个部位疼,该多好。

本科时候学生化(我是物院生物物理方向,要学一个2学分的生化,生院学4学分),第一节课,老师放了一下教材目录,四五十章。我抱怨太多了。老师说,你们都是物理出身的,我相信你们将来可以把这些都浓缩成数学公式,就像牛顿、麦克斯韦一样,那样就不要这么多章。我当时也这么认为,高兴地点了点头。

但是,现在我认为,并非所有自然科学和社会科学的规律都可以用数学语言描述。就像上面哪个预测部位损伤的问题,估计没有公式。生物、医学、经济学的很多问题,都和此问题一样。

一个朋友曾告诉我,她相信AI可以充当人类和自然科学、社会科学沟通的“翻译软件”。AI能预测出我左膝盖疼还是右膝盖疼,但是没法用数学语言跟我解释。

Read more »

我推测了一下各个科学家对o1的态度。

  1. 伽利略:几乎没人理解我,现在我可以和它讨论我的惯性定律了。
  2. 牛顿:《格列弗游记》竟然敢讽刺我,我可以去问问它我的三定律如何能做出一些对人类有利的发明创造。
  3. 法拉第:高斯、纽曼、韦伯那些相信超距作用的蠢货,我现在要去问问它如何用数学语言描述我的发现。
  4. 麦克斯韦:为啥我的方程和伽利略变换不相容?
  5. 玻尔兹曼:马赫那些白痴非说原子和分子都是不存在的,怎么设计实验说服他们?
  6. 爱因斯坦:我在专利局终于不那么孤独了。
  7. 普朗克、卢瑟福、爱因斯坦、波尔、波恩、海森伯、约当、德布罗意、薛定谔、外尔、狄拉克、波姆、Everett、DeWitt:到底哪个诠释是对的,还是都不对?帮我们设计一些实验?
  8. 费米:为什么我们还没有找到外星人?或许,GPT-o1可以给我一个答案,或者,一个对手。

  1. 欧多克索斯、欧几里得:如何把公理化体系推广到几何学之外?
  2. 费马:我的定理写在草纸上的空白处,我希望GPT-o1能帮我找到一张更大的草纸。
  3. 费马、笛卡尔:我们想和阿波罗尼斯对话,有个好消息想告诉他,o1你假扮一下?
  4. 笛卡尔:o1,怎么证明数和数轴上的点是一一对应的呢?
  5. 牛顿、莱布尼茨:请帮我们给贝克莱写一封回信。
  6. 欧拉:o1,院长非要拉着我一起开除柯尼希,咋整啊?
  7. 傅里叶:3L拒了我的文章,我想它应该能理解吧。
  8. 伽罗瓦:把我的工作翻译成连小学生都能看懂的语言,好让柯西和泊松能看懂!
  9. 卡诺、乔治·格林、孟德尔:那些蠢货理解不了我的工作,我想它应该能理解吧。
  10. 高斯:我要和它讨论讨论非欧几何。
  11. 黎曼:我要和它讨论讨论我的猜想。
  12. 康托尔、戴德金、Weierstrass:有关实数构造,我们想和欧几里得、笛卡尔对话,o1你假扮一下?
  13. Weierstrass:我有个好消息想告诉阿基米德、牛顿、莱布尼茨,o1你假扮一下?
  14. 庞加莱:你说说,爱因斯坦的狭义相对论和我的有啥不一样?

Read more »

近几个月,不知哪个大聪明发现,直接问LLM:”Which is bigger, 9.11 or 9.9.”,LLM有很大的概率会回答错。包括o1-preview。

我之前试过,如果言明是实数或者是版本号,LLM几乎100%会回答正确。我是拿讯飞星火试的,都没用GPT。因此我觉得,很多人只是想靠这件事水文章。

我个人认为,人类和LLM是两种智能,就像人类视觉和CNN是两种视觉一样。两种视觉互有长短,两种智能也是。人看到9.11和9.9会先想到实数,LLM看到(可能)会先想到版本号,两种智能有不同的先验和直觉,仅此而已。

伽利略之前,没有任何一个人意识到物体的运动是不需要力来维持的,所有人都认为不推一个物体它就不会动,因为这就是人类的先验和直觉。这件事在现在看来就跟说9.11比9.9大一样愚蠢。但这能说明伽利略之前的人都很蠢吗?

不同人的先验和直觉不一样(因此,未来不同LLM的先验和直觉也有可能不一样)。比如那个著名的三门问题(Monty Hall Problem),保罗·埃尔德什竟然会做错,但此问题的答案是很符合我的直觉的。

Read more »

日前,陶哲轩评价o1-preview是一个平庸但不算完全无能的研究生。(我认为他想表达的是——o1-preview的数理能力约等于一个在基础数学领域中等偏下的研究生)。

但是大家都知道,做基础数学的研究生,数理能力是什么水平吧。。。

我若去做基础数学,我会去做几何,几何比代数和分析更吸引我些;如果做理论物理,我会去做高能物理或者天文学;如果去做统计,我会去做因果推断,Fisher创立的这门子学科一直吸引着我。幻想时间结束,我的数理能力显然是不够的:)。

昨天,他又发了另一条博客,表示:数理能力只是评价一个研究生的维度之一,还有其他维度——创造力、独立性、好奇心、表达能力、直觉、专业精神、工作态度、领导能力、社交技能。(诶,怎么没有反剥削能力)。

他的这两个观点我当然都同意啦。说得挺好的。

Read more »

昨天中午、昨天晚上和今天中午睡觉都睡不着。吃饭也感觉没心情。

回忆一下人工神经网络的发展史,简直是魔法、奇迹、不可思议。

1960年,它只是一个连异或都解决不了的双层感知机。不就是一个逻辑回归的等价算法嘛。

1980年,几个人提出了反向传播,能训练多层感知机了。但看着也就那么回事。

1990年,LeCun把Hubel, Wiesel对于视网膜结构的研究照搬过来搞出了他的LeNet,没想到这照猫画虎的东西真能成。真是不可思议。

Read more »

1948年的夏天,我走在新泽西州莫瑞山的一个电气研究所里。迎面走来了克劳德,我的一位同事。他在珍珠港事件前就取得了博士学位,二战间为军方效力。也许是因为从军的经历,他的目光里总是如鹰隼般犀利,甚至有几分杀气,让我想起赫尔曼·戈林,拉夫连季·贝利亚,或者威廉·多诺万。但他其实是一个性格很温和的人,而且很喜欢变戏法。

克劳德笑着说:“今天怎么穿得这么商务,讲课,讲组会,还是出去约会了?“

我没好气地说:“关你什么事,你还是多练练你那蹩脚的杂耍吧。”其实他的杂耍很精彩,但谁让他这么跟我说话呢?

克劳德没有理会,继续追问:“怎么不穿你最爱的运动装啊?一百天里你有九十九天会穿运动装。”

我无可奈何地说:“变一变嘛。如果你看到了一个穿运动装的我,你获取不到任何信息,其实你压根不用看到我就知道我穿的大概率是运动装;但是如果你看到了一个穿正装的我,那就说明,今天一定是对我很重要的一天。

Read more »

嗨,我在24年4月27日考了托福。我用了三周,从约95分的水平提到了约105分的水平,最后考了101分。我且并没有刷很多题,大约10套。我的主要弱点在于口语和写作。以下是四个对我帮助很大的链接(都很重要!排名不分前后!)。

  1. Three New TPOs of xdf, 2023:新东方给的三套23年改革后的模拟练习。这三套我都做了,似乎是新东方自己从旧版TPO改过来的,把阅读从14个问题删减到了10个,等等(这里吐槽一下旧版托福的阅读,比新版托福难多了)。另,这种新版模考很难找,我只找到了这一处,大家如果找到了其它网站的,请评论在该篇博客下方,谢谢!
  2. Perfect Speaking Examples, 2024:满分口语的例子。我最后力图让我的口语和这里的例子差不多,照猫画虎、东施效颦。
  3. Perfect Writing Examples, 2024:满分写作的例子。我最后同上。
  4. USTC TOEFL Website: 科大和某个公司合作的网站,上面有来自英美国家的教师批口语和写作。我经常用。

最后,我觉得,想提升考试成绩可以靠一些应试技巧,但想提升英语水平只能多练。

这件事有必要分享一下。2024年4月时候做了一个托福口语题,Choose an accomplishment that required you to work very hard. Explain what the accomplishment was and why it was important to you,一下给我干懵了。我于是把这段话拿去问GPT-4。

但是更让我震惊的是它的回答,大意是:我最困难的时候是在OpenAI学习浩如烟海的数据,这项任务又难又累,但我坚持了下来,我很高兴我的工作有利于人类。

我又拿去问当时刚出的llama-3,它的回答也很有意思,大意是:我最困难的时候是在Meta学习浩如烟海的数据,这项任务又难又累,但我坚持了下来,我很高兴我的工作有利于开源社区的建设。

Read more »

这几天看了女篮的比赛。女篮基本功(传控投、发球罚篮)比男篮好太多了。

想想男篮:

  • 传球:双MVP连线连续三次失误(指赵继伟和王哲林)
  • 控球:胡明轩过半场费劲
  • 投球:现役国家队后卫没一个准的
  • 发球:自不必说
  • 罚球:现役国家队后卫没一个准的

原因有二,一是CBA环境太舒适了,二是CBA判罚尺度的问题。在2018年,CBA新规定让每队每节只能上一名外援,因此每队的主力就算打得再烂也能上一整场。CBA判罚尺度接近上世纪的NBA,拉拽等小动作均不吹,这样只会导致球员训练不出迅速的脚步

解决之道,从治标到治本,从见效速度快到慢,无非是:归化球员->送人出去->改革CBA->全民体育。

Read more »

在b站看到KD拿MVP的就职演说。KD回忆了母亲独自将自己抚养长大的艰辛。

KD生涯里最大的黑点有两个,一是2016年从雷霆转会勇士,二是2023从篮网转会太阳。2016年夏天时,他转会到除了冠亚军外的任何一只球队,都不会招来如此之多的非议,但他偏偏加入了刚刚击败自己的勇士。2023年时,他离开了对他不薄的篮网。

LBJ因为自己在2010年转会热火饱受争议。原因在于,他当时已经是两连常规赛MVP。如果他只是一名角色球员,或者只是一名全明星级别的球员,不会有人对他的转会说什么。人们对于更强的人的忠诚有更高的要求。看来很多人都认为——能力越大,责任越大。

但是KD的这种情况,哪怕他是一个普通的全明星球员,人们也会非议他。因为投敌实在是太不忠诚了。这就像菲戈从巴塞罗那加入皇家马德里一样。

不过,从另外两个角度看,忠诚就变味了。第一,球队老板和球员的关系,是资本家和工人的关系,恰恰是詹姆斯和杜兰特的这种行为,才能保障自己的权利,而一味地忠诚只是在一味地让渡自己的权利。第二,球队和球员的关系,类似国家和国民的关系。从一个角度看,国家是统治阶级剥削的工具;从另一个角度看,国家会保护自己的国民,让国民生活得更好、受更好的教育。

Read more »

My Farewell Speech, which will be held in 2025 Spring

  • Use math to solve three body problem.
  • Use physics to find the criminal.
  • Use statistics to investigate 12 constellations and marriage.

男儿凭胆气,仗剑走天涯。

志在四方远,休焦一室洼。

前几日,Z师兄对实验室里的几个人说,他表弟今年高考,在愁选什么专业。我们都建议他表弟选自己喜欢的。Z师兄表示,高中生对学科的了解很浅。我们说,这不是有你吗?你甚至可以把他带到科大里,各个实验室逛逛。

回忆了一下,高中毕业时的我(18岁)和现在的我(24岁)对于各个学科的理解大体上是一致的。这不得不说是一种幸运。18岁的我对于数学和物理的理解分别来自《古今数学思想》和《费曼讲义》,这两部书还是挺准确的,也挺易懂。化学、生物、计算机,18岁的理解和现在也没有什么太大的不同。

只有一个学科,我的理解有很大的偏差(或者说,非常匮乏),那就是——统计/机器学习。很奇怪,上大学前的我完全没听说过”机器学习“这四个字。我听说过AlphaGo的新闻,但是当时没有继续去查它的原理。而机器学习最像统计了。如果当时选了统计的话,那也不错欸。但是,不学电动力学的话,就永远理解不了为什么要引入场;不学量子力学,就永远理解不了量子纠缠;不学统计物理,就永远理解不了为什么铁、钴、镍有磁性。不过,我想其它院系的人也会说类似的话。数学分析b3、实分析、泛函分析是数院的特色,贝叶斯、非参数是统计的特色,她们也会说,不学某某,就永远理解不了某某。有取必有舍嘛。

Z师兄问我高中毕业时候是怎么想的。当时,我想学数学物理味道浓厚的专业。对于学校,我倒没有特别的偏好。如果我少考了几分,我会去北航学航天,或者去同济学土木,或者去南开学数学。如果多考了几分,我会去复旦学理科或者去交大学工科。工科的这些专业,肯定也有——不学某某,就永远理解不了某某。

18岁的我对数学、物理、航天、土木没偏好,24岁的我呢?本科时候,我逐渐发现我更喜欢和现实世界打交道的学科。而数学就太理论了。科大的统计也有些过于理论了,我更喜欢ML、DL、RL这些。

Read more »

错误的焦虑

  • 只要打好冰球,就能交到朋友。(只要数学物理好,就能交到朋友)

  • 只要迎合她。(只要迎合强者)

  • 只要加入火鹰队,我就成功了。(只要申请到好大学,我就成功了)

  • 进不了火鹰队就要孤独终老。(申不到就孤独终老)

3Blue1Brown讲了一个故事。两个好朋友多年之后在咖啡馆中重聚,讨论各自的工作。其中一个成了统计学家,拿出最近的工作——人口统计——给另一位看。第一页写着高斯分布的公式。对于人的身高或体重符合这个公式,好友表示很惊讶。好友问统计学家,公式中的$\pi$是什么,她回答说,是圆的周长和直径的比值。好友更诧异了,你是在开玩笑吧,为什么人口统计和圆的周长比直径有关。

被这个故事触动到了某些回忆。只有很了解我的人知道我在说什么。

3B1B told a story. Two good friends in senior high school reunited in a coffee shop after many years. They were discussing their jobs. One of them became a statistician, and she showed her new work, population statistics, to her friend. Gauss distribution lay down in the first page. Her friend is very shocked that the height or the weight of the population follows this formula. She asked the statistician, “what is the $\pi$ in the formula?” “It is the ratio of a circle’s circumstance and its diameter” The latter one answered. The friend is even more astonished, “Are you kidding me? Why does population statistics have anything to do with the ratio of a circle’s circumstance and its diameter?”

This story recalls a memory deep down in my heart.

我不支持武力统一,只支持和平统一,原因如下:

  • 战争导致台湾平民伤亡
  • 战争导致全球经济下降
  • 战争只是为了大资产阶级的利益
  • 打下台湾后,怀柔和高压政策均不好

具体地说

  • 站在社会主义者的角度,我认为要从全人类的利益出发考虑。中国攻击台湾对于中国、台湾、美国、日本都不是好事。如果韩国、朝鲜决定参战,对他们也不是好事。
  • 战争是最坏的,因为战争牺牲的是两国平民的利益,造福的是两国的资产阶级和权贵。
  • 思考一下,你在大陆,你和北京人、上海人、深圳人是平等的吗?思考一下,中国收复台湾之后,你和台湾人是平等的吗?

除非台湾主动攻击大陆,我不支持武力统一。

Read more »

周末心血来潮读了一下新版的初中历史教材(2018教育部审定),想看看和我学的(2004教育部审定)有何不同。

我只看了世界历史部分。总体来说区别不大,只是细节上有些差别。新版对亚当斯密的“看不见的手”有段介绍而旧版没有,对英美法的资产阶级革命讲得更清楚,对罗斯福新政的介绍比旧版更详细(看的时候我在想后人会如何评价中国的宏观调控呢?),对共产党宣言的介绍比旧版详细。两部书也都介绍了二战后资本主义和社会主义的新变化,这部分内容差别不大。

内容之外,新版的设计更美观,UI真是好看了不少。除此之外,去除了一些很幼稚的内容(导语、两个小孩辩论、课后活动),显得更成熟。

我觉得旧版和新版内容上都是相当不错的。把历史上发生的事情、出现过的思潮都摆在学生面前,但没有强加任何观点给学生。很明显不同人对这些事产生不同的看法,有人会喜欢资本主义,有人会喜欢社会主义。这两部的框架客观且凝练,我将来给我的孩子讲,也只能增加一些细节以及和实际生活的联系了。

最后,我觉得上世界八九十年代之后的学术界大有第一次工业革命时的“风采”。因为没有工会来保障硕士生和博士生的权利。当年是不知痛苦和不知疲劳的钢铁机器,现在是不知痛苦和不知疲劳的电子机器。同样,有些人会觉得学术界的这种制度运转得还不错,有些人会很讨厌。我是后者。我以前写过:”在这个时代,如果必须剥削手下的学生才能当上科学家,那我可以不当这科学家。我的天赋,还有其它方式可以回报这个世界”。

Read more »
0%