人工神经网络究竟是什么鬼?

难解释的问题,就举个简单的例子说明。PS:稣才入门,也不懂不简单的例子……

题目

有一个未知的函数 f(x1, x2),其中 x1、x2 取值和结果符合下表:

x1 x2 f(x1, x2)
0 0 0
0 1 1
1 0 1
1 1 0

求 f(x1, x2) 的表达式。

求解

人脑抢答

知道异或运算的人可以马上抢答:f(x1, x2) = x1 ^ x2,其中 ^ 是 C 语言里表示 XOR 的运算符。

很明显,这答案是准确无误的,人脑的速度还可以……

放开那个函数,让 AI 来!

人工神经网络(Artificial Neural Network,简称 ANN)解决问题的思路相对而言不太精确,大概就是——通过几个函数算出一个近似值,接近 0 就说是 0,接近 1 就说是 1。

首先,引入一个激活函数:

1
sigmoid(x) = 1.0 / (1 + exp(-x))

举个例子:sigmoid(1.777) = 1.0 / (1 + exp(-1.777)) ≈ 0.855326

类似的激活函数还有 tanh,但其实用 ReLU 更好,既简单又接近生物上的神经元。参考:在神经网络中,激活函数sigmoid和tanh除了阈值取值外有什么不同吗?请问人工神经网络中的activation function的作用具体是什么?为什么ReLu要好过于tanh和sigmoid function?。但是 sigmoid 比较古老,很多教材拿它举例,稣也沿用它。

我们要求的函数是这样的:

1
f(x1, x2) = sigmoid(w1 * g(x1, x2) + w2 * h(x1, x2) + w3)

其中:

1
2
g(x1, x2) = sigmoid(wg1 * x1 + wg2 * x2 + wg3)
h(x1, x2) = sigmoid(wh1 * x1 + wh2 * x2 + wh3)

最终要求的是这三对系数:

1
2
3
wg1 wg2 wg3
wh1 wh2 wh3
w1 w2 w3

通俗说法叫求 w,其中序号为 3 的系数,又叫 bias 或者 b。

函数 f、g、h 其实就是一个神经元(neuron),结构如下:

神经元结构图

神经元结构图 DOT 源文件

训练出来的一个解是:

1
2
3
-5.734 -6.029 1.777
-3.261 -3.172 4.460
-6.581 5.826 -2.444

下面我们来验证一下,举例 x1 = x2 = 0 比较容易算:

1
2
3
4
g(0, 0) = sigmoid(1.777)0.855326
h(0, 0) = sigmoid(4.460)0.988570
f(0.855326, 0.988569) = sigmoid(-6.581 * 0.855326 + 5.826 * 0.988570 + -2.444)
= sigmoid(-2.313491586)0.0900120

结论

ANN 就是数学的运用,训练就是在随机的 w 组合通过参考已知解逐渐纠正误差,逼出正解 w 组合。

打个比方,练习投篮的过程:肉眼观测,无数次调高低角度、出手力度、左右偏差,最终找到一套合适的参数,这个叫培养了球感……

机器学习也差不多是这样的过程,只是它比人快很多。

留一法交叉验证

题目

假设有如下一组输入并输出一个实数的数据,则线性回归(Y = bX + c)的留一法交叉验证均方差为?

X Y
0 2
2 2
3 1

A. 10/27
B. 20/27
C. 50/27
D. 49/27

学习

交叉验证(Cross Validation)

也称作循环估计(Rotation Estimation),是一种统计学上将数据样本切割成较小子集的实用方法。

在模式识别(Pattern Recognition)和机器学习(Machine Learning)的相关研究中,经常会将整个数据集合分成两个部分,分别是训练集合和测试集合。在一个 n 个元素的集合,选择 r 个元素做训练集(非空集,r > 0),剩下的 n - r 个做测试集,这可以用“组合”计算有多少种可能。把每种组合都做过一遍就是交叉验证。

组合(Combination)

nCr 表示由 n 个不同元素中,每次取出 r 个不重复之元素的组合,用符号 C n(下标)r(上标)表示。

留一法交叉验证(Leave-one-out Cross Validation)

只留一个元素做测试集,即:r = n - 1。

均方差

标准差(Standard Deviation),别名:标准偏差、实验标准差、均方差,是离均差平方的算术平均数的平方根,用 σ 表示。标准差是方差的算术平方根。标准差能反映一个数据集的离散程度。平均数相同的两组数据,标准差未必相同。

解题

三个元素的集合留一,一共有 3C1 = 3 种组合,画 3 个点:

  • A = (0, 2)
  • B = (2, 2)
  • C = (3, 1)
  1. 连接 A 和 B,得到直线 Y = 2,C 点的偏差 = 2 - 1 = 1
  2. 连接 A 和 C,得到直线 Y = (6 - X) / 3,B 点的偏差 = 4/3 - 2 = -2/3
  3. 连接 B 和 C,得到直线 Y = 4 - X,A 点的偏差 = 4 - 2 = 2

所以方差为:(1^2 + (2/3)^2 + 2^2) / 3 = (9 + 4 + 4 * 9) / 27 = 49/27

题目说的是“均方差”,根据百度百科标准差词条的说法,“均方差”==标准差,要开平方……所以题目中的答案没有一个是对的。出题者想让我们选 D,稣偏要选 F,你懂的 ck……

小本科对非欧几里得几何学脱敏的故事

高中时代

从小喜欢天文和数学,但高中时,有两个事件,促使后来读了挨踢专业。

  1. 穷。所有人都说读天文学很烧钱,穷人家是负担不起的,没学到家就出来又不好就业。

    高一,有电脑课,但觉得电脑没人脑聪明,没什么兴趣。后来意外看到 Bill Gates 的事迹,明白了挨踢行业是很赚钱的,而且这个行业不怎么需要讲人情世故,也是自己可能擅长的领域。

  2. 被非欧几何打击了。和数学课代表交好,经常讨论数学,都喜欢自学超前的知识。其中讨论过的一个最大的未解之谜就是:

    三角形内角和可以大于或小于 180 度。

    当时只学到一些皮毛概念,仅知道“黎曼几何学是大于,罗巴切夫斯基几何学是小于”,但已经大受打击……

大学时代

大部分时间都用于实践编程技术,原来比较擅长的数学和英语都被牺牲,不怎么认真去学。

但有追究过非欧几何学到底怎么来的:公理体系中采用了不同的平行定理。

  • 在平面内,从直线外一点,至少可以做两条直线和这条直线平行;

  • 在平面内,从直线外一点,有且只有一条直线和这条直线平行;

  • 在平面内,从直线外一点,不能做直线和已知直线平行。

当时没有去深入理解,看了一个例子说球体表面的两条直线都会相交,结果就对非欧几何过敏了……脑子里不断产生抵抗,球面不是平的,球面的直线特么是弯的,这让直男怎么接受?

然后就把非欧几何学当成是外星的哲学了,觉得不是个有用的理论,完全忽视了自以为能理解的广义相对论是和黎曼几何学有关的!

突然脱敏

最近补了点数学基础,顺便想把这个问题解决掉。纠正过程如下:

  • 球面上的两点之间,直线最短,嗯,在球体上看,最短的直线是穿过球体内部的,那个才是直的。

    不对,我们讨论的是二维的面,你怎么扯到三维的球体,还内部?

  • 球面上的直线是指什么?用地球来比方,赤道线和纬度线是不是都算?

    赤道线是,但其他的纬度线不是,其它纬度线上的两点之间最短的线,并不在纬度线上,纬度线绕的更远,最短的还是这两点加上球心切面上两点之间那段圆弧(劣弧)。

  • 直线只是定义一样,但在两种不同体系的面上样子是不一样的?

    是的,“两点之间,直线段最短”球面上的直线,在三维世界看确实是弯的,但在二维世界,它是直的……是直的……是直的。在四维空间看我们的世界,也许也是弯的,但反正我们在三维空间看,是直的!虽然我们能找到其实是弯的证据。

脱敏是很重要的能力

这其实不难理解,但长期自我抑制,不去解决它,再好的理解能力也没用武之地。

有些故事,要先相信,才有续集。

你是直的,还是弯的?

原始强力和成熟进程

本文仅为个人体悟。

小时候,手笨,不管打什么游戏都老死,但很惊讶地发现每次刚死再复活时,人物身上都是金光闪闪,有一段时间是打不死的无敌状态。过了这个时间后才是拼技术。长大后,觉得这个设定很贴切,和人类的成长过程很像。

每个小孩初生时,身体里有带着母体的保护伞,对很多大人病是免疫的,这股初生的免疫力甚至比母体本身都强大。

青春期的男女,开始出现互相吸引,但同时有一种自我保护意识,制衡作用之下,保证了大部分人身心的健康成长、不至于犯罪等等。这种自我保护意识也是原始强力,个人都不需要特别耗神去运作它,就可以自然起作用。

即使是成熟的男女,也是有类似的原始强力的,比如女人的 ASD。大部分时候,女人即使喜欢一个男人,在要发生亲密关系的时候,都会防御,防止男人觉得自己很随便、很淫荡。这种机制也是自然反应,并非刻意。男人则体现在失恋后的防御上,大部分男人很容易从失恋的痛苦中走出来,因为有一股原始强力,运作起来就可以轻易毁灭不太深入的感情。

但是,好景不长,原始强力都有消失的一天,就说新生儿的保护伞吧,稍微大点,就主要靠自己的修炼了,拼基因和后天营养了。当身心都成熟之后,有些原始强力也消失了,比如女人的 ASD 一次比一次弱。而男人对失恋的抵抗力越来越弱。这时候就要拼情商了,成熟的男人会刻意或被迫减少爱上异性的可能性。

曾经我们有神力相助,人生一帆风顺,把神力拿开的那一天,我们看到很多事情并不是那么自然而然,曾经欠的那些努力,现在要还回去,如果接受了这个设定,就是走向良好的成熟。不接受就是继续活在自己的世界里,也许靠着忽视一些东西,还能继续过着原来那样好像有原始强力帮助自己的生活。

成熟就是失去后的补救。这可好可坏,补救得好,那就是好了……女人的 ASD 一次比一次弱,也许是好事,因为下一次,她更可能爱上的是更成熟的男人,而更成熟的男人是懂这个的,合拍就行了,不用太多掩饰。请想像一下,国内的爱情片画风和欧美的爱情片画风,嗯,好像老外都很快啪啪啪……赫赫。男人也是,越成熟,越不容易陷入爱情,所以失恋了就越痛,这促使男人更谨慎选择,更明白责任与后果。

这么说好像很伟大,为社会稳定而成熟……失去,不一定是坏事。

泥巴娃语录 @ 2016-08-02 08:55:04:年轻人身上总自带一种防御体系,保证自己能在社会中安然成长,聪明人更多会顺应它,违逆它的人往往成为某种程度的失败者。

恋爱理论之超我恋爱

本理论并非科学成果,仅个人体悟。

《恋爱理论之分类》提到了“本我恋爱”和“超我恋爱”,现在详解一下后者。

超我的爱情比较像所谓的真爱,温和绵长,并非直接来自生殖需求,而是一种社会性的折偶观的体现,偏理性。

现象

  1. 不会时刻想念,但想到对方,会觉得世界挺美好。更多是喜欢对方的内在美,觉得对方让自己很舒服。

  2. 与对方交流有很多同感,相见恨晚。

  3. 对着自己的折偶标准数一下,发现对方满足了好几大项。或者原来没有标准,就照着对方定下。

  4. 有些事情会介意,如果是本我恋爱,往往会痛苦,但超我恋爱更多会妥协。拿对方没辙时是自己痛苦,还是心疼对方,基本上可以区分这两类。

  5. 一般双方有很多相似,不管是习惯还是思维方式等,有互补的特点,往往是具体技能。

  6. 尊重对方,即使对方不能接受发展爱情,也可以做不过分暧昧的好朋友。

  7. 淡定地愿意为对方修正自己。如果是本我恋爱,当发现一些冲突的不同,往往先觉得不舒服。

一些规律

  1. 通过相亲认识,愿意继续发展的,一般是超我爱情,即符合理性的择偶观,很少数是一见钟情式的本我恋爱。

  2. 超我恋爱更长久,但在特殊时期,超我恋爱很容易被本我恋爱破坏。

  3. 对一个人同时发生本我爱情和超我爱情是很可能的,也就是刚好喜欢一个不错的人,不过本我和超我打起架的话,挺不好受的,简单地说,想睡一个人又舍不得睡……

  4. 对男人来说,最舒服、最靠谱的发展方式是先超我恋爱,再本我恋爱,这样成功率比较高,而且成功后更幸福。但大部分男人总是先发生本我恋爱,如果没有克制好,容易搞砸。另外有很多人,无法发展出本我爱情。

  5. 据稣所知,女人通常先发生超我恋爱,最后被追到感动坏了,或者发生性关系了才会发生本我恋爱,这就是为什么女人大多被动。当然有些例外情况,先本我恋爱了,于是她有可能去倒追男人。

建议

择偶观要正,择偶标准要客观一点,并且不要随便降低,当发生超我爱情后,多见面,多交互,慢慢就可能发生本我爱情了。如果无法培养出本我爱情,那可以考虑分手再找,也可以冒险接受了。(风险参考规律第二条)

优秀的女人只要不丑,得到真爱的机会是很大的,只要……不自闭!

如果不想爱上一个人,一定要事前远离。超我容易控制,本我疯起来很麻烦,两者合一,则此爱绵绵无绝期,事后补救是很难的……

恋爱理论之本我恋爱

本理论并非科学成果,仅个人体悟。

前一篇《恋爱理论之分类》提到了“本我恋爱”,现在详解一下。

现象

  1. 容易分心,下意识就被对方吸引,很难控制。

  2. 渴望交流,如果得不到满足或者交流失败,就会产生自卑。

  3. 和对方对眼时,周围的人事物都会消失掉。

  4. 正常的相遇,都会觉得是天意的安排,其实是自己下意识安排的相遇。

  5. 体重下降,有一种激素在体内运行,导致每口呼吸都在燃烧比平时更多的热量,还可能吃不下饭。

  6. 燃烧更多热量,就要吸入更多氧气,这时一般人长期适应的呼吸量是不够的,所以也容易产生窒息感,让人心跳加速,这就是心动的感觉。

  7. 不由自主地在路人身上找对方的相似点,或者说随便看到一个有某点相似的路人,就想去分辨是不是对方。

原因

喜欢一个人怎么会这么累?这不是找抽吗?其实这是一个充分暴露缺点的过程,如果对方也是一样的现象,说明是互相喜欢,互相更容易接受缺点,如果说实在无法接受,结束了也是好事。简单地说,这样的犯傻,是给超我机会来翻盘,如果不翻,就继续发展超我恋爱。

还有一种是对方并不喜欢你,犯傻了,对方可能会更不喜欢,所以还是早点解脱了。

为什么会自卑?本我恋爱是人类长期进化积累出来的规则。人脑有很多功能,平时自己无法启动,要靠一些神秘的生化反应来启动。然而有些人并不能理解这些,可能有意或无意想抵制,而本性哪有那么容易对付的,总是要让自己明白,喜欢某个人的背后是有很多原因的,是有理性道理的,所以如果你去抵制,你就会痛苦,就会自卑。

有这么一个流氓理论:现在的人是这样的,假设你不是这样的,那么你早就灭绝了,所以人就是这样的。举个例子,痛觉,如果流血不会痛,那你可能因为不去止血、止痛,血流不止而死。

本我恋爱会自卑、减肥也可以这么解释:男人通过这些现象,发现自己的漏洞,刺激上进,男人是战斗的种族,如果不能克服这些,在求爱的竞争中就会失败,基因可能得不到遗传。女人生育是需要积累脂肪的,如果因为减肥,把应该存储的量都消耗完了,身体就会吃不消,这会刺激她们更快决定要不要接受这个爱,决定完了,心情愉快,又会开始增肥,准备生育。

一些规律

  1. 聪明的人更容易发生本我恋爱,但也容易被压制。鲸神链还没分清楚这个聪明是哪种聪明。这类人自控比较好,本我、自我、超我更好地平衡,很可能基因也比较好,但他们往往太压抑了,如果没有本我恋爱机制的刺激,他们很可能各种看穿看透而不去生殖,甚至变成同性恋。这些人现在还大量活着,就是因为某种刺激不断诱惑,让他们的基因继续延续。

  2. 很多人经历了多次本我恋爱,觉得太痛,于是选择一个超我恋爱对象结婚。如果真的对本我恋爱免疫了,这是不错的选择,就怕婚后还发生本我恋爱……

  3. 人生基本负面情绪远远大于正面情绪,但各种机制互相制约,也不可能长期处于痛苦之中,比如失恋了,自我就会启动心理防御机制,这有五类十六种,每个人可能选择不同,但都有迹可循,总会走出来的。

  4. 如果失恋了,很久都没走出来,那只有一个原因,就是自己不想走出来,人有种心理叫阻抗(resistance),就是别人劝反而不听,要继续沉沦,只有当自己发现这么做根本是自作孽,才会明白应该自己走出来。持续改变的动力,必须源自自己。

恋爱理论之分类

本理论并非科学成果,仅个人体悟。

鲸神链把恋爱分成感性为主和理性为主两类。用更专业点的词语来描述是本我恋爱(感性)和超我恋爱(理性),当然这两者如果一起发生,可以认为是真爱。正常情况下自我是孤独的,不太想谈恋爱,但如果是真爱,那自我也会一起参与。

本我的爱起源于欲望,它是感性的,所以不一定会喜欢美女/帅哥,所谓情人眼里出西施,说的就是本我喜欢一个人,就会觉得 ta 是最好看的,如果你身边大部分人认为 ta 不好看,只有你觉得 ta 很好看,那基本就是这类了。这种喜欢一开始并不会明显,而是在接触中慢慢明朗起来。这背后有一定科学道理,比如体香的化学反应,这个过程很高级,人类可以通过体香的反应,判断对方在免疫系统上是不是和自己互补,如果是互补的,生的后代一般会有进步。当这种机制全面启动,就是人们所谓的激情,但不是一夜情,是 6-18 个月这样的长度的。

本我恋爱时,往往会自卑,比如想和对方交流,却胡思乱想不知道怎么办,然后就很难受,直到和对方聊上了,才释然,但接着又开始为下一次交流心事重重。

超我的爱起源于道德、社会准则、审美理想,它很理性,所以对方一定是有很多优点满足自己的要求,正常来说年轻人会理性地喜欢一个人,往往对方是貌美的,年老点的可能不怎么看重外貌,会选择一些内在美的特征。举个例子,女人喜欢有钱的男人,这是超我的爱,当然不排除后续可能培养出本我的爱。

超我恋爱时,往往比较乐观、自信,因为超我是理性的,会安排合理的过程,过程中又会学习并调整和对方的交互、关系。

有些男人追女生很厉害,这种基本上都是超我恋爱,代价比较小,如果是自我恋爱,要直面不完美的自己,要和自卑对抗,代价是很大的,尤其是失恋后要走出来一定比超我恋爱大很多。

哪种更高级?鲸神链认为本我恋爱更高级,因为它更不可控,背后有很复杂的生化反应,这是人类长期进化而来的特征,人性不可违逆。

工作汇报

《写作的意义》中建议大家要多写作,是时候重点讲讲“工作汇报”了。

工作汇报的中心思想:

  1. 成绩、经验教训;
  2. 分析自身缺点或遇到的困境,寻求支援;
  3. 预告工作安排。

常言道“会哭的娃有奶喝”,有些人对此是鄙夷的态度,自然也不屑汇报什么成绩了,觉得那是邀功、谄媚……不得不说,这些人实在被坑害得不浅。还有些人是觉得太忙了,没时间写,这种也是够了,自己不总结一下成绩,到加薪时被忽略,才唧唧歪歪,会不会太迟了?

假设您是管理者,您有一个手下不主动汇报任何工作,于是您就必须时不时去盯着他到底在干什么,您还要替他记录他工作中留下的经验,这样就浪费了自己的时间。管理者需要有全局观,所以都是会脱离具体的细节的,在细节上的技能都会慢慢地不如下属,尤其是下属人数越来越多后。如果下属没有汇报,主管要么自己去处理细节,要么就断层了,这都带来了管理成本的增加。

我们站在管理者角度,描述一个简单的心理活动:我的下属不汇报工作,时间长了,我失去了一些技术性信息来源,如果我一直去找他们了解,我就被拉到他们的位置上了,不像个管理者,毕竟管理者的定义是:通过别人去完成工作的人。如果我专心只做管理,不去了解他们的技术性成果,则我在技术上会慢慢退步,失去技术敏感度,也不利管理工作。所以我明白了,那些不汇报工作的下属是在害我,他们很可能并不想在这里好好待着,所以我应该和他们沟通一下,看看是不是还有救,没救了就给他们比较低的绩效,或者淘汰掉;还有救,我就要多盯着他,引导一下。

反过来,我们当下属的就知道怎么做了……

性爱思维和虚拟现实

性爱思维:一种积极乐观,提前快乐的思维方式,比如两二逼突然聊起中了彩票要干嘛干嘛,都没中奖就高兴得有来有去的。之所以叫它“性爱思维”是这和“性”的过程有相似之处(其实是标题党)————不管男女,都不是最后一刻才快乐,而是从准备约会开始就心情愉悦,blah,blah……

虚拟现实:稣想说的比目前这种戴个乐射装逼的境界高很多,大家可以参考《宇宙威龙》的回忆旅行、《异次元骇客》的 1937 年世界、《黑客帝国》的连接罐装人类的网络。

当虚拟发展到高度真实时,现实与虚拟其实就不重要了,把脑子机械化完全是有可能的,典型的推理过程:做出一个脑细胞的电子替代品,一个个代替肉体脑细胞,最后就是把一个人脑给电子化了。

远的不扯了!很多人都有做梦时很真实的经验,完全有满足肉体需求的能力……

好了,扯到虚拟现实就是为了装逼,稣想说的是大家应该运用性爱思维让自己更快乐起来,摆脱一些没必要的悲观。

无处不在的筛选

稣从小学一年级到四年级,都是考班级第一名。到了五年级就严重偏理科,而且产生了老考第一对别人是不是太残酷了的狭隘想法,所以干脆不再考第一,而且也失去了争取第一的心态。

到了初中发现,耶,其他人还是有很聪明的,毕竟是整个岛的人,小学比较的不过是几十个。然后又考过一次实际上的第一,但因为被算错分数,所以好像是名义上的第 X 名(忘了)。虽然有几位知情的老师提稣鸣不平,但稣根本不在乎这个。

又到了高中,范围是一个区,甚至不止,稣入学 300 多名,最好的成绩是似乎是 23 名……

到了大学人就更多了,完全不记得什么名次,只记得某门课考过第一,但总分估计很惨,也没去关注。

工作了大约 7 年,还一直没有意识到社会的筛选机制是无处不在的。之前走过的关卡,并非刻意去追求,只是智商不低,随意发挥点就熬过来……

之前一直只使智商,不屑用情商,直到有了孩纸,还打算生二胎开始,稣意识到了各种残酷的社会竞争。人总要往上爬的,光靠智商,不是不行,而是太慢,竞争的残酷就是在时间面前,人类是很脆弱的。

然后,开启了某个潜能,再回看,每次入学,毕业,入职,跳槽,都是社会的筛选。以前相信“英雄不问出处”,后来明白那是忽悠的,祖辈父辈的优势,就是后辈的优势,筛选从个体出生前就开始了……在我们干的每个活里,都会有一个监督机制在筛选我们。

很庆幸自己除了童年时,家里很穷之外,在教育方面,是勉强跟得上时代的。尤其是在高中,不屑什么高考,在读书对付高考这件事情上,没有花费什么心思,压根就没去想考个大学有什么卵用,只是大家都在考,算了,关键时刻读读书吧。

在厦大读书的时候,也不时感觉,这学校有啥好的……然而,现在稣想说,好险啊!好歹读了个 985 的学校。

回首过去,是为了看清未来。