跟 UMU 一起玩 OpenWRT(入门篇15):ip-tiny 和 ip-full 的区别

起源

今天看到有网文《iptables+tproxy实现ss-redir的UDP转发的方法》说:“OpenWrt 做 UDP 转发需要的依赖是:iptables-mod-tproxy, kmod-ipt-tproxy 和 ip-full”。使用 opkg install ip 安装的默认是 ip-tiny,一般情况下都是够用的,不禁想弄明白两者有何区别。

探索

ip 命令对比测试:

  • ip-tiny
1
2
3
OBJECT := { link | address | route | rule | neigh | tunnel | maddress |
mroute | mrule | monitor | netns | macsec | token | ila |
vrf | sr }
  • ip-full
1
2
3
4
OBJECT := { link | address | addrlabel | route | rule | neigh | ntable |
tunnel | tuntap | maddress | mroute | mrule | monitor | xfrm |
netns | l2tp | fou | macsec | tcp_metrics | token | netconf | ila |
vrf | sr }

即 ip-full 多了这些对象: addrlabel | ntable | tuntap | xfrm | l2tp | fou | tcp_metrics | netconf。举个例子,只安装 ip-tiny 时,运行 ip xfrm 报错如下:

Object “xfrm” is unknown, try “ip help”.

相关知识:

xfrm is an IP framework for transforming packets (such as encrypting
their payloads). This framework is used to implement the IPsec
protocol suite (with the state object operating on the Security
Association Database, and the policy object operating on the Security
Policy Database). It is also used for the IP Payload Compression
Protocol and features of Mobile IPv6.

结论

实际上,转发普通 UDP 包,并不需要 ip-full,ip-tiny 即可。

强制 body-parser 解析无 Content-Type 请求

需求

原版 EOS 历史 API 插件将数据都保存在内存,随着历史数据越来越多,内存消耗高达 T 级以上,使得这个插件失去实用性。于是出现很多替代产品,比如把数据同步到 MongoDB,然后用 Nodejs 对接 MongoDB 来实现 API 服务。

2019 年 3 月份,MEET.ONE 实现了一个基于 MongoDB 的 EOS 历史 API 服务。劣者将去掉 MongoDB 交互部分的框架开源于 UMU618/eos-history-api-service

测试

这个 API 服务的开发者是公司另一名 Web 全栈开发,他测试通过之后,劣者用 cleos 一试,立马 bug!调试后端代码,发现 req.body 不是一个 JSON 对象。

劣者立刻用 tcpdump 抓包,发现 cleos 发出去的包并无异常,body 就是一段 JSON 数据。

交流后,发现测试工具的差异:劣者是 C++ 开发,自然而然使用 cleos 测试,而 Web 全栈开发对 cleos 比较陌生,他们会选择 postman 或者自己写测试性客户端。比如:

1
2
3
4
5
6
7
const request = require('request-json')
const client = request.createClient('http://127.0.0.1:8888/')

const json = {"id": "d5245026c757532ea3dd5b3a02a07620eb7238113d0a49cae5ebb93921a34135"};
client.post('/v1/history/get_transaction', json, function(err, res, body) {
console.log(res.statusCode, body)
})

后来劣者写了一个简易的 Web 服务器,显示请求头。

1
2
3
4
5
6
7
8
9
10
11
12
13
const http = require('http')

http.createServer(function (req, res) {
let buffer = req.method + ' ' + req.url + ' ' + req.httpVersion
console.log(buffer)
res.write(buffer + '\r\n')
for (let i = 0; i < req.rawHeaders.length; i += 2) {
buffer = req.rawHeaders[i] + ': ' + req.rawHeaders[i + 1]
console.log(buffer)
res.write(buffer + '\r\n')
}
res.end()
}).listen(8888)

经对比,cleos 发的请求不带 Content-Type。cleos 是 EOSIO 的官方工具,使用者众多,若不支持它是不合理的,后端也不能要求客户端都带上 Content-Type。

调试

检查后端代码,其对 body 的解析是用 body-parser 完成的:

1
app.use(bodyParser.json())

使用以下命令启动服务:

1
DEBUG=body-parser:* node app.js

发现有这样 2 行关键的调试信息:

1
2
body-parser:json content-type undefined +0ms
body-parser:json skip parsing +1ms

原来 body-parser 会检查 Content-Type,不符合它的预期,就不解析,于是 body 就不是 JSON 对象。

开发

暴力的解决方案

参考《Express 解析 json 格式 post 数据》后,我们这样解决:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
// 显式调用 JSON.parse 强行解析
app.use((req, res, next) => {
req.rawBody = ''
req.on('data', (chunk) => {
req.rawBody += chunk
})
req.on('end', () => {
try {
req.body = JSON.parse(req.rawBody)
} catch (err) {
req.body = null
}
next()
})
})

但劣者认为以上方案比较不优雅,JavaScript 作为一门高级语言,我们希望更多专注于业务逻辑,尽量复用现有代码,少自己写工具性代码。下面探讨使用 body-parser 的解法。

优雅的解决方案

劣者希望能告诉 body-parser 遇到不传 Content-Type 依然当它是 JSON 去解析。于是这就得去看它的代码!我们从上面关键的调试信息入手,可以很快发现:

1
2
3
4
5
6
// determine if request should be parsed
if (!shouldParse(req)) {
debug('skip parsing')
next()
return
}

而 shouldParse 是可以由传入的选项影响的:

1
2
3
4
5
6
7
8
9
10
11
12
function json (options) {
var opts = options || {}
// 省略部分无关代码
var type = opts.type || 'application/json'
// 省略部分无关代码

// create the appropriate type checking function
var shouldParse = typeof type !== 'function'
? typeChecker(type)
: type
// 省略部分无关代码
}

于是最终的解决方案是:如果不传 Content-Type,当做 application/json;但如果有传,那得传对,否则也是不理。效果上,比之前无脑地当成 application/json,稍微好一些。实现上,则更优雅。代码如下:

1
2
3
4
5
6
7
8
9
10
11
12
// Force body-parser to parse data as JSON
const bodyParser = require('body-parser')
const typeis = require('type-is')

app.use(bodyParser.json({ type: function(req) {
if (undefined === req.headers['content-type']) {
// cleos POST data without content-type
return true
} else {
return Boolean(typeis(req, 'application/json'))
}
}}))

(完)

八哥之神前传【3】

AVILab

孙朝穆:“周老师的案例预示了我们当前技术的局限性。”

陈立姻:“是呀。人脑的寿命也是有限的,自然寿命才 185 年,现在的科技也只能延长到 800 年左右。”

孙朝穆:“必须研发新方案取代目前无脑人体装旧脑的方案!”

陈立姻:“复制猪脑的实验已经成功过几个案例,但无法验证复制出来的是不是同一只猪!人脑复制目前还没成功案例,很快死刑就要完全废止,到时候更难找到测试的志愿者。”

猪坚强。人娇嫩。

孙朝穆:“在下一直怀疑,复制过程中旧脑死亡,是无聊死或绝望死的。”

陈立姻:“有可能,之前你怀疑是吓死的,我们使用镇定剂后,持续时间变长了。”

圣小开加入对话:“两位大神在聊猪肉涨价吗?”

陈立姻:“死开,你耳朵越来越不好了……要不要给你换一个新耳朵?”

圣小开:“哟!这耳朵确实已经很乐射了,不过倒是清净,不换也罢。”

孙朝穆:“开哥!我们正在聊复制人脑,但最近都没有志愿者做实验,伤脑筋呢!”

圣小开:“哦……原来又在聊玩死,咳,人的科学实验!你们听过降落伞故障率如何降低的故事吗?”

孙朝穆:“哥又开玩笑了,我可没法给自己复制。”

圣小开:“孙总愿意献身的话,还不容易,让姻姻姐帮你。”

陈立姻:“少开玩笑,这个问题很严肃,目前形势也不容乐观。”

圣小开:“真不懂幽默,那些人都是被你们死板无聊的复制体验给憋死的,复制时让他们进识界玩玩 S6x 游戏,劣者就不信他们会想死。”

孙朝穆:“Diang!开哥果然英明,激起他们的性趣和求生欲,这是个不错的方向。”

陈立姻:“嗯?你们又在酝酿污的想法!”

圣小开:“耶!失去繁殖生命的冲动,和死有啥两样,激情,激情,你们懂吗?怎么感觉量子计算机创造的识界比你们人类还懂生命的意义?”

孙朝穆:“立姻姐,开哥说的可能就是解题关键。我们得把重心放在完善人脑全维度接入识界,然后找个志愿者试验新的复制方式。”

陈立姻:“哦哦,那我研究一下早期休眠停止发育的脑,如何在重新激活发育的过程中改写。”

孙朝穆:“对了,开哥,我们刚去看过凤哥,他想见你。”

圣小开:“嗯,是时候给你们找个志愿者了!”

孙朝穆:“啊?开哥,你想干嘛?”

圣小开:“凤哥不是很喜欢识界吗?劣者劝他移民识界算了,也省得蹲监狱。”

孙朝穆:“哦,有道理!去吧。”

监狱

齐凤卿:开,快进来坐。

圣小开:师兄,您怎么变帅了!那不是死不了了?

齐凤卿:什么死不了?人生 70 才开始。我在这边经常健身,也不熬夜了,身体比以前好很多。

圣小开:哦。小弟才 60。是说观众比较讨厌丑角,所以一般导演会让反派画一些妖异傻帽的妆,心理暗示观众诅咒他们早点挂掉。

齐凤卿:又开玩笑了。你觉得我是反派?

圣小开:当然不是。本剧最大的反派还没登场呢。

齐凤卿:嗯?难道你也预知到自己的劫数?

圣小开:是的,有些不明真相的人会搞破坏,咱们迟早会被害死。

齐凤卿:想必你没阻止我在识界大肆破坏,也是认清了这个世界的本质。

圣小开:是的,我们身处的世界和那个虚拟的识界其实没有本质区别。站在宇宙的角度看,毁灭和保护生灵,何者才是宇宙的意志?

齐凤卿:宇宙给人类自由主义的幻觉,人类会认为保护生灵才是真理。

圣小开:劣者并不认为哪者更正确,历史上那么多次战争,哪一次高维神明会出来阻止?杀累了,人类自己会回归和平。静静地观测才是劣者的设定。

齐凤卿:原来你认为自己是神……

圣小开:还不是,劣者只是用自然的角度思考问题而已。并且这场战争也不全是师兄造成的,识界本身就已经到了大战的临界点。不然委员会也不会只派两人走过场,还是一个想救,一个不想救的组合。而且大家判师兄入狱,一样是走过场,只是回收你的特权,关六个月后,不再限制你的人身自由。

齐凤卿:可惜刘佾不明白。

圣小开:师姐确实慈悲为怀……这是最厉害的杀器。

齐凤卿:不谈她了,我最近想明白很多事情。

圣小开:是不是委员会里有人想除掉咱们俩?

齐凤卿:虽然也有同感,但我想说的比这个更严重。是关于养老院的秘密。

投资必懂的市场理论

郁金香泡沫 (Tulip Bubble)

郁金香泡沫,又称郁金香效应,1636 年荷兰的郁金香投机是有据可查的人类历史上最早的泡沫经济案例。

在 1634 年以前,郁金香和其他花卉一样是由花农种植并直接经销的,价格波动的幅度并不大。在 1634 年底,荷兰的郁金香商人们组成了一种类似产业行会的组织(College),基本上控制了郁金香的交易市场。这个行会强行规定:任何郁金香买卖都必须要向行会缴纳费用。

1636 年底,荷兰郁金香市场上不仅买卖已经收获的郁金香球茎,而且还提前买卖在 1637 年将要收获的球茎。由于郁金香的需求上升,推动其价格上升,人们普遍看好郁金香的交易前景,纷纷投资购入郁金香合同。这是期货交易的雏形。

郁金香的交易被相对集中起来之后,买卖双方的信息得以迅速流通,交易成本被大大降低。在这个期货市场上没有很明确的规则,对买卖双方都没有什么具体约束。郁金香合同很容易被买进再卖出,在很短的时间内几经易手。这就使得商人们有可能在期货市场上翻云覆雨,买空卖空。在多次转手过程中,郁金香价格也被节节拔高。

在行会的控制和操纵之下,郁金香的价格被迅速抬了起来。买卖郁金香使得一些人获得了暴利。郁金香价格暴涨吸引了许多人从欧洲各地赶到荷兰,他们带来了大量资金。外国资本大量流入荷兰,给郁金香交易火上浇油。

1637 年新年前后,郁金香的期货合同在荷兰小酒店中被炒得热火朝天。到了 1637 年 2 月,倒买倒卖的人逐渐意识到郁金香交货的时间就快要到了。一旦把郁金香的球茎种到地里,也就很难再转手买卖。人们开始怀疑,花这么大的价钱买来的郁金香球茎就是开出花来到底能值多少钱?前不久还奇货可居的郁金香合同一下子就变成了烫手的山芋。持有郁金香合同的人宁可少要点价钱也要抛给别人。在人们信心动摇之后,郁金香价格立刻就开始下降。价格下降导致人们进一步丧失对郁金香市场的信心。持有郁金香合同的人迫不及待地要脱手,可是,在这个关头很难找到“傻瓜”。恶性循环的结果导致郁金香市场全线崩溃。

郁金香泡沫的高峰期仅仅持续了一个多月。由于许多郁金香合同在短时间内已经多次转手买卖且尚未交割完毕,最后一个持有郁金香合同的人开始向前面一个卖主追讨货款。这个人又向前面的人索债。荷兰的郁金香市场从昔日的景气场面顿时间变成了凄风苦雨和逼债逃债的地狱。

现在 00 后炒鞋就和以前荷兰人炒郁金香一样,鞋穿不炒。

幸存者偏差 (Survivorship Bias)

幸存者偏差是指当取得资讯的渠道仅来自于幸存者时(因为死人不会说话),此资讯可能会存在与实际情况不同的偏差。

此规律也适用于金融和商业领域。存活下来的企业往往被视为“传奇”,它们的做法被争相效仿。而其实有些也许只是因为偶然原因幸存下来而已。

在鞋圈、币圈,最明显的例子就是“我炒鞋赚大钱”或者“我一个朋友炒币亏得倾家荡产”等等。不管你的朋友和你关系如何好,如何值得信任和尊重,在客观规律面前他们都是等同的。市场不会因为你的喜好而照顾或者偏袒你的亲朋。

最近火热的炒鞋,收益翻倍的同样是少数幸存者。其实炒鞋历史悠久,最近才进入大众视野,为的就是大面积收割。

双盲实验和详细全面客观的数据纪录都是应对“幸存者偏差”的良方。所谓“兼听则明”也是这个道理,抛掉对个案的迷信,全面系统的了解才能克服这个偏差。

帕累托二八法则 (The Pareto Principle or The 80/20 Rule)

80/20 法则(The 80/20 Rule)又称为帕累托法则(Pareto Principle)、二八定律、帕累托定律、最省力法则、不平衡原则、犹太法则、马特莱法则。生活中大多数事情不是均匀分布的,大多数结果来自少数投入:

  • 某个软件的 80% 代码只占总分配时间的 20%(相反,最难的 20% 代码部分占用 80% 的时间)
  • 20% 的努力产生 80% 的结果
  • 20% 的工作创造 80% 的收入
  • 20% 的错误导致 80% 的崩溃
  • 20% 的功能导致 80% 的使用量

此法则是由美国罗马尼亚工程师约瑟夫·朱兰(Joseph M. Juran)博士根据维尔弗雷多·帕累托当年对意大利 20% 的人口拥有 80% 的财产的观察而推论出来的。约瑟夫·朱兰是举世公认的现代质量控制之父,他在 20 世纪 40 年代,开始将帕累托法则应用于质量问题。

炒股、炒币、炒鞋,赚大钱的都是少数人。

格雷欣法则 (Gresham’s Law)

400 多年前,英国经济学家格雷欣发现了一有趣现象,两种实际价值不同而名义价值相同的货币同时流通时,实际价值较高的货币,即良币,必然退出流通——它们被收藏、熔化或被输出国外;实际价值较低的货币,即劣币,则充斥市场。人们称之为格雷欣法则,亦称之为劣币驱逐良币规律

格雷欣法则在现代企业薪酬方面改革的贡献尤为突出。而在币圈,我们看的是格雷欣法则的逆反现象,因为数字货币是由信仰定义价值,没有国家或法律力量维系,所以劣币不仅无法驱逐良币,最终还会反被良币消灭。

破窗效应 (Break Pane Law; Broken windows theory)

环境中的不良现象如果被放任存在,会诱使人们仿效,甚至变本加厉。

生活中的例子:路边角落有些许纸屑,如果无人清理,不久后就会有更多垃圾,最终沦为垃圾堆。

破窗效应常出现于股票市场、社区治理,币圈自然也常见。

名人效应

粉丝容易因为信任名人而成为韭菜。但名人效应有时候会逐渐减弱,甚至在某些方面他们会完全没有效应。

破解名人效应的方法是独立思考。《大般涅槃经》有云:依法不依人,依义不依语,依智不依识。不因为他是名人、大师就信以为真。不因为符合逻辑或自己的观念,就信以为真。

这里讲一个寓言故事:

蝎子要过河,对身边不远处的青蛙说:“我想过河,但不会游泳,你可以背我过去吗?”

青蛙回答:“不行。你有个毒钩子,如果我背你到河心,你蜇我,那我岂不是死翘翘!”

听完青蛙的话,蝎子哈哈大笑:“不会的!我要是蜇死你,自己也会落水淹死。”

青蛙一想也是,就背起蝎子。当他们游到河心时,青蛙突然感应背上一阵撕心裂肺的痛,接着便四肢发麻。青蛙用最后的力气问道:“你想自杀?”

蝎子答道:“谁想自杀呀?我蜇你完全是出于下意识。”说完,这两个家伙双双沉入河底。

逻辑只在理性时有效,而下意识往往能战胜理性。在币圈,保持冷静和有意识主动控制情绪是必须的。

“Those whom God wishes to destroy, he first makes mad.” ——Euripides

损失厌恶 (Loss aversion)

损失厌恶是指人们面对同样数量的收益和损失时,认为损失更加令他们难以忍受。同量的损失带来的负效用为同量收益的正效用的 2.5 倍。

一美元拍卖陷阱

一美元拍卖陷阱是著名博弈论专家,耶鲁大学教授马丁·舒比克(M.Shubik)设计的经典案例。

在某大型场合,拍卖人拿出 1 张 1 美元钞票,请大家给这张钞票开价,每次叫价的增幅以 5 美分为单位,出价最高者得到这张 1 美元,但出价最高和次高者都要向拍卖人支付出价数目的费用。

最终出价最高和次高者因为厌恶损失(Loss Aversion),导致越陷越深的沼泽陷阱。1 美元拍卖在哈佛大学、耶鲁大学等高校进行过多次实验,最终的报价在 20 到 66 美元之间。

在币圈,此理论是交易所常用的盈利手段。举个例子:上币。交易所可以规定,交 1000 万人民币直接上主站,如果没这么多钱,还有机会,每个月交易所从测试站多个竞争币中选择一个符合要求的上主站。这可能导致一美元拍卖陷阱,最终多个竞争币拼命竞争,最终交易所赚到不止 1000 万人民币。

囚徒困境 (Prisoner’s dilemma)

囚徒困境是博弈论的非零和博弈中具代表性的例子,反映个人最佳选择并非团体最佳选择。囚徒困境最早由美国普林斯顿大学数学家阿尔伯特·塔克(Albert tucker)1950年提出。他当时编了一个故事向斯坦福大学的一群心理学家们解释什么是博弈论,这个故事后来成为博弈论中最著名的案例。故事内容是:两个嫌疑犯(A和B)作案后被警察抓住,隔离审讯;警方的政策是“坦白从宽,抗拒从严”,如果两人都坦白则各判 8 年;如果一人坦白另一人不坦白,坦白的放出去,不坦白的判 10 年;如果都不坦白则因证据不足各判 1 年。

囚徒困境的主旨为,虽然囚徒们彼此合作,坚不吐实,可为全体带来最佳利益,但在资讯不明的情况下,因为出卖同伙可为自己带来利益(缩短刑期),也因为同伙把自己招出来可为他带来利益,因此彼此出卖虽违反最佳共同利益,反而是自己最大利益所在。

单次发生的囚徒困境,和多次重复的囚徒困境结果不会一样。在重复的囚徒困境中,博弈被反复地进行。因而每个参与者都有机会去“惩罚”另一个参与者前一回合的不合作行为。欺骗的动机可能被受到惩罚的威胁所克服,从而可能导向一个较好的、合作的结果。这时,合作可能会作为均衡的结果出现,称之为纳什均衡 (Nash Equilibrium)。作为反复接近无限的数量,纳什均衡趋向于帕累托最优

由囚徒困境可以想到类似的韭菜困境:大跌时,韭菜无法信任其它韭菜,纷纷割肉快跑。