学习 go 语言【4】简单的 AWS S3 客户端

需求

公司搞了一套兼容 Amazon S3 的云存储系统,用 C++ 写客户端很蛋疼,UMU 决定还是用 go 写一个。

开发过程

1. 找库

先找一个靠谱的开源项目,运行以下命令安装:

1
go get github.com/mitchellh/goamz

它内部还用到 github.com/vaughan0/go-ini

2. 通过示例代码学习

看一下库带的例子:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
package main

import (
"github.com/mitchellh/goamz/aws"
"github.com/mitchellh/goamz/s3"
"log"
"fmt"
)

func main() {
auth, err := aws.EnvAuth()
if err != nil {
log.Fatal(err)
}
client := s3.New(auth, aws.USEast)
resp, err := client.ListBuckets()

if err != nil {
log.Fatal(err)
}

log.Print(fmt.Sprintf("%T %+v", resp.Buckets[0], resp.Buckets[0]))
}

3. 实现

要改的地方不多:

  • 认证方式可以改为 aws.GetAuth,但这样容易暴露 AccessKey、SecretKey,所以 UMU 下面贴出的代码还是使用 aws.EnvAuth()。

  • aws.USEast 改为我们自己的。

  • UMU 尝试添加列出所有文件的功能。

代码

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
package main

import (
"fmt"
"github.com/mitchellh/goamz/aws"
"github.com/mitchellh/goamz/s3"
"log"
)

func main() {
auth, err := aws.EnvAuth()
if err != nil {
log.Fatal(err)
}

var cnc = aws.Region{
"cnc", // Name
"", // EC2Endpoint
"http://s3.bj.xs3cnc.com", // S3Endpoint
"", // S3BucketEndpoint
false, // S3LocationConstraint
false, // S3LowercaseBucket
"", // SDBEndpoint
"", // SNSEndpoint
"", // SQSEndpoint
"", // IAMEndpoint
"", // ELBEndpoint
"", // AutoScalingEndpoint
"", // RdsEndpoint
"", // Route53Endpoint
}
client := s3.New(auth, cnc)
resp, err := client.ListBuckets()
if err != nil {
log.Fatal(err)
}

for _, b := range resp.Buckets {
fmt.Printf("Bucket Name: %s\n", b.Name)
bc, err := b.GetBucketContents()
if err == nil {
for _, key := range *bc {
fmt.Printf("\t%s, %s, %d, %s, %s, %s\n",
key.Key, key.LastModified, key.Size, key.StorageClass,
key.Owner.ID, key.Owner.DisplayName)
}
}
}
}

效果如下:

xs3cnc

参照对象:

S3 Browser

学习 go 语言【3】TCP Echo Server

问题

测试需要,以前用 C + libevent 写了一个 TCP Echo Server,返回服务器时间、客户端地址信息和客户端发送的原内容。为了水一篇,现在改为 go 语言实现。

参考

主要使用 go 语言自带的 net 库,学习资料:https://golang.org/pkg/net/

代码

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
package main

import (
"fmt"
"io"
"net"
"os"
"time"
)

const BUFFER_SIZE = 1024 * 4

var buffer = make([]byte, BUFFER_SIZE)

func handleConnect(tcpConn *net.TCPConn) {
if tcpConn == nil {
return
}
for {
n, err := tcpConn.Read(buffer)
if err == io.EOF {
fmt.Printf("The RemoteAddr: %s is closed!\n", tcpConn.RemoteAddr().String())
return
}
handleError(err)
if n > 0 {
//fmt.Printf("Read: %s", string(buffer[:n]))
str := tcpConn.RemoteAddr().String() + " @ " +
time.Now().Format("2006-01-02 15:04:05 Z07:00") + "\r\n" +
string(buffer[:n])
tcpConn.Write([]byte(str))
fmt.Printf("Echo: %s", str)
}
}
}

// 错误处理
func handleError(err error) {
if err == nil {
return
}
panic(err)
//fmt.Printf("error: %s\n", err.Error())
}

func main() {
if len(os.Args) < 2 {
fmt.Println("Usage:", os.Args[0], "<port>")
return
}
port := os.Args[1]
tcpAddr, err := net.ResolveTCPAddr("tcp4", "0.0.0.0:"+port)
handleError(err)
tcpListener, err := net.ListenTCP("tcp4", tcpAddr)
handleError(err)
defer tcpListener.Close()

fmt.Println("Listening on", tcpAddr, "...")
for {
tcpConn, err := tcpListener.AcceptTCP()
fmt.Printf("The client: %s has connected!\n", tcpConn.RemoteAddr().String())
handleError(err)
defer tcpConn.Close()
go handleConnect(tcpConn)
}
}

诗盗·郭伶仃痒

《#诗盗#·郭伶仃痒》:辛苦曰跑取一精,干哥裸聊四周腥。人生自古谁无黑,刘取丹芯找汉倾。

注解

改编自宋朝诗人文天祥的《过零丁洋》:

辛苦遭逢起一经,干戈寥落四周星。
山河破碎风飘絮,身世浮沉雨打萍。
惶恐滩头说惶恐,零丁洋里叹零丁。
人生自古谁无死,留取丹心照汗青。

回家

稣在山兜村要回天堑村的路上,刚刚风雨大作,两村之间的河水涨了很多,很多要回去的人都在走吊桥,这种吊桥很简陋,基本就两根绳子,简直无法走,只能是手脚并用,慢慢爬过去。

中途就掉下去不少人,后来稣就走到了中间的一个房子门口,一个白衣美女走了出来,一看居然是稣的盆友,就是浑身丰满了许多,她问稣干嘛来参加这个活动,稣一时愕然,稣只是想回家,哪有参加什么活动。她说,这个活动还有两关,她就是最终奖品之一,活动是为了竞选男优……

卧槽,原来如此,难怪那么多人来爬吊桥,稣吓尿了。她还说,可以先让稣插,不过不能让主办方发现了,于是稣就插了……咳咳……队,先过去倒数第二关,从房子门口跳到下面的沙滩去,大约 4、5 米高,稣觉得一点都不难就跳了,果然没事,但其他人有的却挂了,原来沙子里是有钢条的,不小心踩到,脚就挂了。

稣想太危险了,最后一关肯定更危险,算了,赶快退出保命。蛋似水路已经走了一半了,再回去也有难度,好惨,肿么办?

难不倒稣的,催动强大的意志力,直接唤醒大脑、小脑以及脑干!

逃脱

有一天稣回家的路上突发奇想,为什么每天都是用脚走路?干脆用手走回家吧反正也不远。于是就开始用手走,蛋似走到一半的时候没体了,就趴着不动休息。

这时候,神奇的事情发生了,居然来了几个政府机构的人,说稣的行为表现了一种可贵的精神,要表彰,请稣吃饭。

饭局上好多有钱人或者有权人的样子,坐稣右边的一个中年帅哥说自己是某公司老板,语气有点屌,听说稣只是用手走了 1800 步就被请来吃饭,有点看不起稣的样子。蛋似稣还是和他聊了聊,和他说老板稣认识不少,举了 6、7 个,可能都是科技界的,他都没听过……

他表示自己很忙,要走了。这时候,意外发生了,当场有一个胖子,突然掏出枪来,控制了局面,而且外面都是他的人,整个酒店都被包围起来了。刚才几个很屌的人都吓尿了。只有稣很淡定,穷逼一个,你抓稣也没神马卵用啊!

然后,所有人都被关到一个城中村里的一个别墅,稣试着逃跑,但这个村很像一个迷宫,怎么转都出不去,而且看似是出口的地方都有人把守。不过这个别墅本身没什么人管,感觉胖子是想和我们玩什么游戏……

其他的大人物们,个个都不敢离开别墅,稣回来和他们说明情况,其实是有可能逃脱的,但他们都不敢想,原因竟然是稣离开的时候,里面有一个吓坏的想逃,结果被打死,拖走了!

这时候胖子来了,说自己是个魔术师,只是想找灵感。稣想,坑爹啊,找灵感你玩绑架!?然后就告诉他,稣有个魔术,你绝对会说好。

一台大型可口可乐饮料机牛逼闪闪地开过来,稣一声令下,可乐和方糖大量混合,炸了出来,把那个胖子喷成落汤鸡,稣立刻过去把他的枪抢了。其他人拼命鼓掌……

声控智能家居果然牛逼!

诗盗·割肉之鸡鸡都是肉

《#诗盗#~割肉之鸡鸡都是肉》:有屌微软尚可交,无蛋联想只能尿。近来股民身心萎,一见绿草双眼跳。

注解

奔腾,日立,微软,松下,联想……赫赫,无蛋的太监自然只能联想!
本诗创作灵感来自一则新闻:男子被诊断阴茎癌 切除后发现系误诊
再强调一次:男子被误诊阴茎癌下体遭切除 切后送检是囊肿
重要的话说三次:误诊导致鸡鸡被切了!

学习 go 语言【2】升级 1.5 + 优化

问题

安装 1.5 时,直接覆盖 1.4.2,结果不能用了,报错:

imports runtime: C source files not allowed when not using cgo or SWIG

解决

删掉 go 1.5……然后修复安装一遍。

优化前例代码

  1. 加了计时功能,纯属蛋疼。

  2. 学到一个不占空间的 struct{},map[string]bool 改为 map[string]struct{}。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
// UMU @ 2015-08-17 11:30
// Last update: 2015-08-21 17:40
package main

import (
"bufio"
"fmt"
"os"
"path"
"path/filepath"
"time"
)

func isSourceFile(ext string) bool {
var kSourceFileExts = []string{".c", ".cc", ".cpp", ".h", ".hpp",
".go",
".java"}
for _, r := range kSourceFileExts {
if r == ext {
return true
}
}
return false
}

func main() {
if len(os.Args) < 2 {
fmt.Println("Usage: ", os.Args[0], "[file or folder]...")
return
}

start := time.Now()
files := make(map[string]struct{})
lines := 0

for _, r := range os.Args {
fi, err := os.Stat(r)
if err == nil || os.IsExist(err) {
if fi.IsDir() {
AddDirectory(r, files)
} else {
AddFile(r, files)
}
}
}

for file, _ := range files {
l := CountLine(file)
lines += l
fmt.Println(file, l)
}
fmt.Printf("Total lines: %d, cost %fs\n", lines, timeElapsed(start))
}

func AddDirectory(name string, files map[string]struct{}) {
filepath.Walk(name, func(path string, fi os.FileInfo, err error) error {
if nil == fi {
return err
}
if fi.IsDir() {
return nil
}
AddFile(path, files)
return nil
})
}

func AddFile(name string, files map[string]struct{}) {
ext := path.Ext(name)
if isSourceFile(ext) {
path, err := filepath.Abs(name)
if err == nil {
_, exists := files[path]
if exists {
fmt.Println("Duplicated", path)
} else {
files[path] = struct{}{}
fmt.Println("Add", path)
}
}
}
}

func CountLine(path string) (num int) {
f, err := os.Open(path)
if nil != err {
return
}
defer f.Close()

s := bufio.NewScanner(f)
for s.Scan() {
num += 1
}
return
}

func timeElapsed(start time.Time) float64 {
dis := time.Since(start).Seconds()
return dis
}