一个让业务开发效率提高10倍的golang库

2019年9月30日 344点热度 0人点赞 0条评论

此文除了是标题党，没啥其他毛病。

这篇文章推荐一个库，https://github.com/jianfengye/collection。这个库是我在开发业务过程频繁使用 Slice 结构，就产生了要做一个 Collection 包的想法。本文说说我开发这个库的前因后果。

Golang 适不适合写业务？

最近一个逻辑非常复杂的业务，我用 Golang 来开发。开发过程不断在问一个问题，Golang 适不适合写业务？

业务说到底，是一大堆的逻辑，大量的逻辑都是在几个环节：获取数据，封装数据，组织数据，过滤数据，排序结果。获取/封装数据，即从 DB 中根据查询 SQL，获取表中的数据，并封装成数据结构。组织数据，例如，当我有两份数据源，我需要将两份数据源按照某个字段合并，那么这种组织数据的能力也是非常需要的。过滤数据，我获取的字段有10个，但是我只需要给前端返回3个就够了；排序结果，返回的结构按照某种顺序。这些都是我们在写业务中，每个业务逻辑都会遇到的问题。一款适合做业务的语言一定是在这些环节上都提供足够的便利性的。

我想，符合业务语义的语言才有未来！！

什么是业务语义呢？就是我们开发人员和产品人员交流的语言。感受一下，比如 “将这个名单中成绩按照从大到小排列，并且成绩大于60的最后一个学生找出来” 这么一句话的需求，就是我们常常和产品人员交流的语言。而我们开发中使用到的语言/框架/库，又是一种思维和语言。当我们接到上述的需求，如果我们头脑中浮现的逻辑是“我要使用快速排序，然后在快速排序循环中能直接找到成绩大于60的，还要是最后一个，所以我可能需要有个 min 变量”。那么我只能说，或许你的代码运行效率足够高，但是一旦业务复杂了，你的代码开发效率一定很低。像上述的需求，我们按照伪码来说，最希望是有一门语言能支持：collection().sortDesc().Last(score > 60) 这样符合业务语义的代码。

如图，如果说高级语言是拉近了机器语言和业务语义的距离，那么开发Collection包的愿景也是希望拉近 Golang 这门高级语言和业务语言的距离。

Collection包目标是用于替换golang原生的Slice，使用场景是在大量不追求极致性能，追求业务开发效能的场景。

展示

业务开发最核心的也就是对数组的处理，Collection封装了多种数据数组类型。

Collection包目前支持的元素类型：int, int64, float32, float64, string, struct。除了struct数组使用了反射之外，其他的数组并没有使用反射机制，效率和易用性得到一定的平衡。

使用下列几个方法进行初始化Collection:

 1NewIntCollection(objs []int) *IntCollection
 2
 3NewInt64Collection(objs []int64) *Int64Collection
 4
 5NewFloat64Collection(objs []float64) *Float64Collection
 6
 7NewFloat32Collection(objs []float32) *Float32Collection
 8
 9NewStrCollection(objs []string) *StrCollection
10
11NewObjCollection(objs interface{}) *ObjCollection

所有的初始化函数都是很方便的将要初始化的slice传递进入，返回了一个实现了ICollection的具体对象。

下面做一些Collection中函数的展示。

友好的格式展示

首先业务是很需要进行代码调试的，这里封装了一个 DD 方法，能按照友好的格式展示这个 Collection

 1a1 := Foo{A: "a1"}
 2a2 := Foo{A: "a2"}
 3
 4objColl := NewObjCollection([]Foo{a1, a2})
 5objColl.DD()
 6
 7/*
 8ObjCollection(2)(collection.Foo):{
 9    0:  {A:a1}
10    1:  {A:a2}
11}
12*/
13
14intColl := NewIntCollection([]int{1,2})
15intColl.DD()
16
17/*
18IntCollection(2):{
19    0:  1
20    1:  2
21}
22*/

查找功能

在一个数组中查找对应的元素，这个是非常常见的功能

1Search(item interface{}) int

查找Collection中第一个匹配查询元素的下标，如果存在，返回下标；如果不存在，返回-1

注意此函数要求设置compare方法，基础元素数组（int, int64, float32, float64, string）可直接调用！

1intColl := NewIntCollection([]int{1,2})
2if intColl.Search(2) != 1 {
3    t.Error("Search 错误")
4}
5
6intColl = NewIntCollection([]int{1,2, 3, 3, 2})
7if intColl.Search(3) != 2 {
8    t.Error("Search 重复错误")
9}

排重功能

将Collection中重复的元素进行合并，返回唯一的一个数组。

 1intColl := NewIntCollection([]int{1,2, 3, 3, 2})
 2uniqColl := intColl.Unique()
 3if uniqColl.Count() != 3 {
 4    t.Error("Unique 重复错误")
 5}
 6
 7uniqColl.DD()
 8/*
 9IntCollection(3):{
10    0:  1
11    1:  2
12    2:  3
13}
14*/

获取最后一个

获取该Collection中满足过滤的最后一个元素，如果没有填写过滤条件，默认返回最后一个元素

 1intColl := NewIntCollection([]int{1, 2, 3, 4, 3, 2})
 2last, err := intColl.Last().ToInt()
 3if err != nil {
 4    t.Error("last get error")
 5}
 6if last != 2 {
 7    t.Error("last 获取错误")
 8}
 9
10last, err = intColl.Last(func(item interface{}, key int) bool {
11    i := item.(int)
12    return i > 2
13}).ToInt()
14
15if err != nil {
16    t.Error("last get error")
17}
18if last != 3 {
19    t.Error("last 获取错误")
20}

Map & Reduce

Map

Map(func(item interface{}, key int) interface{}) ICollection

对Collection中的每个函数都进行一次函数调用，并将返回值组装成ICollection

这个回调函数形如：func(item interface{}, key int) interface{}

如果希望在某此调用的时候中止，就在此次调用的时候设置Collection的Error，就可以中止，且此次回调函数生成的结构不合并到最终生成的ICollection。

 1intColl := NewIntCollection([]int{1, 2, 3, 4})
 2newIntColl := intColl.Map(func(item interface{}, key int) interface{} {
 3    v := item.(int)
 4    return v * 2
 5})
 6newIntColl.DD()
 7
 8if newIntColl.Count() != 4 {
 9    t.Error("Map错误")
10}
11
12newIntColl2 := intColl.Map(func(item interface{}, key int) interface{} {
13    v := item.(int)
14
15    if key > 2 {
16        intColl.SetErr(errors.New("break"))
17        return nil
18    }
19
20    return v * 2
21})
22newIntColl2.DD()
23
24/*
25IntCollection(4):{
26    0:  2
27    1:  4
28    2:  6
29    3:  8
30}
31IntCollection(3):{
32    0:  2
33    1:  4
34    2:  6
35}
36*/

Reduce

Reduce(func(carry IMix, item IMix) IMix) IMix

对Collection中的所有元素进行聚合计算。

如果希望在某次调用的时候中止，在此次调用的时候设置Collection的Error，就可以中止调用。

 1intColl := NewIntCollection([]int{1, 2, 3, 4})
 2sumMix := intColl.Reduce(func(carry IMix, item IMix) IMix {
 3    carryInt, _ := carry.ToInt()
 4    itemInt, _ := item.ToInt()
 5    return NewMix(carryInt + itemInt)
 6})
 7
 8sumMix.DD()
 9
10sum, err := sumMix.ToInt()
11if err != nil {
12    t.Error(err.Error())
13}
14if sum != 10 {
15    t.Error("Reduce计算错误")
16}
17
18/*
19IMix(int): 10
20*/

排列

将Collection中的元素进行升序排列输出

 1intColl := NewIntCollection([]int{2, 4, 3})
 2intColl2 := intColl.Sort()
 3if intColl2.Err() != nil {
 4    t.Error(intColl2.Err())
 5}
 6intColl2.DD()
 7
 8/*
 9IntCollection(3):{
10    0:  2
11    1:  3
12    2:  4
13}
14*/

合并

Join(split string, format ...func(item interface{}) string) string

将Collection中的元素按照某种方式聚合成字符串。该函数接受一个或者两个参数，第一个参数是聚合字符串的分隔符号，第二个参数是聚合时候每个元素的格式化函数，如果没有设置第二个参数，则使用fmt.Sprintf("%v")来该格式化

 1intColl := NewIntCollection([]int{2, 4, 3})
 2out := intColl.Join(",")
 3if out != "2,4,3" {
 4    t.Error("join错误")
 5}
 6out = intColl.Join(",", func(item interface{}) string {
 7    return fmt.Sprintf("'%d'", item.(int))
 8})
 9if out != "'2','4','3'" {
10    t.Error("join 错误")
11}

核心

继承

Collection 包的核心思想也就是继承。但是在 Golang 中的继承，特别是抽象类是没有办法实现的。我这里使用了实现了自身接口的属性Parent来实现的。

首先定义 ICollection 接口，在这个接口中定义好所有的方法。其次创建了 AbsCollection 这个 struct。首先它自身实现了 ICollection 方法，其次，它有个 Parent 属性实现了 ICollection方法，这个 Parent 属性是存放指向真正的实现类的方法，比如 IntCollection。最后，IntCollection/Float32Collection 等都是实现了 AbsCollection。这里显式写实现了 AbsCollection 有几个好处，一个是强制必须实现 ICollection的方法，其次，一些在具体实现类中不一样的方法，可以在实现类中重写了。并且最后，为每个实现类实现了一个New方法。

IMix

当然，由于是强类型语言，很多函数在定义的时候，返回值是无法确定类型的，当然这里可以简单的使用一个interface来做，但是这样易用性其实又降低了，每次函数调用就必须做下类型判断。再加上后续会说到的 error 处理的问题。interface其实并没有那么好用。所以我设计了一个 IMix 接口，由实现了这个接口的对象来进行类型转换，ToString, ToInt64 等。当然我也为 IMix 设计了 DD() 方便调试的方法。

AbsCollection

上面说了继承，AbsCollection 是我定位的抽象类，它的思想是一生二，二生万物的。也就是先有一些原子方法，他们（比如Insert方法）是根据不同的数组对象而不同的。这些方法在AbsCollection 层的实现就是调用 Parent 的具体实现方法。然后其他的通用方法就基于这些原子进行迭代实现。

一共给具体的父实现类定义了6个原子方法，后续一旦有新的类型添加的需求，只需要保证他能实现了这6个原子方法即可使用其他的方法了。

特色

下面说说这个包设计的一些特色。

可选参数

Collection 使用了大量的可选参数，比如 Collection.Slice方法。

Slice(...int) ICollection

获取Collection中的片段，可以有两个参数或者一个参数。

如果是两个参数，第一个参数代表开始下标，第二个参数代表结束下标，当第二个参数为-1时候，就代表到Collection结束。

如果是一个参数，则代表从这个开始下标一直获取到Collection结束的片段。

 1intColl := NewIntCollection([]int{1, 2, 3, 4, 5})
 2retColl := intColl.Slice(2)
 3if retColl.Count() != 3 {
 4    t.Error("Slice 错误")
 5}
 6
 7retColl.DD()
 8
 9retColl = intColl.Slice(2,2)
10if retColl.Count() != 2 {
11    t.Error("Slice 两个参数错误")
12}
13
14retColl.DD()
15
16retColl = intColl.Slice(2, -1)
17if retColl.Count() != 3 {
18    t.Error("Slice第二个参数为-1错误")
19}
20
21retColl.DD()
22
23/*
24IntCollection(3):{
25    0:  3
26    1:  4
27    2:  5
28}
29IntCollection(2):{
30    0:  3
31    1:  4
32}
33IntCollection(3):{
34    0:  3
35    1:  4
36    2:  5
37}
38*/

是否使用可选方法我纠结了很久，因为这种可选参数毕竟还是不够美观的。不过后来还是想到了Collection这个包的设计宗旨是方便业务开发。那么业务开发使用者使用的爽的程度才是这个包应该关心的，所以也就大量使用了这种对使用者灵活友好，但是略不美观的实现方式。

链式调用 & 错误处理

链式调用是我在实现这个包的时候一直坚持的。因为复杂的业务逻辑，链式调用的写法阅读性是很高的。所以在所有能返回数组的函数中，我都返回了 ICollection 接口。以方便于后续调用。

但是 Golang 中还有一个 error 的处理问题。每个函数调用其实都是有可能有错误的，这个错误如果直接返回，那么链式调用必然就不可行了。我采用的方式是“火丁笔记”中说到的错误处理机制。当错误出现的时候，我把错误挂载在当前或者返回的 IColleciton，或者返回的 IMix 中。并且提供了 Error() 方法来让外部用户获取确认这个链式调用是否有错误。

这样的错误处理机制是我现在能想到的最好的处理机制了（在 Go 2.0 handle error没有出来之前）。它一方面兼顾了链式调用，一方面能进行错误检查。当然这种方式的错误检查机制等于弱化，不是在每次调用函数的时候强制用户检查了，而是在链式调用之后，建议用户检查。但是回到 Collection 库的愿景，这样的实现会让使用者更为舒适。

compare

数组当然也应该有个compare函数，这个函数我设计作为匿名函数放在 AbsCollection 中，具体的实现放在每个实现类的 New 函数中进行设置。我也将这个 compare 函数的设置权限作为 SetCompare() 函数放给外部设置。主要考虑到扩展性，如果后续你的 Collection 是包的自己定义的一个复杂的 Object方法，那么你完全可以按照某个字段进行排序。

ObjCollection

对象数组是我最耗费精力的一个实现类。它大量使用了反射。但是这个是可以扩展的。由于接口中的方法的输入输出完全是 ICollection 接口。比如在初期，你使用 Collection 自带的 NewObjCollection 实例化了一个 ICollection, 或许你对使用了反射的 Insert，Pluck 方法的效率不是非常满意，那么，你只需要自己实现一个 ACollection，并且自己实现上文说的6个方法，继承AbsCollection，那么，你就可以很方便的使用 Colleciton的其他方法，且没有反射。

New复制slice指针还是数组？

这个是我很后面加的，在 New 一个Collection的时候，Collection 中的数组元素，是选择将参数中的数组指针复制到 Colleciton 中，还是将参数中的整个数组复制到 Collection 中呢？后来我选择了后者。主要是考虑到安全性，NewCollection 的时候我复制一份，后续如果有对这个数组进行修改的操作，不会影响原先传入的参数Slice。为了一些安全性，牺牲一些内存，我认为还是值得的。

心路历程及后续

这个 Collection 包我也前后利用业余时间开发了挺久了。主要是实现的思想不断在变化，从最初的我将 error 以直接panic的方式保持链式调用，到希望实现一个 IMap 数据结构，到使用的是数组，还是指针等，包括名字我也从最初的IArray 改成ICollection（我希望从使用这个包开始，Collection就成为了这个包的关键字，所有接口和函数一旦设计到数组的概念的时候就使用Collection这个关键字）。