为 Go 项目自动生成 model

2022年4月25日 348点热度 0人点赞 0条评论
本文记录了使用gen项目实现了一个model自动生成命令的思路,其最终展示效果:https://github.com/gohade/hade/blob/main/docs/guide/model.md

我们写业务的时候和db接触是少不了的,那么要生成model也是少不了的,如何自动生成model,想着要给hade框架增加个这样的命令。

看了下网上的几个开源项目,最终聚焦在两个项目中:

https://github.com/go-gorm/gen

https://github.com/xxjwxc/gormt

gormt的gui是非常强大的,看文档都支持终端gui和windows的gui。但是gormt是一个工具,无法在另外一个项目中引入。

gen项目是gorm官方推出的,有jinzhu作者的参与。所以我尝试选择gen项目(对的,原因就是这么肤浅...

gen

gen其实不只是工具,它更像一个全新的orm封装。gen项目生成出来的文件有其实有两个部分,一个是model,就是db的表和对应的model,以xxx.gen.go 命名。而另一个部分是每个model对应一套gen函数,这套gen函数基本上是对orm的二次封装了。

图片
image-20220211091540150

当然这套函数是基于gorm来封装的,不过你可以完全脱离gorm来使用这套函数。

生成的方法示例如下:

g := gen.NewGenerator(gen.Config{
   OutPath:      "/Users/yejianfeng/Documents/workspace/gohade/hade/app/dal",
   ModelPkgPath: "/Users/yejianfeng/Documents/workspace/gohade/hade/app/dal/model",
   WithUnitTest: true,

   FieldNullable:     false,
   FieldCoverable:    true,
   FieldWithIndexTag: false,
   FieldWithTypeTag:  false,

   Mode: gen.WithDefaultQuery,
  })
  gormService := container.MustMake(contract.ORMKey).(contract.ORMService)
  db, err := gormService.GetDB(orm.WithConfigPath("database.default"))
  if err != nil {
   return err
  }

  g.UseDB(db)
  g.WithDataTypeMap(dataMap)
  //g.WithJSONTagNameStrategy(func(c string) string { return "-" })

  //g.ApplyBasic(model.Customer{})
  //g.ApplyBasic(g.GenerateAllTable()...)
  //g.GenerateModel("users")
  //g.GenerateModel("answers")
  //g.GenerateAllTable()
  g.ApplyBasic(g.GenerateAllTable()...)
  g.Execute()

使用起来像是这样:

u := query.Use(db).User

// Get first matched record
user, err := u.WithContext(ctx).Where(u.Name.Eq("modi")).First()
// SELECT * FROM users WHERE name = 'modi' ORDER BY id LIMIT 1;

// Get all matched records
users, err := u.WithContext(ctx).Where(u.Name.Neq("modi")).Find()
// SELECT * FROM users WHERE name <> 'modi';

// IN
users, err := u.WithContext(ctx).Where(u.Name.In("modi""zhangqiang")).Find()
// SELECT * FROM users WHERE name IN ('modi','zhangqiang');

// LIKE
users, err := u.WithContext(ctx).Where(u.Name.Like("%modi%")).Find()
// SELECT * FROM users WHERE name LIKE '%modi%';

最终生成的文件如下:

图片
image-20220211092157272

gen有一些高级的功能:

  • 自定义模型函数,且提供了通过sql语句的注释自实现函数的方法
  • 提供了单元测试框架,你可以自己定义TestCase,来实现对某个自实现函数的单测
  • 智能字段查询,在select语句的时候,可以根据输出对象自动生成select的field

其实gen更像是另一个orm框架了,和facebook的ent类似,为每个model生成一套orm方法。gen是字节跳动的无恒实验室开发的产品,据说字节内部正在将gorm切换到gen。gen的主打是安全,意思是,如果你的orm是完全使用gen来生成的,通过注释sql而不是自己裸写sql来生成,它更能保证安全性。(当然,因为所有的实现代码都是gen来自动生成的)。

我目前的认知还是觉得这套东西太重了一些,整个熟悉下来无异于需要了解另外一个orm框架的语法了。在使用gorm和gen上并没有什么太大的区别。

// 插入一条数据
 email := "[email protected]"
 name := "foo"
 user := &model.User{
  ID:        0,
  Username:  name,
  Password:  "",
  Email:     email,
  CreatedAt: time.Time{},
 }
 dal.SetDefault(db)
 err := dal.User.WithContext(c).Create(user)
 if err != nil {
  c.AbortWithError(50001, err)
  return
 }
// 插入一条数据
 email := "[email protected]"
 name := "foo"
 age := uint8(25)
 birthday := time.Date(2001, 1, 1, 1, 1, 1, 1, time.Local)
 user := &User{
  Name:         name,
  Email:        &email,
  Age:          age,
  Birthday:     &birthday,
  MemberNumber: sql.NullString{},
  ActivatedAt:  sql.NullTime{},
  CreatedAt:    time.Now(),
  UpdatedAt:    time.Now(),
 }
 err = db.Create(user).Error
 logger.Info(c, "insert user", map[string]interface{}{
  "id":  user.ID,
  "err": err,
 })

而且如果要写出官网给出的这么复杂的语句:

p := query.Use(db).Pizza

pizzas, err := p.WithContext(ctx).Where(
    p.WithContext(ctx).Where(p.Pizza.Eq("pepperoni")).
        Where(p.WithContext(ctx).Where(p.Size.Eq("small")).Or(p.Size.Eq("medium"))),
).Or(
    p.WithContext(ctx).Where(p.Pizza.Eq("hawaiian")).Where(p.Size.Eq("xlarge")),
).Find()

// SELECT * FROM `pizzas` WHERE (pizza = "pepperoni" AND (size = "small" OR size = "medium")) OR (pizza = "hawaiian" AND size = "xlarge")

我相信对新手来说真是一个不大容易的事情。

所以目前我还只倾向于使用gen的生成model的部分。

自动生成model命令设计

首先设计一下这个命令的产品形态。

./hade model gen --output=document/app/model/ --database=database.default

在命令行中的参数:

output: 必选,表示输出的路径
database: 可选,默认使用database.default

如果没有设置db,或者output没有设置,直接返回错误。

第一步是一个交互命令行工具,首先展示要生成的表列表选择:

请选择要生成模型的表格:
[] *
[] users
[] answers
[] questions

第二步确认要生成的目录和文件,以及覆盖提示:

继续下列操作会在目录(xxxx)生成下列文件:
user.gen.go(覆盖)
answer.gen.go(新文件)

请确认是否继续?(Y/N)

第三步选择后是一个生成模型的选项:

请选择模型规则:
[] FieldNullable, 对于数据库的可null字段设置指针
[] FieldCoverable, 根据数据库的Default设置字段的默认值
[] FieldWithIndexTag, 根据数据库的索引关系设置索引标签
[] FieldWithTypeTag, 生成类型字段

最后一步就是生成模型文件了。

自动生成model命令实现

了解了gen和命令的设计,实现就很简单了。

大概就分几步吧:

  • 获取数据库中的所有表
  • 让用户多选要生成model的表格
    • 和现有的目录中的文件进行比对
  • 让用户多选要生成的model的选项,比如是否可null,是否有default设置等
  • 使用gen生成模型文件

具体代码在 https://github.com/gohade/hade/blob/feature/model-gen/framework/command/model/model.go

其中代码实现方便稍微有几个地方要注意下:

如何查询一个数据库中的所有表

使用gorm很方便就实现了

dbTables, err := db.Migrator().GetTables()

当用户选择了要生成的表格,要和硬盘中已有的文件进行比对,如何操作

这里其实涉及到两个集合的交集和差集

我发现collection库之前已经实现了差集,但是没有实现交集。

这里我补充实现了colleciton的交集,Intersect,并且将collection库升级到1.4.1

// Intersect 比较两个数组,获取两个数组交集,仅对基础元素生效
Intersect (arr ICollection) ICollection

gen 库如何只生成model不生成gen文件?

g.UseDB(db)

for _, table := range genTables {
 g.GenerateModel(table)
}
g.Execute()

model命令验证

验证一下要model/gen命令

第一步,使用 ./hade model gen --output=app/model

图片
image-20220215091522181

选择其中的两个表,answers和questions,提示目录文件

图片
image-20220215091541908

下一步确认y继续

图片
image-20220215091643242

最后生成模型成功

图片
image-20220215091659104

查看文件,确实生成了model

图片
image-20220215091735434

功能完结。

更新项目git:https://github.com/gohade/hade

Hi,我是轩脉刃,一个名不见经传码农,体制内的小愤青,躁动的骚年,2022年想坚持写一些学习/工作/思考笔记,谓之倒逼学习。欢迎关注个人公众号:轩脉刃的刀光剑影。


推荐阅读

福利
我为大家整理了一份从入门到进阶的Go学习资料礼包,包含学习建议:入门看什么,进阶看什么。关注公众号 「polarisxu」,回复 ebook 获取;还可以回复「进群」,和数万 Gopher 交流学习。

图片

13910为 Go 项目自动生成 model

root

这个人很懒,什么都没留下

文章评论