数组去重复的基本概念

从一个数组切片中，去掉重复的项，使得集合里的每一项都是独一无二。比如 [1,2,2,3,4,5,4,5] 要变成 [1,2,3,4,5] 。

算法实现

以下按照循环遍历数组删除重复项、新建数组追加不重复项、构建Set数据结构以及先排序再去重等几种方式分别来说下具体的实现。

1、 循环遍历方式。 用最前面的一项逐个与后面的每一项进行比较，当遇到重复时，则删除最前面的一项，同时跳出比较，且总长度和下标要递减。从代码可以看出与C语言写法相近，只不过这里的数组是一个切片，不用提前指定大小，还支持动态拼接。

2、 循环遍历方式2。 自后向前遍历，拿最后一项自后往前逐个进行比较，当遇到有相同项时移除最后一项，同时跳出比较。这里因为自后往前比较，下标以及总长度的问题不用处理。这是数组去重最佳的写法，效率较高，留下的非重复项也是前面的项。

3、 新建数组检查是否包含的方式。 新建一个数组切片，拿原数组中的每一项去新数组切片里进行查找，如果不存在则添加到新数组中。这种方式最简单易懂，但需要开辟新的存储空间。

4、 新建数组与检查下标是否第一次出现。 新建一个数组切片，循环遍历原数组项，拿当前项逐个与后面项比较，如果值相同且下标相同则表示第一次出现，也就是非重复项，把该项添加到新数组中。

5、 先排序再移除重复项。 排序之后，只要将挨着的两两进行比较，移除重复项即可。这种方式也是常见的去重方式，只不过需要在之前进行排序，因此效率相对要低些，但代码很简洁。

6、 先排序再添加非重复项。 排序之后，将挨着的两两进行比较，遇到重复时跳过，将不重复地添加到新数组切片中去。这种方式也很简单易懂，就是相对效率差点。

7、 先排序再添加非重复项。 排序之后，将挨着的两两进行比较，遇到不重复时则将该项添加到新数组切片中去。这种方式与上一种方式原理相同，只是写法上一个是添加非重复项，一个是跳过重复项。

8、 先排序再添加非重复项。 排序之后，将挨着的两两进行比较，遇到不重复时则将该项添加到新数组中去。这种方式主要是通过make来创建数组，前面两种方式是切片。在Go语言里数组和切片不太一样，切片有点python里面的list的样子，而数组则和c语言的数组相同。

9、 利用map数组结构去重复。 map一种键值对的数组结构，其key值不能重复，因此利用这个特性可以达到去重复的目的。这里将原数组切片的每一项都添加到临时map中，并且将值赋值为true(或任意一种均可，如果采用空的struct更好)，最后将map中的key取出返回。

10、 利用map和struct构建set数据结构去重复。 go语言中虽提供了map结构，但原生提供set结构。set结构相对list来讲，其成员项不能重复。因此我们可以利用map创建set这样的结构体出来，同时set的value可以是一个空的struct，这样不会占用多余空间。从这里看到struct使用上与c语言基本一致，go语言虽然没有java或c++语言中的class，但通过struct也可以实现自定义类型。

11、 利用递归来实现外层遍历，再删除重复项。 递归与循环基本可以相互替代，作用上基本一致，只是执行起来会略有不同，递归会调用函数自身。这里从后往前拿最后项逐个跟前面的每一项进行对比，当遇到重复时，则移除重复项。每次递归长度移除1个。

12、 利用递归来实现外层遍历，再追加到新切片中。 这种递归方式与前面一种不同，这种方式需要将每次递归执行的结果自里往外地拼接起来。当数组长度小于1时，表示递归完成，返回空切片，其他每次执行会得到一个非重复项，最后将全部执行结果拼接起来就是去重复后的新切片。

程序验证

构建测试用例，并检查执行结果。通过测试验证，我们发现全部12个例子都实现了去重复的目的。

总结

通过以上算法示例，我们基本了解了Go语言的特点，也利用了其特点来实现数组切片去重复的算法。总体来讲，Go是一门不错的语言，语法简单、容易上手，其性能优越，也有很多工具函数，开发效率较高。但在程序性能和健壮性上不如rust，也不如c，因此在系统软件开发方面Go语言并没有取得多少优势。而在基于云原生的高并发网络应用方面，Go有取代Java的趋势。

另：更多关于数组去重复的代码放在了github，包括c语言、java、js、python、dart、go等。