snowflake

分布式中ID的常用解决方案

• 全局唯一性：不能出现重复的ID号
• 递增：趋势递增,即保证下一个ID一定大于上一个ID,而比较苛刻的要求是连续递增,如1,2,3等等。
• 高可用高性能：服务不能挂，性能要好
• 信息安全：如果ID是连续的，恶意用户的扒取工作就非常容易做了，需要ID无规则、不规则。

唯一ID可以标识数据的唯一性，在分布式系统中生成唯一ID的方案有很多，常见的方式大概有以下三种：

• 依赖数据库，使用如MySQL自增列或Oracle序列等。
• UUID随机数
• snowflake雪花算法(本文将要讨论)

采用数据库自增序列：

• 读写分离时，只有主节点可以进行写操作，可能有单点故障的风险
• 分表分库，数据迁移合并等比较麻烦

UUID随机数：

• 采用无意义字符串，没有排序
• UUID使用字符串形式存储，数据量大时查询效率比较低

雪花：

• 41位为时间戳，12位为在这一刻能够产生2^12个自增的Id
• 这结合了自增Id的优势，同时10位机器ID(dataCenterId 5位和machineId 5位)确保了分布式能够支持1024台节点

实现

package main
import (
    "errors"
    "fmt"
    "sync"
    "time"
)
// 因为snowFlake目的是解决分布式下生成唯一id 所以ID中是包含集群和节点编号在内的
const (
    workerBits uint8 = 10 // 每台机器(节点)的ID位数 10位最大可以有2^10=1024个节点，编号为：0-1023
    numberBits uint8 = 12 // 表示每个集群下的每个节点，1毫秒内可生成的id序号的二进制位数 即每毫秒可生成 2^12-1=4095个唯一ID
    // 这里求最大值使用了位运算，-1 的二进制表示为 1 的补码，感兴趣的同学可以自己算算试试 -1 ^ (-1 << nodeBits) 这里是不是等于 1023
    workerMax   int64 = -1 ^ (-1 << workerBits) // 节点ID的最大值，用于防止溢出
    numberMax   int64 = -1 ^ (-1 << numberBits) // 同上，用来表示生成id序号的最大值
    timeShift   uint8 = workerBits + numberBits // 时间戳向左的偏移量
    workerShift uint8 = numberBits              // 节点ID向左的偏移量
    // 41位字节作为时间戳数值的话 大约68年就会用完
    // 假如你2010年1月1日开始开发系统 如果不减去2010年1月1日的时间戳 那么白白浪费40年的时间戳啊！
    // 这个一旦定义且开始生成ID后千万不要改了 不然可能会生成相同的ID
    epoch int64 = 1597113860060 // 这个是我在写epoch这个变量时的时间戳(毫秒)
)
// 定义一个woker工作节点所需要的基本参数
type Worker struct {
    mu        sync.Mutex // 添加互斥锁 确保并发安全
    timestamp int64      // 记录时间戳
    workerId  int64      // 该节点的ID
    number    int64      // 当前毫秒已经生成的id序列号(从0开始累加) 1毫秒内最多生成4095个ID
}
// 实例化一个工作节点
func NewWorker(workerId int64) (*Worker, error) {
    // 要先检测workerId是否在上面定义的范围内
    if workerId < 0 || workerId > workerMax {
        return nil, errors.New("Worker ID excess of quantity")
    }
    // 生成一个新节点
    return &Worker{
        timestamp: 0,
        workerId:  workerId,
        number:    0,
    }, nil
}
// 接下来我们开始生成id
// 生成方法一定要挂载在某个woker下，这样逻辑会比较清晰 指定某个节点生成id
func (w *Worker) GetId() int64 {
    // 获取id最关键的一点 加锁 加锁 加锁
    w.mu.Lock()
    defer w.mu.Unlock() // 生成完成后记得 解锁 解锁 解锁
    // 获取生成时的时间戳
    now := time.Now().UnixNano() / 1e6 // 纳秒转毫秒
    if w.timestamp == now {
        w.number++
        // 这里要判断，当前工作节点是否在1毫秒内已经生成numberMax个ID
        if w.number > numberMax {
            // 如果当前工作节点在1毫秒内生成的ID已经超过上限 需要等待1毫秒再继续生成
            for now <= w.timestamp {
                now = time.Now().UnixNano() / 1e6
            }
        }
    } else {
        // 如果当前时间与工作节点上一次生成ID的时间不一致 则需要重置工作节点生成ID的序号
        w.number = 0
        w.timestamp = now // 将机器上一次生成ID的时间更新为当前时间
    }
    // 第一段 now - epoch 为该算法目前已经奔跑了xxx毫秒
    // 如果在程序跑了一段时间修改了epoch这个值 可能会导致生成相同的ID
    ID := int64((now-epoch)<<timeShift | (w.workerId << workerShift) | (w.number))
    return ID
}
func main() {
    worker, err := NewWorker(3)
    if err != nil {
        fmt.Println(err.Error())
        return
    }
    t := time.NewTicker(time.Second / 4)
    for {
        fmt.Println(worker.GetId())
        <-t.C
    }
}

snowflake

地址：https://github.com/bwmarrin/snowflake
文档：https://godoc.org/github.com/bwmarrin/snowflake

type Node

type Node struct {
    // contains filtered or unexported fields
}

func NewNode(node int64) (Node, error) 设置工作节点
func (n Node) Generate() ID

type ID

type ID int64

func ParseBase32(b []byte) (ID, error) 将base32的字节码转为ID
func ParseBase64(id string) (ID, error) 将base64的字节码转为ID
func ParseBytes(id []byte) (ID, error) 将字节码转为ID
func ParseInt64(id int64) ID 将INT64转为ID
func (f ID) Base32() string 将ID转为base32的字符串
func (f ID) Base64() string 将ID转为base64的字符串
func (f ID) Bytes() []byte 将ID转为字节码
func (f ID) Int64() int64 将ID转为INT64

Sonyflake

Sonyflake是一个受Twitter Snowflake启发的分布式唯一ID生成器。 索尼flake ID由以下组成

39 bits for time in units of 10 msec
 8 bits for a sequence number
16 bits for a machine id

Constants

const (
    BitLenTime      = 39                               // bit length of time
    BitLenSequence  = 8                                // bit length of sequence number
    BitLenMachineID = 63 - BitLenTime - BitLenSequence // bit length of machine id
)

func Decompose(id uint64) map[string]uint64 Decompose returns a set of Sonyflake ID parts

type Settings

type Settings struct {
    StartTime      time.Time
    MachineID      func() (uint16, error)
    CheckMachineID func(uint16) bool
}
StartTime是定义Sonyflake时间为经过时间之后的时间。当“StartTime”为“0”时，表示设置索尼flake的
开始时间为“2014-09-01 00:00:00 +0000 UTC”。如果“StartTime”在当前时间之前，则不创建Sonyflake。  
MachineID返回Sonyflake实例的唯一ID。如果MachineID返回错误，则Sonyflake不会创建。
如果MachineID为空，则使用默认值MachineID。Default MachineID返回私网IP地址的下16位。  
CheckMachineID用于验证机器ID的唯一性。如果CheckMachineID返回false，说明Sonyflake不创建

type Sonyflake

type Sonyflake struct {
    // contains filtered or unexported fields
}

func NewSonyflake(st Settings) Sonyflake
func (sf Sonyflake) NextID() (uint64, error)