“结论：初始阶段2w qps以内，完全不用做 cache aside”

generate API key

echo "chattyai_$(openssl rand -base64 40 | tr -dc A-Za-z0-9 | head -c 28)"

Create API record

// create chatty_ai record
INSERT INTO chattyai_rights (uid, token_quota, token_used, token_used_total, assistant_quota, assistant_used, gpt_4_access, api_access, subscription_date, subscription_update_date, subscription_end_date)
VALUES ('chattyai_xxxxxxxxx', 1000000, 0, 0, 15, 0, TRUE, TRUE, CURRENT_TIMESTAMP, CURRENT_TIMESTAMP, CURRENT_TIMESTAMP);

// create order record
manually add api, no order.

目标

• 保证每一次对话，GPT的流都能迅速反应，所以不要浪费时间在sql的读写上，需要缓存吗？
• 1db 1ms 以内的访问都可以在肉眼上忽略差距
• ping. RTT看是否能够达到1ms以内
• db 读写5000 qps以内
• 计费场景不太适合用redis
• QPS 峰值超过 2000 的时候再换成 SSD，2w 再考虑 redis，并且可以考虑 db 分库分表
• db qps 超过 1500 的时候再考虑优化
• 即便是 cache 优化，也是按照单个热点 key 进行优化，而不是对全部的数据进行优化
• redis 可以扛住 1500 万 qps

type ChattyAIRights struct {
	ID                     uint64    `gorm:"column:id"`
	UID                    string    `gorm:"column:uid"`
	TokenQuota             int64     `gorm:"column:token_quota" json:"token_quota"`
	TokenUsed              int64     `gorm:"column:token_used" json:"token_used"`
	TokenUsedTotal         int64     `gorm:"column:token_used_total" json:"token_used_total"`
	ConversationQuota      int64     `gorm:"column:conversation_quota" json:"conversation_quota"`
	ConversationUsed       int64     `gorm:"column:conversation_used" json:"conversation_used"`
	ConversationUsedTotal  int64     `gorm:"column:conversation_used_total" json:"conversation_used_total"`
	AssistantQuota         int64     `gorm:"column:assistant_quota" json:"assistant_quota"`
	AssistantUsed          int64     `gorm:"column:assistant_used" json:"assistant_used"`
	GPT4Access             bool      `gorm:"column:gpt4_access" json:"gpt_4_access"`
	APIAccess              bool      `gorm:"column:api_access" json:"api_access"`
	SubscriptionDate       time.Time `gorm:"column:subscription_date" json:"subscription_date"` // subscription date means the first time when subscription occurred.
	SubscriptionUpdateDate time.Time `gorm:"column:subscription_update_date" json:"subscription_update_date"`
	SubscriptionEndDate    time.Time `gorm:"column:subscription_end_date" json:"subscription_end_date"`
	CreatedAt              time.Time `gorm:"column:created_at"`
	UpdatedAt              time.Time `gorm:"column:updated_at"`
}

cache aside

同步缓存，同步回写