“12306”是如何支撑百万QPS的?

2021-01-29    分类: 网站建设

每到节假日期间,一二线城市返乡、外出游玩的人们几乎都面临着一个问题:抢火车票!

从上边两种方案的考虑,我们可以得出结论:只要创建订单,就要频繁操作数据库 IO。

那么有没有一种不需要直接操作数据库 IO 的方案呢,这就是预扣库存。先扣除了库存,保证不超卖,然后异步生成用户订单,这样响应给用户的速度就会快很多;那么怎么保证不少卖呢?用户拿到了订单,不支付怎么办?

我们都知道现在订单都有有效期,比如说用户五分钟内不支付,订单就失效了,订单一旦失效,就会加入新的库存,这也是现在很多网上零售企业保证商品不少卖采用的方案。

订单的生成是异步的,一般都会放到 MQ、Kafka 这样的即时消费队列中处理,订单量比较少的情况下,生成订单非常快,用户几乎不用排队。

扣库存的艺术

从上面的分析可知,显然预扣库存的方案最合理。我们进一步分析扣库存的细节,这里还有很大的优化

为了保证扣库存和生成订单的原子性,需要采用事务处理,然后取库存判断、减库存,最后提交事务,整个流程有很多 IO,对数据库的操作又是阻塞的。

这种方式根本不适合高并发的秒杀系统。接下来我们对单机扣库存的方案做优化:本地扣库存。

我们把一定的库存量分配到本地机器,直接在内存中减库存,然后按照之前的逻辑异步创建订单。

改进过之后的单机系统是这样的:

这样就避免了对数据库频繁的 IO 操作,只在内存中做运算,极大的提高了单机抗并发的能力。

但是百万的用户请求量单机是无论如何也抗不住的,虽然 Nginx 处理网络请求使用 Epoll 模型,c10k 的问题在业界早已得到了解决。

但是 Linux 系统下,一切资源皆文件,网络请求也是这样,大量的文件描述符会使操作系统瞬间失去响应。

上面我们提到了 Nginx 的加权均衡策略,我们不妨假设将 100W 的用户请求量平均均衡到 100 台服务器上,这样单机所承受的并发量就小了很多。

然后我们每台机器本地库存 100 张火车票,100 台服务器上的总库存还是 1 万,这样保证了库存订单不超卖,下面是我们描述的集群架构:

问题接踵而至,在高并发情况下,现在我们还无法保证系统的高可用,假如这 100 台服务器上有两三台机器因为扛不住并发的流量或者其他的原因宕机了。那么这些服务器上的订单就卖不出去了,这就造成了订单的少卖。

要解决这个问题,我们需要对总订单量做统一的管理,这就是接下来的容错方案。服务器不仅要在本地减库存,另外要远程统一减库存。

有了远程统一减库存的操作,我们就可以根据机器负载情况,为每台机器分配一些多余的“Buffer 库存”用来防止机器中有机器宕机的情况。

我们结合下面架构图具体分析一下:

我们采用 Redis 存储统一库存,因为 Redis 的性能非常高,号称单机 QPS 能抗 10W 的并发。

在本地减库存以后,如果本地有订单,我们再去请求 Redis 远程减库存,本地减库存和远程减库存都成功了,才返回给用户抢票成功的提示,这样也能有效的保证订单不会超卖。

当机器中有机器宕机时,因为每个机器上有预留的 Buffer 余票,所以宕机机器上的余票依然能够在其他机器上得到弥补,保证了不少卖。

Buffer 余票设置多少合适呢,理论上 Buffer 设置的越多,系统容忍宕机的机器数量就越多,但是 Buffer 设置的太大也会对 Redis 造成一定的影响。

虽然 Redis 内存数据库抗并发能力非常高,请求依然会走一次网络 IO,其实抢票过程中对 Redis 的请求次数是本地库存和 Buffer 库存的总量。

因为当本地库存不足时,系统直接返回用户“已售罄”的信息提示,就不会再走统一扣库存的逻辑。

这在一定程度上也避免了巨大的网络请求量把 Redis 压跨,所以 Buffer 值设置多少,需要架构师对系统的负载能力做认真的考量。

代码演示

Go 语言原生为并发设计,我采用 Go 语言给大家演示一下单机抢票的具体流程。

初始化工作

Go 包中的 Init 函数先于 Main 函数执行,在这个阶段主要做一些准备性工作。

我们系统需要做的准备工作有:初始化本地库存、初始化远程 Redis 存储统一库存的 Hash 键值、初始化 Redis 连接池。

另外还需要初始化一个大小为 1 的 Int 类型 Chan,目的是实现分布式锁的功能。

也可以直接使用读写锁或者使用 Redis 等其他的方式避免资源竞争,但使用 Channel 更加高效,这就是 Go 语言的哲学:不要通过共享内存来通信,而要通过通信来共享内存。

Redis 库使用的是 Redigo,下面是代码实现:

  1. ... 
  2. //localSpike包结构体定义 
  3. package localSpike 
  4.  
  5. type LocalSpike struct { 
  6.     LocalInStock     int64 
  7.     LocalSalesVolume int64 
  8. ... 
  9. //remoteSpike对hash结构的定义和redis连接池 
  10. package remoteSpike 
  11. //远程订单存储健值 
  12. type RemoteSpikeKeys struct { 
  13.     SpikeOrderHashKey string    //redis中秒杀订单hash结构key 
  14.     TotalInventoryKey string    //hash结构中总订单库存key 
  15.     QuantityOfOrderKey string   //hash结构中已有订单数量key 
  16.  
  17. //初始化redis连接池 
  18. func NewPool() *redis.Pool { 
  19.     return &redis.Pool{ 
  20.         MaxIdle:   10000, 
  21.         MaxActive: 12000, // max number of connections 
  22.         Dial: func() (redis.Conn, error) { 
  23.             c, err := redis.Dial("tcp", ":6379") 
  24.             if err != nil { 
  25.                 panic(err.Error()) 
  26.             } 
  27.             return c, err 
  28.         }, 
  29.     } 
  30. ... 
  31. func init() { 
  32.     localSpike = localSpike2.LocalSpike{ 
  33.         LocalInStock:     150, 
  34.         LocalSalesVolume: 0, 
  35.     } 
  36.     remoteSpike = remoteSpike2.RemoteSpikeKeys{ 
  37.         SpikeOrderHashKey:  "ticket_hash_key", 
  38.         TotalInventoryKey:  "ticket_total_nums", 
  39.         QuantityOfOrderKey: "ticket_sold_nums", 
  40.     } 
  41.     redisPool = remoteSpike2.NewPool() 
  42.     done = make(chan int, 1) 
  43.     done <- 1 

“12306”是如何支撑百万QPS的?
浏览地址:https://www.cdcxhl.com/news17/98017.html

成都网站建设公司_创新互联,为您提供服务器托管手机网站建设建站公司营销型网站建设网站维护品牌网站建设

广告

声明:本网站发布的内容(图片、视频和文字)以用户投稿、用户转载内容为主,如果涉及侵权请尽快告知,我们将会在第一时间删除。文章观点不代表本网站立场,如需处理请联系客服。电话:028-86922220;邮箱:631063699@qq.com。内容未经允许不得转载,或转载时需注明来源: 创新互联

外贸网站建设