关于消息传递：Clojure中限制core.async通道的速率

Rate limiting core.async channels in Clojure

我正在将Clojure与core.async一起使用，并且遇到一种情况，我想对通过通道处理的消息数设置速率限制。

我特别想：

定义速率限制，例如每秒1,000条消息
只要消息数量少于速率限制，就可以正常(及时)处理消息
如果超出了速率限制，请对事件进行某种明智的替代处理(例如，告诉客户稍后重试)
具有相当低的开销

实现此目标的最佳方法是什么？

问题分类：

定义速率限制，例如每秒1,000条消息

只要消息数量少，就可以正常(及时)处理消息
比速率限制

如果超出了速率限制，请对事件进行某种明智的替代处理(例如，告诉客户
稍后再试)

具有相当低的开销

我正在通过简单地在循环中组成通道的解决方案来解决这个问题。

一种常见的速率限制算法称为令牌桶。您有固定大小的令牌桶，并以固定速率添加令牌。只要您有令牌，就可以发送消息。

桶的大小决定了"突发性"(您能以多快的速度赶上最大速率)，而速率决定了最大平均速率。这些将是我们代码的参数。

让我们创建一个以给定速率发送消息(无关紧要)的通道。 (＃1)

1
2
3
4
5
6
7
8

(defn rate-chan [burstiness rate]
(let [c (chan burstiness) ;; bucket size is buffer size
delta (/ 1000 rate)]
(go
(while true
(>! c :go) ;; send a token, will block if bucket is full
(<! (timeout delta)))) ;; wait a little
c))

现在我们想要一个通过速率限制另一个通道的通道。 (＃2)

1
2
3
4
5
6
7

(defn limit-chan [in rc]
(let [c (chan)]
(go
(while true
(<! rc) ;; wait for token
(>! c (<! in)))) ;; pass message along
c))

现在，如果没有消息等待，我们可以使用默认的这些渠道：

1
2
3
4
5
6
7

(defn chan-with-default [in]
(let [c (chan)]
(go
(while true
;; take from in, or if not available, pass useful message
(>! c (alts! [in] :default :rate-exceeded))))
c))

现在，我们已经解决了所有问题。

1
2
3

(def rchan (-> (chan)
(limit-chan (rate-chan 100 1000))
(chan-with-default)))

就＃4而言，这并不是绝对最快的解决方案。但这是使用可组合部件的部件，可能足够快。如果您希望更快，可以做一个循环来完成所有这些操作(而不是将其分解为较小的函数)。最快的方法是自己实现接口。