你的位置:首页 > ASP.net教程

[ASP.net教程][超简洁]EasyQ框架


EasyQ

EasyQ是一个轻量级的专门用来处理高并发HTTP请求的框架。
应用MVC异步Action机制实现了相同业务单线程排队处理,没有用任何读写锁。
可以指定某一种业务创建一条队列,也可以指定某一种业务+某一种数据ID作为一条队列。
如秒杀商品业务,可以指定所有秒杀业务都使用单线程排队处理,避免脏读 脏写。
但是这样做的话,所有秒杀商品都会进入排队,显然是不科学的。
所以扩展一种方式是: 秒杀业务+商品ID 作为队列名。
当然不止商品ID,也可以是用户ID,商品分类等任意字符串作为队列名的后缀。
  GITHUB地址:https://github.com/BTteam/EasyQ


使用说明

HomeController 是入口页面,需要继承AsyncController,使用MVC的异步Action
BT.Contexts项目放置业务代码,所有Context需要继承抽象类QueueBaseContext,并且实现3个方法
1,InitData 初始化数据,数据库获取数据的方法应该写在此处
2,Interact 交互操作,数据模型之间的交互,业务代码的各种计算、判断等
3,Persist 持久化操作,数据保存到数据库的操作应当写在此处。
这3个方法的默认执行步骤非常简单 1=》2=》3
  这个类是封装了队列、线程的操作,是EasyQ的核心类。
在HomeController使用Context时,首先应该分开2个Action 如 TestAsync TestCompleted。这是MVC异步Action的机制决定
TestAsync用来启动异步,TestCompleted是异步完成后的回调操作。这2个方法必须成对出现。具体原理请参考MSDN

调用是URL为:{host}/home/text 注意Async后缀在路由时会被去掉。
SetAsync方法必须传入AsyncManager对象,key是可选参数,如上所述是用来细分队列的。
如果想根据商品ID生成队列,不同商品的秒杀行为在不同的队列中排队,就在此处用SetAsync传入key是商品ID

public void TestAsync(string key){//GET DATATestContext context = new TestContext(1);context.SetAsync(AsyncManager, key);//参数为产品队列标识context.Execute();}

 

再看回调方法

public ActionResult TestCompleted(){var result = AsyncManager.Parameters["response"];return Content(JsonConvert.SerializeObject( result));}

 所有Context执行后的结果以Parameters["response"]返回

 

核心解析

QueueBaseContext类

public abstract class QueueBaseContext:BaseContext  {    private ILog log = LogManager.GetLogger(typeof(QueueBaseContext));    private static ConcurrentDictionary<string, ConcurrentQueue<AsyncManager>> killQueues = new ConcurrentDictionary<string, ConcurrentQueue<AsyncManager>>();    private static ConcurrentDictionary<string, Task> taskDic = new ConcurrentDictionary<string, Task>();    //场景使用步骤 编写好 1.Interact() 2.Persist() 3.在api调用初始场景后,调用QueueContextAsync()    private AsyncManager AsyncManager;    private string quenekey;    public void SetAsync(AsyncManager _AsyncManager)    {      SetAsync(_AsyncManager, "");    }    public void SetAsync(AsyncManager _AsyncManager, string _quenekey)    {      quenekey = _quenekey;      this.AsyncManager = _AsyncManager;    }    public abstract void InitData();    public override string Execute()    {      if (AsyncManager == null)      {        throw new Exception("必须调用SetAsync 设置AsyncManager对象");      }     var runtimeType= this.GetType();      var qKey = runtimeType.FullName + quenekey;     // typeof().      AsyncManager.OutstandingOperations.Increment();      //开一个队列 判断是否有队列       if (killQueues.ContainsKey(qKey) == false)      {        killQueues.TryAdd(qKey, new ConcurrentQueue<AsyncManager>(new[] {AsyncManager}));      }      else      {        killQueues[qKey].Enqueue(AsyncManager);      }      Action ac = () =>      {               while (killQueues[qKey].IsEmpty == false)        {         // Thread.Sleep(15000);          log.DebugFormat("while 进来了 killQueueitemCount length:{0} ,Q num{1}", killQueues[qKey].Count, killQueues.Count);          AsyncManager item;          killQueues[qKey].TryDequeue(out item);//取出队列的一个进行处理          try          {            InitData();            if (Interact())//对应业务逻辑              Persist();            AsyncManager.Parameters["response"] = new { Code = this.StatusCode};            AsyncManager.OutstandingOperations.Decrement();          }          catch (Exception e)          {            log.ErrorFormat("出错,e msg:{0} ,trace:{1}", e.Message, e.StackTrace);            AsyncManager.Parameters["response"] = new { Code = ResponseCode.DataError, Description = "服务器错误,请重试" };            AsyncManager.OutstandingOperations.Decrement();          }        }        //remove q      };      if (taskDic.ContainsKey(qKey) == false)      {        taskDic.TryAdd(qKey, Task.Factory.StartNew(ac));      }      if (taskDic[qKey].IsCompleted || taskDic[qKey].IsFaulted)      {        taskDic[qKey] = Task.Factory.StartNew(ac);      }      return "";    }     }

构建了2个字典 

killQueues :队列名作为KEY 队列实例作为Value
taskDic:队列名作为KEY 队列指定的执行Task作为Value

处理逻辑是创建一个Task 循环队列每次取出一个项,执行业务操作。直到队列为空。
如果在上一个Task运行过程中有新的请求加入,则不需要新建Task,只需要继续加入队列尾部。上一个Task会执行对应的业务操作。
队列中的每一个元素代表一次业务操作,操作完毕之后会调用
AsyncManager.OutstandingOperations.Decrement();
用来返回异步结果给请求线程。这样HTTP请求结果就返回给用户了。不需要等到队列完毕。
qKey可以设置任意字符串,用来细分队列名称。

队列最好用
ConcurrentQueue
因为在入列出列操作时处于多线程共享队列,必须要用线程安全的队列类。


存在缺陷

1 目前是单点设计,只能在单机上运行,还在研究横向扩展。
2 性能还需要优化
3 由于使用异步Action 导致每个Action必须一分为二。