问题描述
小弟有个及时性要求很高的项目，数据是按毫秒级别更新。已经请了团队做了几个月快完工了，为了保存数据使用了mysql。但是近期我自己测试过程中发现了效率慢的问题。当客户端产生数据的时候，基于项目的需要，要对数据库进行一些查询操作再把执行结果返回客户端。因为客户端上千，如果同时请求数据的话，峰值每100毫秒应该要产生100条数据。目前的流程：客户端产生的这100条数据，服务器收到后要先从数据库查询他们的状态，再作逻辑处理，然后把结果再分别插入数据库，再传回给客户端。客户端的要求，对于每个客户端来说，整个过程最多不能超过300毫秒。我在自己电脑上模拟了客户端的登陆，模拟30个客户端的时候，按每100毫秒向服务器发送5次短小的数据开始计时，收到服务器执行结果后的时间大概在250毫秒内。但是当我模拟100个客户端的时候，发送数据到收到结果的时间均值估计就要达到800毫秒以上了，更别说1000个客户端了。服务器那边内存是8G，8核，8M带宽（正式的时候我肯定还会加大服务器配置），直接ping服务器ip是65毫秒左右。我查看了代码，发现服务器每次收到客户端的数据后，先进行一次数据库查询，然后执行，执行过后又对数据库保存，再把结果传回客户端。也就是说，每个客户端产生一条数据，服务器那边至少要查询2次数据库（一次查询，一次更新）。我对数据库不是很熟悉，我想当客户端多的时候数据多的时候，那么服务器应该是大部分时间都花在数据库上了。我自己有个思路如下：服务器启动的时候，直接使用一个或几个字典加载mysql的所有关键数据，这样服务器查询，插入全部通过字典完成，字典更新完成之后，异步更新数据库。（因为数据一般过了2-3天之后就基本用不到了，所以3天之内的数据量应该不会太大。）这样等于是在内存中执行查询，那么估计会效率提高。而数据库只是为了保证数据完整保存好。不知道这种问题该怎么解决？我上面的思路是否可行？我没有这方面的经验，请各路高手指点一二！谢谢！
解决方案
解决方案二：
首先第一点毫秒太夸张了..肉眼都识别不出来也没什么意义啊.而且你说客户端需要查看..那么这个客户端是硬件还是软件?如果是硬件的话他不需要担心服务器花费的时间.只需要一个返回.如果是软件.300毫秒跟1000毫秒也没什么区别啊..这是人工操作的还是服务啊?然后回答技术问题你用的是socket么..如果是的话使用异步1000并发应该没什么问题.你可以接受到信息之后直接返回(client消息)然后这边弄个队列或者线程池做处理..通讯就是通讯不参与任何ado的逻辑处理以及计算而且关于历史数据部分如果3天前的数据不需要你可以按每天或者每3天来分表..引用
3天之内的数据量应该不会太大
你这1秒1000条数据..那么3天就是1000*60*60*24*3=2592000002.6E数据你说数据不大?好吧我承认我没做过上E的数据.不知道2.6E的数据很少好..不过综上所述我感觉你的需求出了问题..
解决方案三：
不如我们先来谈谈你要做什么..或者真实的需求是什么样的..比如硬件XXXX软件OOOO客户端XXXX服务端OOOO这样我们也好帮你设计下,到底如何实现!
解决方案四：
客户端和服务器是直接连接数据库还是通过其他方式？客户端只有查询操作，没有增删改操作？
解决方案五：
引用1楼diaodiaop的回复:
首先第一点毫秒太夸张了..肉眼都识别不出来也没什么意义啊.而且你说客户端需要查看..那么这个客户端是硬件还是软件?如果是硬件的话他不需要担心服务器花费的时间.只需要一个返回.如果是软件.300毫秒跟1000毫秒也没什么区别啊..这是人工操作的还是服务啊?然后回答技术问题你用的是socket么..如果是的话使用异步1000并发应该没什么问题.你可以接受到信息之后直接返回(client消息)然后这边弄个队列或者线程池做处理..通讯就是通讯不参与任何ado的逻辑处理以及计算而且关于历史数据部分如果3天前的数据不需要你可以按每天或者每3天来分表..引用
3天之内的数据量应该不会太大你这1秒1000条数据..那么3天就是1000*60*60*24*3=2592000002.6E数据你说数据不大?好吧我承认我没做过上E的数据.不知道2.6E的数据很少好..不过综上所述我感觉你的需求出了问题..
客户端当然是个软件，客户端在不断的接收数据。你说的“如果是软件.300毫秒跟1000毫秒也没什么区别啊”，现在这个团队也认为这样，才1秒不要紧。但是这个要求不是胡来，在300ms不要紧，但是如果1秒以上，我们客户会全部跑光。我说100毫秒100条数据，是峰值，并不是每秒种都这样的。但这个峰值也许在一段时间内多次出现。但如果这阵子我们延迟1秒以上，这个系统基本就等于没价值了。使用socket通信的。
解决方案六：
引用2楼diaodiaop的回复:
不如我们先来谈谈你要做什么..或者真实的需求是什么样的..比如硬件XXXX软件OOOO客户端XXXX服务端OOOO这样我们也好帮你设计下,到底如何实现!
硬件说实话我也不大懂，我只是参考别人的建议，尽量往大的方向去买服务器。客户端是windows桌面程序。客户端，服务端都是c#，服务端预备多搞几个，但是目前我自己测试的结果，估计不是加服务器那么简单。
解决方案七：
引用3楼luoye4321的回复:
客户端和服务器是直接连接数据库还是通过其他方式？客户端只有查询操作，没有增删改操作？
客户端不直接和数据库连。客户端的任何查询、增加（没有删）都是依据本身的逻辑。客户端向服务器那边提交请求，服务器经过分析（查询数据库）后，做出判断，执行更新数据库，再返回结果。
解决方案八：
用SQLServer2014，支持内存优化表。比你的山寨实现靠谱多了。
解决方案九：
客户端软件用户操作怎么可能产生那么多的数据?点击下就几千条?这是什么软件..就算在自动采集的硬件也没有这么多数据啊...如果仅仅是单纯的操作就1000个人也不怕啊..主要是1秒1000条我很想知道这是怎么来的..
解决方案十：
引用7楼caozhy的回复:
用SQLServer2014，支持内存优化表。比你的山寨实现靠谱多了。
谢谢！
解决方案十一：
引用8楼diaodiaop的回复:
客户端软件用户操作怎么可能产生那么多的数据?点击下就几千条?这是什么软件..就算在自动采集的硬件也没有这么多数据啊...如果仅仅是单纯的操作就1000个人也不怕啊..主要是1秒1000条我很想知道这是怎么来的..
客户端本身的操作一秒内可以达到15条数据，但是客户端估计有500-1000个。在某个情况下，很容易到达那个峰值。
解决方案十二：
引用7楼caozhy的回复:
用SQLServer2014，支持内存优化表。比你的山寨实现靠谱多了。
我看了几家云服务器，阿里云好像只提供sql2008...这个可以不？
解决方案十三：
我觉得是你整体的方案出了问题。1秒15条？这是客户端么。你确认自己做的不是个通信网关？而且，查询之前先插入？数据库中还用了临时表？不会用视图么？不要因为SQL语句拼接起来麻烦，就随便想一些奇怪的方案实行。
解决方案十四：
该是谁做的工作就是谁去做。不要因为在数据库里加个表，然后执行一下SUM，就自己求和了，看起来挺方便，于是全这么用瞎胡闹的用法自己做个程序玩还行，正式的项目也敢这么干，不崩溃才怪。
解决方案十五：
引用12楼Z65443344的回复:
我觉得是你整体的方案出了问题。1秒15条？这是客户端么。你确认自己做的不是个通信网关？而且，查询之前先插入？数据库中还用了临时表？不会用视图么？不要因为SQL语句拼接起来麻烦，就随便想一些奇怪的方案实行。
1秒15条不算多。可能我表述有误，是插入数据前先查询（判断有没有必要插入）。视图我感觉应该作用不大，应该数据是随时就会更新的。基本上每次都是插入操作，查询也是为了判断是不是要做插入操作。sql语句不是麻烦，现在mysql的已经完全做完了，但我测试的结果发现效率太低。我自己对数据库这部分了解很少，我自己的判断，因为我们传输的数据虽然频率很高但是数据量很小，所以我估计是数据库的查询插入降低了性能。
解决方案：
内存优化数据库需要SQLServer2014或更高版本才能支持。
解决方案：
可以在服务器端和数据库中间加一个缓存服务。服务器处理数据用异步来操作，所有数据可以先加载到内存中，插入数据可以先插入到缓存中再异步写入数据库。
解决方案：
可以考虑以下in-memorydatabase，例如eXtremeDB，OracleTimesTen
解决方案：
这个瓶颈就是入库前查询。1.要确定3天的数据量到底有多大。2.内存仅保存查询关键字，数据结构尽量使用平衡二叉树，树节点对象使用对象池技术。如果手上没有可用的平衡树，也可以考虑HashSet<T>或者Dictionary<KT,VT>，使用Dictionary<KT,VT>的话初始化的时候给一个合适的容器大小防止Hash重组。PS:如果你使用数据库的内存优化来查询，很容易出现内存不足或者IO退化。3.数据超时淘汰处理锁粒度要细：如果是二叉树可以一个节点处理锁一次；如果是哈希表ToList()的时候锁一次，然后每处理一个数据锁一次。4.如果每秒新增数据量>1000，尽量采用批量导入方法，比如SqlServer的SqlBulkCopy。5.你要知道网络响应时间300ms是不可控的，可能与网络环境的关系更大，你只能保证服务器的处理时间<0.1ms。
解决方案：
内存定量缓存。publicclassQueueDictionary<T,V>{privateintqueueLenght=32;privateDictionary<T,V>dictionary=newDictionary<T,V>();privateQueue<T>_queue;publicQueue<T>Queue{get{return_queue;}set{_queue=value;}}///<summary>///构造函数///</summary>///<paramname="count">队列的数量</param>publicQueueDictionary(intcount=32){if(count>0)this.queueLenght=count;}publicVthis[Tt]{get{if(dictionary.ContainsKey(t)){returndictionary[t];}returndefault(V);}set{if(dictionary.ContainsKey(t)){if(!dictionary[t].Equals(value)){dictionary[t]=value;}}else{if(Queue.Count==this.queueLenght){vartt=Queue.Dequeue();dictionary.Remove(tt);dictionary[t]=value;}}}}}
解决方案：
引用19楼jiangfling的回复:
内存定量缓存。publicclassQueueDictionary<T,V>{privateintqueueLenght=32;privateDictionary<T,V>dictionary=newDictionary<T,V>();privateQueue<T>_queue;publicQueue<T>Queue{get{return_queue;}set{_queue=value;}}///<summary>///构造函数///</summary>///<paramname="count">队列的数量</param>publicQueueDictionary(intcount=32){if(count>0)this.queueLenght=count;}publicVthis[Tt]{get{if(dictionary.ContainsKey(t)){returndictionary[t];}returndefault(V);}set{if(dictionary.ContainsKey(t)){if(!dictionary[t].Equals(value)){dictionary[t]=value;}}else{if(Queue.Count==this.queueLenght){vartt=Queue.Dequeue();dictionary.Remove(tt);dictionary[t]=value;}}}}}
这个怎么用...能给个例子么，谢谢
解决方案：
你网卡受得了吗
解决方案：
引用20楼wwwww112233的回复:
Quote: 引用19楼jiangfling的回复:
内存定量缓存。publicclassQueueDictionary<T,V>{privateintqueueLenght=32;privateDictionary<T,V>dictionary=newDictionary<T,V>();privateQueue<T>_queue;publicQueue<T>Queue{get{return_queue;}set{_queue=value;}}///<summary>///构造函数///</summary>///<paramname="count">队列的数量</param>publicQueueDictionary(intcount=32){if(count>0)this.queueLenght=count;}publicVthis[Tt]{get{if(dictionary.ContainsKey(t)){returndictionary[t];}returndefault(V);}set{if(dictionary.ContainsKey(t)){if(!dictionary[t].Equals(value)){dictionary[t]=value;}}else{if(Queue.Count==this.queueLenght){vartt=Queue.Dequeue();dictionary.Remove(tt);dictionary[t]=value;}}}}}这个怎么用...能给个例子么，谢谢
直接new一个对象就OK了