最近公司的一个后台项目使用的cache模块,由于使用的是公司内部开发的一套分布式的系统,系统由于年代比较久远,也已经没有人员进行维护了,出了问题便无人懂得如何维护,也没有相应的文档,便最近想办法使用一个新的cache模块进行替换。
开源的cache服务中,当前属redis比较流行,支持的数据类型也比较丰富,是开源项目中比较成熟的方案,公司内部也有其他团队已经选择了该方案。因此便决定选择该方案作为存储服务。redis的官方访问API推荐使用hiredis,github页面地址:https://github.com/redis/hiredis
hiredis的使用方法,在官方页面有说明,这里不在赘述,这里说明一下使用过程中遇到的一些问题。
1、使用前,首先要评估一下自己的总的数据大小。如果单台机器的内存不够的情况下,必须使用多台机器,这就涉及到数据分片的问题。如果使用多台机器,则必须在搭一套redis proxy作为中转。本次项目我使用了公司内部的一个redis proxy组件。开源的redis组件中,有twitter的一个开源项目,大家可以参考一下,地址:https://github.com/twitter/twemproxy。
2、hiredis访问过程中,尽量不要每次都对redis server去建立连接,因为这样非常耗时,通过对server保持一个tcp长连接。另外,如果多线程同时使用的话,使用不小心会导致core问题。这里给出的一个解决方案是:每个线程去维护一个长连接。使用linux线程私有数据存放句柄。
3、使用过程中,可以不分就尽量不要分库,因为分库之后,不同的逻辑需要选择select操作,获取数据前如果多一个select操作,平均耗时会多0.2ms左右。
3、如果要作优化的话,可以使用官方推荐的pipeline的方式进行效率优化,具体方法可以参考hiredis官方推荐页面的说明。