- 浏览: 547620 次
- 性别:
- 来自: 杭州
文章分类
- 全部博客 (478)
- lucene (45)
- oracle (19)
- nutch (2)
- blog (2)
- 垂直搜索 (19)
- java综合 (89)
- spring (15)
- Hibernate (9)
- Struts (9)
- Hadoop (16)
- Mysql (12)
- nosql (10)
- Linux (3)
- MyEclipse (4)
- Ant (1)
- 设计模式 (19)
- JBPM (1)
- JSP (1)
- HtmlParser (5)
- SVN (2)
- 插件 (2)
- 收藏 (7)
- Others (1)
- Heritrix (18)
- Solr (4)
- 主题爬虫 (31)
- 内存数据库 (24)
- 分布式与海量数据 (32)
- httpclient (14)
- Tomcat (1)
- 面试宝典 (6)
- Python (14)
- 数据挖掘 (1)
- 算法 (6)
- 其他 (4)
- JVM (12)
- Redis (18)
最新评论
-
hanjiyun:
本人水平还有待提高,进步空间很大,看这些文章给我有很大的指导作 ...
JVM的内存管理 Ⅲ -
liuxinglanyue:
四年后的自己:这种方法 不靠谱。 使用javaagent的方式 ...
计算Java对象占用内存空间的大小(对于32位虚拟机而言) -
jaysoncn:
附件在哪里啊test.NoCertificationHttps ...
使用HttpClient过程中常见的一些问题 -
231fuchenxi:
你好,有redis,memlink,mysql的测试代码吗?可 ...
MemLink 性能测试 -
guyue1015:
[color=orange][/color][size=lar ...
JAVA同步机制
I had tested the following key-value store for set() and get() 2 Linux boxes in a LAN, 1 server and 1 test client db-4.7.25.tar.gz Memcachedb startup parameter Tokyo Tyrant (Tokyo Cabinet) configuration ulimsiz=”256m” Redis configuration Client in Java, JDK1.6.0, 16 threads Test 1, 1-5,000,000 as key, 100 bytes string value, do set, then get test, all get test has result. Server Load Average Test 2, 1-500,000 as key, 20k bytes string value, do set, then get test, all get test has result. When test Redis server, the memory goes up steadily, consumed all 8G and then use swap(and write speed slow down), after all memory and swap space is used, the client will get exceptions. So use Redis in a productive environment should limit to a small data size. It is another cache solution rather than a persistent storage. So compare Redis together with MemcacheDB/TC may not fair because Redis actually does not save data to disk during the test. Tokyo cabinet and memcachedb are very stable during heavy load, use very little memory in set test and less than physical memory in get test. MemcacheDB peformance is poor for write large data size(20k). The call response time was not monitored in this test. 本文出自 “后端技术” 博客,请务必保留此出处http://timyang.blog.51cto.com/1539170/307144
1. Test environment
1.1 Hardware/OS
Linux Centos 5.2 64bit
Intel(R) Xeon(R) CPU E5410 @ 2.33GHz (L2 cache: 6M), Quad-Core * 2
8G memory
SCSI disk (standalone disk, no other access)1.2 Software version
libevent-1.4.11-stable.tar.gz
memcached-1.2.8.tar.gz
memcachedb-1.2.1-beta.tar.gz
redis-0.900_2.tar.gz
tokyocabinet-1.4.9.tar.gz
tokyotyrant-1.1.9.tar.gz1.3 Configuration
Test 100 bytes
./memcachedb -H /data5/kvtest/bdb/data -d -p 11212 -m 2048 -N -L 8192
(Update: As mentioned by Steve, the 100-byte-test missed the -N paramter, so I added it and updated the data)
Test 20k bytes
./memcachedb -H /data5/kvtest/mcdb/data -d -p 11212 -b 21000 -N -m 2048
Use default Tokyo Tyrant sbin/ttservctl
use .tch database, hashtable database
sid=1
dbname=”$basedir/casket.tch#bnum=50000000″ # default 1M is not enough!
maxcon=”65536″
retval=0
timeout 300
save 900 1
save 300 10
save 60 10000
# no maxmemory settings1.4 Test client
Use Memcached client java_memcached-release_2.0.1.jar
JRedis client for Redis test, another JDBC-Redis has poor performance.2. Small data size test result
Request per second(mean)
Store
Write
Read
Memcached
55,989
50,974
Memcachedb
25,583
35,260
Tokyo Tyrant
42,988
46,238
Redis
85,765
71,708
Store
Write
Read
Memcached
1.80, 1.53, 0.87
1.17, 1.16, 0.83
MemcacheDB
1.44, 0.93, 0.64
4.35, 1.94, 1.05
Tokyo Tyrant
3.70, 1.71, 1.14
2.98, 1.81, 1.26
Redis
1.06, 0.32, 0.18
1.56, 1.00, 0.54
3. Larger data size test result
Request per second(mean)
(Aug 13 Update: fixed a bug on get() that read non-exist key)
Store
Write
Read
Memcachedb
357
327
Tokyo Tyrant
3,501
257
Redis
1,542
957
4. Some notes about the test
发表评论
-
基于Hadoop的Hbase环境搭建
2010-12-22 20:47 1281转:http://www.tech126.com/hado ... -
Hbase Shell的常用命令
2010-12-22 20:32 1639总结的一些Hbase shell的命令 都很简单,可以h ... -
HBase的性能优化和相关测试
2010-12-22 20:29 1547HBase的写效率还是很高的,但其随机读取效率并不高 可 ... -
understanding redis internal - 持久化机制
2010-12-05 09:28 1078redis 持久化有2种方式,定时快照与append only ... -
understanding redis internal - 主体结构与启动流程
2010-12-05 09:27 1059一. redis的定义 官方wiki对redis的定 ... -
mongodb API
2010-11-28 21:17 796http://api.mongodb.org/java/2.3 ... -
MongoDB 安装与启动
2010-11-28 19:06 953主要介绍在Windows 与 Linux 下的安装与启动 ... -
分布式key-value数据库mongoDB 安装
2010-11-28 19:05 1107Mongo是一个高性能,开源,模式自由(schema-free ... -
NoSQL数据库MongoDB之Windows安装
2010-11-28 19:04 1661就像和被人们当初炒得沸沸扬扬的SOA、OSGi等技术一 ... -
HBase使用例子(中文翻译)
2010-11-28 17:33 1529通过编码(java)的形式对HBase进行一系列的管理 ... -
HBase安装及测试
2010-11-28 17:25 1421HBase安装及测试 1. ... -
HBase安装
2010-11-28 17:23 964官方文档:http://hbase.apache.org/ ... -
在Windows中使用Cygwin安装HBase
2010-11-28 17:21 13241.简介 HBase是 Hadoop 的 ... -
hbase的安装配置
2010-11-28 17:21 897standalone&pseudo-distribut ... -
javaeye上一些hbase讲解的链接
2010-11-28 17:20 10321.比较多的一些讲解http://beyiwork.iteye ... -
HBase入门
2010-11-28 15:58 995HBase入门 部分内容参考于http://www.na ... -
HBase的安装配置
2010-11-28 15:56 905首先需要先下载HBase最新且稳定的版本:http://www ... -
MongoDB
2010-11-28 14:18 1248软硬件环境 MySQL版本:5.1.50,驱动版本:5. ... -
Berkeley DB Java Edition Research
2010-11-27 14:10 990一、Berkeley DB Java Edition ... -
Berkeley DB
2010-11-27 13:28 1070Berkeley DB(简称dbd)是oracle下一款开源的 ...
相关推荐
Memcached VS Redis:2者究竟有哪些区别,什么场景下应用那种类型的缓存服务器。
memcachedb, memcachedb
memcachedb 手册 pdf ,很详细,希望能帮到你们
1.1.3 memcachedb ............................................................................................................ 8 1.1.4 Cassandra ...........................................................
memcachedb-1.2.0.tar.gz
memcachedb是 一个由新浪网的开发人员开放出来的开源项目,给memcached分布式缓存服务器添加了Berkeley DB的持久化存储机制和异步主辅复制机制
NULL 博文链接:https://chinaestone.iteye.com/blog/521674
Tokyo cabinet / Tyrant CT.M Scalien Berkley DB MemcacheDB Mnesia LightCloud HamsterDB Flare 最终一致性Key Value存储 Amazon之Dynamo 功能特色 架构特色 BeansDB 简介 更新 特性 性能 Nuclear 两个设计上的T ...
4 Tokyo cabinet / Tyrant 4 CT.M 4 Scalien 4 Berkley DB 4 MemcacheDB 4 Mnesia 4 LightCloud 4 HamsterDB 4 Flare 4 最终一致性Key Value存储 4 Amazon之Dynamo 4 功能特色 4 架构特色 4 BeansDB 4 简介 4 更新 4...
自述文件 快速将JSON Blob加载到或。 给定一个文件,请使用JSON文档中的值作为键,并将其值设置为JSON Blob。 注意:不支持嵌套键。 安装 ...或通过安装。 ... -addr="127.0.0.1:11211": hostport of memcache ...
内存数据库的优劣对比,主要包括fastdb,memcachedb,mangodb等,也涉及到了数据库的设计思路,已经性能比较。对于选择合适的内存数据库有一定的帮助吧。
MySQL Memcache_engine的安装...Memcache_engine是一个MySQL 5.1数据库的存储引擎,它能够让用户通过标准的SQL语句(SELECT/UPDATE/INSERTE/DELETE)访问Memcached(还支持新浪的Memcachedb、dbcached)中存放的数据。
对于粘贴和 URL 的存储,我们使用带有 cmemcached python 插件的 memcachedb 和 memcached,但是我们正在努力使其更加模块化。 所有粘贴和 URL 都使用 MsgPack 进行序列化。 安装和配置 目前,您需要 Python 2.7 ...
libevent是一个事件触发的网络库,适用于windows、linux、bsd等多种平台,内部使用select、epoll、kqueue等系统调用管理事件机制。著名分布式缓存软件memcached也是libevent based,而且libevent在使用上可以做到跨...