- 浏览: 545808 次
- 性别:
- 来自: 杭州
文章分类
- 全部博客 (478)
- lucene (45)
- oracle (19)
- nutch (2)
- blog (2)
- 垂直搜索 (19)
- java综合 (89)
- spring (15)
- Hibernate (9)
- Struts (9)
- Hadoop (16)
- Mysql (12)
- nosql (10)
- Linux (3)
- MyEclipse (4)
- Ant (1)
- 设计模式 (19)
- JBPM (1)
- JSP (1)
- HtmlParser (5)
- SVN (2)
- 插件 (2)
- 收藏 (7)
- Others (1)
- Heritrix (18)
- Solr (4)
- 主题爬虫 (31)
- 内存数据库 (24)
- 分布式与海量数据 (32)
- httpclient (14)
- Tomcat (1)
- 面试宝典 (6)
- Python (14)
- 数据挖掘 (1)
- 算法 (6)
- 其他 (4)
- JVM (12)
- Redis (18)
最新评论
-
hanjiyun:
本人水平还有待提高,进步空间很大,看这些文章给我有很大的指导作 ...
JVM的内存管理 Ⅲ -
liuxinglanyue:
四年后的自己:这种方法 不靠谱。 使用javaagent的方式 ...
计算Java对象占用内存空间的大小(对于32位虚拟机而言) -
jaysoncn:
附件在哪里啊test.NoCertificationHttps ...
使用HttpClient过程中常见的一些问题 -
231fuchenxi:
你好,有redis,memlink,mysql的测试代码吗?可 ...
MemLink 性能测试 -
guyue1015:
[color=orange][/color][size=lar ...
JAVA同步机制
1.简介
HBase是 Hadoop 的正式子项目,它是一个面向列的分布式数据库,它在存储数据结构上并非关系型,而是疏松分布式的,持久并按多维排序并索引的map型,其思想源于Google的BigTable论文。(Google BigTable的paper: http://labs.google.com/papers/bigtable-osdi06.pdf)
由于HBase是一个分布式、大规模的平台,主要安装在类Unix平台上。但是由于其开发语言是Java,因此它同样具有跨平台的特性,同样也可以安装在Windows操作系统上。为了方便起见,使用具有类Unix特性的Cygwin来安装HBase。
2.目的
本文主要阐述在伪分布式模式(Pseudo-distributed mode)下,在Windows操作系统上使用Cygwin来安装、运行和测试HBase项目。对于真正的分布式的集群配置,可以参考本文以及HBase项目官网(http://hadoop.apache.org/hbase/)中的讲解。
3.安装与配置
软件版本:
JDK 1.6(或以上版本)
Cygwin 2.5
Hadoop 0.20.x
HBase 0.20.x
3.1 Java、Cygwin、SSH
这里的三个软件的安装过程,可以参考《Hadoop开发者》杂志创刊号中《在Windows 上安装Hadoop 教程》,在此不再赘述。
3.2 Hadoop
同样,Hadoop的安装也可以参考《Hadoop开发者》杂志创刊号中《在Windows 上安装Hadoop 教程》一文。但是根据笔者的安装过程,列出以下几点注意:
1. 在配置hadoop-env.sh中的JAVA_HOME时,Jdk往往安装在C:\Program Files\文件夹下,例如:C:\Program Files\Java\jdk1.6.0_01。JAVA_HOME应配置如下:
export JAVA_HOME=/cygdrive/c/Progra~1/Java/jdk1.6.0_01
其中,由于Cygwin无法识别“Program Files”中间的空格,如果不按照上述设置,则系统无法找到Jdk安装目录。
当然,你也可以在Cygwin的/usr/local目录下添加一个连接,从而方便配置JAVA_HOME。例如:
ln -s /cygdrive/c/Program\ Files/Java/jdk1.6.0_01 \
/usr/local/jdk1.6.0_01
export JAVA_HOME=/usr/local/jdk1.6.0_01
2. 在core-site.xml配置文件中,属性“fs.default.name”的值与《Hadoop开发者》杂志创刊号中《在Windows 上安装Hadoop 教程》一文中的值保持一致,设置为:“hdfs://localhost:8888”。同样,配置文件mapred-site.xml中的“mapred.job.tracker”属性值设置为:“localhost:9999”。
3. 在Hadoop分布式文件系统中创建两个目录hbase和tmp,这两个目录将在下面安装HBase的过程中使用,在Shell中输入命令如下:
bin/hadoop dfs –mkdir hbase tmp
Hadoop的分布式文件系统中将增加hbase和tmp两个目录,如下图所示:
3.3 HBase
假设HBASE_HOME为HBase的安装目录。
1. 在$HBASE_HOME/conf/hbase-env.sh中增加如下两个环境变量:
export JAVA_HOME=/cygdrive/c/Progra~1/Java/jdk1.6.0_01
export HBASE_IDENT_STRING=localhost
其中,JAVA_HOME的设置参照上文的说明。
2. 将$HBASE_HOME/conf/hbase-default.xml中的所有内容,拷贝到$HBASE_HOME/conf/hbase-site.xml文件中。
3. 修改hbase-site.xml配置文件中的“hbase.rootdir”属性,以及“hbase.tmp.dir”属性,如下所示:
<property>
<name>hbase.rootdir</name>
<value>hdfs://localhost:8888/hbase</value>
<description>The directory shared by region servers.
Should be fully-qualified to include the filesystem to use.
E.g: hdfs://NAMENODE_SERVER:PORT/HBASE_ROOTDIR
</description>
</property>
……
<property>
<name>hbase.tmp.dir</name>
<value>hdfs://localhost:8888/tmp</value>
<description>Temporary directory on the local filesystem.</description>
</property>
…….
注意,这里设置的两个目录正是上文中在Hadoop的分布式文件系统中建立的两个目录,此外,端口号也与前面保持一致,设置为:“8888”。
4. 修改hbase-site.xml配置文件中的“hbase.zookeeper.quorum”属性的值为“127.0.0.1”,在Cygwin中,“localhost”有时无法正确识别。如下所示:
<property>
<name>hbase.zookeeper.quorum</name>
<value>127.0.0.1</value>
<description>Comma separated list of servers in the ZooKeeper Quorum.
For example, "host1.mydomain.com,
host2.mydomain.com, host3.mydomain.com".
By default this is set to localhost for local and pseudo-distributed modes
of operation. For a fully-distributed setup, this should be set to a full
list of ZooKeeper quorum servers. If HBASE_MANAGES_ZK
is set in hbase-env.sh
this is the list of servers which we will start/stop ZooKeeper on.
</description>
</property>
4.测试
下面测试系统是否正确安装。
1. 打开Cygwin的终端,执行“ssh localhost”命令。
2. 在Hadoop安装目录下,执行“bin/start-all.sh”脚本,启动Hadoop。
3. 在Hbase安装目录下,执行“bin/start-hbase.sh”脚本,启动HBase。
4. 在Hbase安装目录下,执行“bin/hbase shell”命令,进入Shell命令模式。
5. 在Shell中输入“create 'test', 'data'”,执行结果通过输入“list”命令进行查看。如下图所示:
6. 在Shell中分别输入“put 'test', 'row1', 'data:1', 'value1'”,“put 'test', 'row2', 'data:2', 'value2'”,“put 'test', 'row3', 'data:3', 'value3'”三条命令,以创建三条记录。
7. 输入“scan 'test'”命令,通过执行结果来测试上述三条命令的执行情况。如下图所示。
5.总结
至此,HBase在Windows操作系统中利用Cygwin工具已经安装完成,并运行良好。用户可以在系统中存储大规模的数据,并进行海量数据处理。
发表评论
-
基于Hadoop的Hbase环境搭建
2010-12-22 20:47 1274转:http://www.tech126.com/hado ... -
Hbase Shell的常用命令
2010-12-22 20:32 1634总结的一些Hbase shell的命令 都很简单,可以h ... -
HBase的性能优化和相关测试
2010-12-22 20:29 1541HBase的写效率还是很高的,但其随机读取效率并不高 可 ... -
understanding redis internal - 持久化机制
2010-12-05 09:28 1072redis 持久化有2种方式,定时快照与append only ... -
understanding redis internal - 主体结构与启动流程
2010-12-05 09:27 1054一. redis的定义 官方wiki对redis的定 ... -
MemcacheDB, Tokyo Tyrant, Redis performance test
2010-11-29 21:05 835I had tested the following ke ... -
mongodb API
2010-11-28 21:17 792http://api.mongodb.org/java/2.3 ... -
MongoDB 安装与启动
2010-11-28 19:06 946主要介绍在Windows 与 Linux 下的安装与启动 ... -
分布式key-value数据库mongoDB 安装
2010-11-28 19:05 1100Mongo是一个高性能,开源,模式自由(schema-free ... -
NoSQL数据库MongoDB之Windows安装
2010-11-28 19:04 1653就像和被人们当初炒得沸沸扬扬的SOA、OSGi等技术一 ... -
HBase使用例子(中文翻译)
2010-11-28 17:33 1524通过编码(java)的形式对HBase进行一系列的管理 ... -
HBase安装及测试
2010-11-28 17:25 1414HBase安装及测试 1. ... -
HBase安装
2010-11-28 17:23 959官方文档:http://hbase.apache.org/ ... -
hbase的安装配置
2010-11-28 17:21 892standalone&pseudo-distribut ... -
javaeye上一些hbase讲解的链接
2010-11-28 17:20 10261.比较多的一些讲解http://beyiwork.iteye ... -
HBase入门
2010-11-28 15:58 989HBase入门 部分内容参考于http://www.na ... -
HBase的安装配置
2010-11-28 15:56 900首先需要先下载HBase最新且稳定的版本:http://www ... -
MongoDB
2010-11-28 14:18 1243软硬件环境 MySQL版本:5.1.50,驱动版本:5. ... -
Berkeley DB Java Edition Research
2010-11-27 14:10 985一、Berkeley DB Java Edition ... -
Berkeley DB
2010-11-27 13:28 1066Berkeley DB(简称dbd)是oracle下一款开源的 ...
相关推荐
24 在Windows 中使用Cygwin 安装HBase 28 Nutch 与Hadoop 的整合与部署 31 在Windows eclipse 上单步调试Hive 教程 38 Hive 应用介绍 42 Hive 执行计划解析 50 MapReduce 中的Shuffle 和Sort 分析 53 海量数据存储和...
一步一步教你在WINDOW CYGWIN下完成HBASE集群环境搭建。
NULL 博文链接:https://winseclone.iteye.com/blog/1734818
在Windows下利用cygwin仿unix环境安装配置Hadoop
在Windows下本地安装Cygwin,在Windows下本地安装Cygwin
windows下安装Cygwin指南含安装包
1 Hadoop介绍 2 Hadoop在国内应用情况 3 Hadoop源代码eclipse编译教程 ...24 在Windows中使用Cygwin安装HBase 28 Nutch 与Hadoop的整合与部署 31 在Windows eclipse上单步调试Hive教程 38 Hive应用介绍
redis for Windows 7.0.7 使用cygwin编译的64位 redis微软官方的版本太旧了,此为我自己使用Cygwin编译的最新版 注意:这不是官方提供的版本
Windows下的SSH安装之Cygwin
windows版本的cygwin,可以在windows环境下使用该工具模拟linux环境
包含: Cygwin setup-x86_64.exe 官网最新版 apt-cyg tcpreplay-4.4.1.tar.gz WpdPack_4_1_2.zip
详细介绍windows下,下载安装cygwin进行搭建hadoop开发环境过程。
本文档详细介绍了如何在Windows上的Cygwin环境上安装Hadoop的详细过程,网上的很多帖子都是有错误的,我在这里总结并修改的部分错误,希望对大家有帮助。
Cygwin 安装文件.zip windows下linux环境仿真软件 安装很方便
Windows下Cygwin环境的Hadoop安装- 在Eclipse中重新编译hadoop的jar包
ansible-cygwin安装程序在Windows下以Cygwin安装Ansible 该Powershell脚本将下载并安装Cygwin和Ansible。 由于Ansible官方仅适用于Linux,因此有必要通过Cygwin在Windows上安装并执行它。 从Powershell运行 Set-...
windows下cygwin安装(亲测可用),cygwin用来模拟Linux环境
cygwin是一个在windows平台上运行的unix模拟环境,它对于学习unix/linux操作环境,或者从unix到windows的应用程序移植,或者进行某些特殊的开发工作,尤其是使用gnu工具集在windows上进行嵌入式系统开发,非常有用。
对于omniORB在windows环境下的安装配置,其中Cygwin编译器用来对omniORB的源码进行编译;该文档对Cygwin在windows下的安装配置进行介绍。
如何将Cygwin安装完全 -- 如何将Cygwin安装完全 -- 如何将Cygwin安装完全