ITeye博客

布尔值

suxain · 共 8 篇文章

Hadoop mapreduce原理学习

转自 http://blog.csdn.net/thomas0yang/article/details/8562910 最近整了很长一段时间才了解了map reduce的工作原理, shuffle是mapreduce的心脏,了解了这个过程,有助于编写效率更高的mapreduce程序和hadoop调优 。自己画了一幅流程图(点击查看全图): 另外,还找到一篇文章,很好,引用一下。 Hadoop 是Apache 下的一个项目,由HDFS、MapReduce、HBase、Hive 和ZooKeeper等成员组成。其中,HDFS 和MapReduce 是两个最基础最重要的成员。 HDFS是Googl…

2013-11-07 09:43 · hadoop · 评论(0)

hive优化之------控制hive任务中的map数和reduce数

文章来自: http://www.dataguru.cn/article-3269-1.html 一、 控制hive任务中的map数: 1. 通常情况下,作业会通过input的目录产生一个或者多个map任务。 主要的决定因素有: input的文件总个数,input的文件大小,集群设置的文件块大小(目前为128M, 可在hive中通过set dfs.block.size;命令查看到,该参数不能自定义修改); 2. 举例: a) 假设input目录下有1个文件a,大小为780M,那么hadoop会将该文件a分隔成7个块(6个128m的块和1个12m的块),从而产生7个map数 b) 假设inpu…

2013-08-28 11:24 · hadoop · 评论(0)

hadoop hdfs JAVA API 基本文件操作

本文主要介绍了 HADOOP HDFS JAVA API 对HDFS中的文件操作,如:创建文件,将文件上传到HDFS,从HDFS下载文件到本地,HDFS文件删除等 话不多说,上代码: import java.io.File; import java.io.FileInputStream; import java.io.FileOutputStream; import java.io.IOException; import java.io.OutputStream; import java.net.URI; import org.apache.hadoop.conf.Configuration…

2013-04-13 20:33 · hadoop · HDFS · 评论(0)

HBASE 完全分布式安装

前面讲到了hadoop的安装,今天将hbase的安装过程记录下来: 前提环境,hadoop 1.1.1已安装好并能正常运行。 主机网络环境: master 192.168.1.60 slave1 192.168.1.61 slave2 192.168.1.62 三台主机的用户名均为 hadoop。 下面开始讲hbase的安装 1、http://mirror.bit.edu.cn 下载 hbase-0.94.5.tar.gz 放在/home/hbase目录下,解压hbase-0.94.5.tar.gz。 2、编辑配置文件/home/hbase/hbase-09.4.5/conf(hbase-s…

2013-03-16 21:51 · hadoop · Linux · hbase · 评论(0)

Linux SSH 免密码登录配置

由于学习hadoop,集群之间需要SSH无密码登录,那么,在安装hadoop之前,就必须得配置好机器之间的无密码的SSH登录。如何配置无密码SSH登录呢? 我们以在A机器上无密码登录到B机器上为例: 1、切换到需要用来登录的用户,如,我们用A机器名为hadoop的用户登录B机器的hadoop用户下。 su hadoop 切换到hadoop 用户。 2、给两台机器分别改主机名:这里 A:master B:slave1: 修改这个文件etc/sysconfig/network这个文件里的主机名. NETWORKING=yes HOSTNAME=主机名 记得重启!!! 并修改hosts映射: vi…

2013-03-04 22:42 · hadoop · Linux · 评论(0)

中缀表达式转后缀表达式以及后缀表达式合法性验证

最近由于一项需求,需要用户自己来组合表达式,然后做运算,对于计算机处理数学计算,一般是先将中缀表达式,也就是我们平常见到的数学表达式转化为后缀表达式, 如 (2+3)*6 转换成 2 3 + 6 *, 后缀表达式中,是不含有括号的,计算机在运算的时候,从左向右读取,若遇到运算符,则取运算符左边的两个操作数来计算,并将计算结果作为下一次计算的一个操作数。 下面分享一个用JAVA实现的中缀转后缀并实现后缀表达式合法性的验证 /** * 中缀表达式转后缀表达式 * * @param formula * 中缀表达式 * @return 后缀表达式 */ public static String mi…

2012-12-26 17:07 · J2EE · 评论(0)

初识hadoop之hadoop 安装

本来是用word写的,里面有一些截图,可是iteye的编辑器上传图片不方便,所以,附件中是原版word文档 一、 Hadoop安装 1.1 hosts文件修改 在每个结点修改hosts文件,配置节点IP与别名 Vi /etc/hosts 1.2 建立hadoop用户 Useradd username //添加用户 Passwd username //为用户生成密码 1.3 生成公私钥密钥对 用hadoop 用户登录 在各个节点上,分别使用 ssh-keygen –t rsa –f ~/.ssh/id_rsa来生成密钥 Cd ~/.ssh cat id_rsa.pub >> authorize…

2012-12-15 12:38 · hadoop · 评论(0)

在windows 下 使用 eclipes 连接 linux下的hadoop集群

hadoop 是工作在linux下的分布式系统,做为一个开发者,对于手里资源有限,不得不使用只有终端的虚拟机来运行hadoop集群。但是,在这种环境下,开发,调试就变得那么的不容易了。那么,有没有办法在windows下发调试呢。答案是肯定的。 hadoop为我们提供了一个Eclipes插件,使用我们可以在Eclipse环境下开发,调试hadoop程序,那么,应该如何安装eclipse-hadoop插件呢。下面把我的研究结果分享给大家(附上我自己编译的插件)。 1、编译eclipse-hadoop-plugins 在hadoop目录下的找到/src/contrib/eclipse-plugin…

2012-12-15 12:30 · hadoop · 评论(0)