Giới thiệu cài đặt Apache Hive trên linux mới nhất

Giới thiệu cài đặt Apache Hive trên linux mới nhất

Dưới đây là các bước cài đặt Java, Hadoop, Hive. Các bạn cần làm theo. Trong trường hợp hệ thống đã cài đặt Java rồi thì bỏ qua bước 1. Nếu đã cài Hadoop rồi thì chỉ cần quan tâm tới bước 3 thôi.

Step1: Cài Java

  •  Download java
Link: http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html
File: jdk-7u71-linux-x64.tar.gz
Unzip bằng lệnh sau
$ tar -xzvf jdk-7u71-linux-x64.tar.gz
  •  Di chuyển tới thư mục cài đặt
$ sudo mv jdk1.7.0_71 /usr/local/
  • Thiết lập môi trường
$ vi ~/.bashrc
> export JAVA_HOME=/usr/local/jdk1.7.0_71
> export PATH=$PATH:$JAVA_HOME/bin
$ source ~/.bashrc
  • Cấu hình java alternatives.
$ alternatives --install /usr/bin/java java usr/local/java/bin/java 2
$ alternatives --install /usr/bin/javac javac usr/local/java/bin/javac 2
$ alternatives --install /usr/bin/jar jar usr/local/java/bin/jar 2
$ alternatives --set java usr/local/java/bin/java
$ alternatives --set javac usr/local/java/bin/javac
$ alternatives --set jar usr/local/java/bin/jar
  • Kiểm tra java version
$ java –version
java version "1.7.0_71"
Java(TM) SE Runtime Environment (build 1.7.0_71-b13)
Java HotSpot(TM) Client VM (build 25.0-b02, mixed mode)

 Step2: Cài Hadoop

  •  Step2: Cài Hadoop
$ wget http://apache.claz.org/hadoop/common/hadoop-2.6.1/hadoop-2.6.1.tar.gz
$ tar -xzvf hadoop-2.6.1.tar.gz
$ sudo mv hadoop-2.6.1 /usr/local/hadoop/
  •  Thiết lập thông tin môi trường 
$ vi ~/.bashrc
thêm các lệnh sau
> export HADOOP_HOME=/usr/local/hadoop
> export HADOOP_MAPRED_HOME=$HADOOP_HOME
> export HADOOP_COMMON_HOME=$HADOOP_HOME
> export HADOOP_HDFS_HOME=$HADOOP_HOME
> export YARN_HOME=$HADOOP_HOME
> export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native export
PATH=$PATH:$HADOOP_HOME/sbin:$HADOOP_HOME/bin
$ source ~/.bashrc
  • Sửa JAVA_HOME Trong hadoop-env.sh
$ cd $HADOOP_HOME/etc/hadoop
$ vi hadoop-env.sh
> export JAVA_HOME=/usr/local/jdk1.7.0_71
  • core-site.xml
     
        fs.default.name 
        hdfs://localhost:9000 
     
 
  •  hdfs-site.xml
     
        dfs.replication 
        1 
     
     
        dfs.name.dir 
        file:///home/hadoop/hadoopinfra/hdfs/namenode  
     
     
        dfs.data.dir
        file:///home/hadoop/hadoopinfra/hdfs/datanode  
    
  •  yarn-site.xml
     
        yarn.nodemanager.aux-services 
        mapreduce_shuffle 
     
  •  mapred-site.xml
     
        mapreduce.framework.name 
        yarn 
     
  •  Cài đặt namenode bằng lệnh sau
 $ hdfs namenode –format
  •  Start dfs
 $ start-dfs.sh
  •  Start yarn
$ start-yarn.sh
  • Truy cập hadoop

http://localhost:50070/

  • Cluster

http://localhost:8088/

Step3: Cài Hive

  • Download
$ wget https://archive.apache.org/dist/hive/hive-0.14.0/apache-hive-0.14.0-bin.tar.gz
$ tar -xzvf apache-hive-0.14.0-bin.tar.gz
$ sudo mv apache-hive-0.14.0-bin /usr/local/hive
  • Môi trường
$ vi ~/.bashrc
> export HIVE_HOME=/usr/local/hive
> export PATH=$PATH:$HIVE_HOME/bin
> export CLASSPATH=$CLASSPATH:/usr/local/Hadoop/lib/*:.
> export CLASSPATH=$CLASSPATH:/usr/local/hive/lib/*:.
$ source ~/.bashrc
  • Cấu hình
$ cd $HIVE_HOME/conf
$ cp hive-env.sh.template hive-env.sh
$ vi hive-env.sh
> export HADOOP_HOME=/usr/local/hadoop
  • Apache Derby
$ wget http://archive.apache.org/dist/db/derby/db-derby-10.4.2.0/db-derby-10.4.2.0-bin.tar.gz
$ tar zxvf db-derby-10.4.2.0-bin.tar.gz
$ sudo mv db-derby-10.4.2.0-bin /usr/local/derby
$ vi ~/.bashrc
> export DERBY_HOME=/usr/local/derby
> export PATH=$PATH:$DERBY_HOME/bin
> export CLASSPATH=$CLASSPATH:$DERBY_HOME/lib/derby.jar:$DERBY_HOME/lib/derbytools.jar
$ source ~/.bashrc
  • Tạo thư mục metastore
$ sudo mkdir $DERBY_HOME/data
  • Cấu hình metastore
$ cd $HIVE_HOME/conf
$ cp hive-default.xml.template hive-site.xml
  • hive-site.xml
    javax.jdo.option.ConnectionURL
    jdbc:derby://localhost:1527/metastore_db;create=true 
    JDBC connect string for a JDBC metastore 
  • tạo file jpox.properties với nội dung
javax.jdo.PersistenceManagerFactoryClass = org.jpox.PersistenceManagerFactoryImpl
org.jpox.autoCreateSchema = false
org.jpox.validateTables = false
org.jpox.validateColumns = false
org.jpox.validateConstraints = false
org.jpox.storeManagerType = rdbms
org.jpox.autoCreateSchema = true
org.jpox.autoStartMechanismMode = checked
org.jpox.transactionIsolation = read_committed
javax.jdo.option.DetachAllOnCommit = true
javax.jdo.option.NontransactionalRead = true
javax.jdo.option.ConnectionDriverName = org.apache.derby.jdbc.ClientDriver
javax.jdo.option.ConnectionURL = jdbc:derby://hadoop1:1527/metastore_db;create = true
javax.jdo.option.ConnectionUserName = APP
javax.jdo.option.ConnectionPassword = mine
  • Run Hive
$ $HADOOP_HOME/bin/hadoop fs -mkdir /tmp
$ $HADOOP_HOME/bin/hadoop fs -mkdir /user/hive/warehouse
$ $HADOOP_HOME/bin/hadoop fs -chmod g+w /tmp
$ $HADOOP_HOME/bin/hadoop fs -chmod g+w /user/hive/warehouse
$ cd $HIVE_HOME
$ bin/hive
hive> show tables;
OK
Time taken: 2.798 seconds
hive>

 Hy vọng bài viết sẽ giúp các bạn cài đặt thành công Hive. Trong bài tiếp theo sẽ tôi sẽ đề cập tới Hive QL, thành phần quan trọng nhất trong Hive

Bạn thấy bài viết này như thế nào?: 
No votes yet
Ảnh của Tommy Tran

Tommy Tran owner Express Magazine

Drupal Developer having 9+ year experience, implementation and having strong knowledge of technical specifications, workflow development. Ability to perform effectively and efficiently in team and individually. Always enthusiastic and interseted to study new technologies

  • Skype ID: tthanhthuy
  • Phone/Zalo: (+84) 944 225 212
  • WhatsApp: (+84) 944 225 212
  • Line Messenger: (+84) 944 225 212
  • Email: asaleotestf@gmail.com
  • Telegram Messenger: https:/t.me/tommytran0401

Quảng cáo việc làm

 

Thích hợp các bạn nữ mảng thợ may làm việc tại nước NGA

Đơn hàng Tuyển dụng 100 Thợ may đi Nga(đợt 1 tháng 3.2021, đợt 2 tháng 5.2021). Lương thực lãnh 800 USD, bao ăn ở, vé máy bay và visa, phí xuất cảnh(1800 USD)trả khi đi làm có lương. Bạn có thể liên hệ CÔNG TY qua Phone/Zalo: (+84) 944 225 212. Công ty sẽ tư vấn cho bạn.

Xem chi tiết: >>> https://bit.ly/3o9NOfR

Tìm kiếm bất động sản

 

Advertisement

 

jobsora

Dich vu khu trung tphcm

Dich vu diet chuot tphcm

Dich vu diet con trung

Quảng Cáo Bài Viết

 
Mang giao diện của iOS vào Windows với iPadian

Mang giao diện của iOS vào Windows với iPadian

Nếu đã sở hữu một chiếc máy tính bảng iPad thì hẳn người dùng không còn xa lạ gì với giao diện tuyệt vời của hệ điều iOS trên thiết bị này.

Một số điểm quan trọng khi sử dụng Drupal 8 Composer lưu ý

Một số điểm quan trọng khi sử dụng Drupal 8 Composer lưu ý

Whether you are familiar with Composer or not, using it to manage dependencies on a Drupal project entails its own unique set of best practices. In this article, we will start by getting a Composer-managed Drupal project set up

Microsoft (Teams và Skype)

Những phần mềm họp trực tuyến thay thế Zoom bảo mật hơn là Hangout Meets

Các dạng Video Conference như Cisco Webex, Microsoft Teams, Google Hangout Meets... bảo mật hơn Zoom, lại hỗ trợ họp đông người, tính ổn định cao.