Merhaba değerli TurkHackTeam takipçileri,
Bugün sizlere Hadoop'un nasıl kurulduğundan bahsettim
Öncelikle hadoop'u indirmeniz gerekecek.Aşağıdaki adresten yada aşağıdaki komut dizinleri ile terminale yükleyebilirsiniz.
İndirmek için tıklayınız.
Terminalde yüklemek için;
Kod:
cd /usr/local
Kod:
sudo wget https://www.apache.org/dist/hadoop/core/hadoop-2.7.3/hadoop-2.6.0.tar.gz
Kod:
sudo tar xzf hadoop-2.7.3.tar.gz
Kod:
sudo mv hadoop-2.7.3 hadoop
Kod:
sudo chown -R hduser:hadoop hadoop
Hadoop Komutları
Hadoop komutlarına erişmek için terminale şu kodu yazıyoruz.
Kod:
sudo nano $HOME/.bashrc
Açılacak olan dosyanın sonuna aşağıdaki komutları eklememiz gerekiyor.
Kod:
export JAVA_HOME=/usr/lib/jvm/java-8-oracle
Kod:
export HADOOP_HOME=/usr/local/hadoop
hadoop-env.sh Ayarı
Hadoop env.sh ayarı için aşağıdaki kod dizinlerini giriyoruz.
Kod:
sudo nano /usr/local/hadoop/etc/hadoop/hadoop-env.sh
Açılan dosyada Java_home dizinini export(dışarı çıkarma) ediyoruz.
Kod:
export JAVA_HOME=/usr/lib/jvm/java-8-oracle
Hadoop Genel Ayarları Tamamlama
Genel ayarları yapmak için aşağıdaki kod dizinini terminalimize yazıyoruz.Bu kodu yazarak aslında genel ayarlarını yapacağımız olan core-site.xml dosyasını açmış oluyoruz.
Kod:
sudo nano /usr/local/hadoop/etc/core-site.xml
Kod:
<configuration></configuration>
Kod:
<configuration>
<property>
<name>[COLOR="blue"]fs.default.name[/COLOR]</name>
<value>[COLOR="blue"]hdfs://localhost:9000[/COLOR]</value>
</property>
</configuration>
Hadoop HDFS ayarları
Öncelikle bu kod dizinini terminalimize yazıyoruz.Bu kod dizinini yazarak hdfs-site.xml adlı dosyamız çalıştımış oluyoruz.
Kod:
sudo nano /usr/local/hadoop/etc/hdfs-site.xml
Açılan dizinlerde aşağıda mavi ile gösterdiğim ayarları yapmanız gerekmekte.
Kod:
<configuration>
<property>
<name>[COLOR="blue"]dfs.replication[/COLOR]</name>
<value>1</value>
</property>
<property>
<name>[COLOR="blue"]dfs.namenode.name.dir[/COLOR]</name>
<value>[COLOR="blue"]file:/usr/local/hadoop_tmp/hdfs/namenode[/COLOR]</value>
</property>
<property>
<name>[COLOR="blue"]dfs.datanode.data.dir[/COLOR]</name>
<value>[COLOR="blue"]file:/usr/local/hadoop_tmp/hdfs/datanode[/COLOR]</value>
</property>
</configuration>
Hadoop MapReduce ayarları
Öncelikle aşağıdaki kodu terminale yapıştırıyoruz.Bu kod ile mapred-site.xml yüklemiş oluyoruz.
Kod:
sudo nano /usr/local/hadoop/etc/mapred-site.xml
Ardından mavi ile gösterdiğim düzenlemeleri yapıyoruz.
Kod:
<configuration>
<property>
<name>[COLOR="blue"]mapreduce.framework.name[/COLOR]</name>
<value>[COLOR="blue"]yarn[/COLOR]</value>
</property>
</configuration>
Ardından yarn-site.xml dosyasını yüklüyoruz.
Kod:
sudo nano /usr/local/hadoop/etc/yarn-site.xml
Aşağıdaki mavi renkli düzenlemeleri yapıyoruz.
Kod:
<property>
<name>[COLOR="Blue"]yarn.nodemanager.aux-services[/COLOR]</name>
<value>[COLOR="blue"]mapreduce_shuffle[/COLOR]</value>
</property>
<property>
<name>[COLOR="blue"]yarn.nodemanager.aux-services.mapreduce.shuffle.class[/COLOR]</name>
<value>[COLOR="blue"]org.apache.hadoop.mapred.ShuffleHandler[/COLOR]</value>
</property>
Hadoop NameNode Formatlanması
Aşağıdaki komutu terminale girerek hadoopun olduğu dizine giriyoruz.
Kod:
cd /usr/local/hadoop
Ardından aşağıdaki komutu girerek sıfırlama işlemini yapıyoruz.
Kod:
./bin/hdfs namenode -format
Hadoop Nasıl başlatılır?
Terminalimizi açtıktan sonra aşağıdaki kod dizinini yazıyoruz.
Kod:
/usr/local/hadoop/sbin/start-all.sh
Bu komutu çalıştırdıktan sonra localhost:8088 bu adrese yönlendirerek panele giriş sağlayacağız.
Giriş yapılacak panel örneği
Son düzenleme: