🔗 Hadoop Nasıl Kurulur/Başlatılır?

Profesör

Kadim Üye
10 Nis 2020
5,092
1,607
-Türkistan-

Merhaba değerli TurkHackTeam takipçileri,

Bugün sizlere Hadoop'un nasıl kurulduğundan bahsettim



Öncelikle hadoop'u indirmeniz gerekecek.Aşağıdaki adresten yada aşağıdaki komut dizinleri ile terminale yükleyebilirsiniz.

İndirmek için tıklayınız.

Terminalde yüklemek için;

Kod:
cd /usr/local

Kod:
sudo wget https://www.apache.org/dist/hadoop/core/hadoop-2.7.3/hadoop-2.6.0.tar.gz

Kod:
sudo tar xzf hadoop-2.7.3.tar.gz

Kod:
sudo mv hadoop-2.7.3 hadoop

Kod:
sudo chown -R hduser:hadoop hadoop

Hadoop Komutları

Hadoop komutlarına erişmek için terminale şu kodu yazıyoruz.

Kod:
sudo nano $HOME/.bashrc

Açılacak olan dosyanın sonuna aşağıdaki komutları eklememiz gerekiyor.

Kod:
export JAVA_HOME=/usr/lib/jvm/java-8-oracle

Kod:
export HADOOP_HOME=/usr/local/hadoop

hadoop-env.sh Ayarı

Hadoop env.sh ayarı için aşağıdaki kod dizinlerini giriyoruz.

Kod:
sudo nano /usr/local/hadoop/etc/hadoop/hadoop-env.sh

Açılan dosyada Java_home dizinini export(dışarı çıkarma) ediyoruz.

Kod:
export JAVA_HOME=/usr/lib/jvm/java-8-oracle

Hadoop Genel Ayarları Tamamlama

Genel ayarları yapmak için aşağıdaki kod dizinini terminalimize yazıyoruz.Bu kodu yazarak aslında genel ayarlarını yapacağımız olan core-site.xml dosyasını açmış oluyoruz.

Kod:
sudo nano /usr/local/hadoop/etc/core-site.xml

Kod:
<configuration></configuration>
Bu etiketler arasına aşağıdaki kodları yapıştırıyoruz.

Kod:
<configuration>
	<property>
		<name>[COLOR="blue"]fs.default.name[/COLOR]</name>
		<value>[COLOR="blue"]hdfs://localhost:9000[/COLOR]</value>
	</property>
</configuration>

Hadoop HDFS ayarları

Öncelikle bu kod dizinini terminalimize yazıyoruz.Bu kod dizinini yazarak hdfs-site.xml adlı dosyamız çalıştımış oluyoruz.

Kod:
sudo nano /usr/local/hadoop/etc/hdfs-site.xml

Açılan dizinlerde aşağıda mavi ile gösterdiğim ayarları yapmanız gerekmekte.

Kod:
<configuration>
	<property>
		<name>[COLOR="blue"]dfs.replication[/COLOR]</name>
		<value>1</value>
	</property>
	<property>
		<name>[COLOR="blue"]dfs.namenode.name.dir[/COLOR]</name>
		<value>[COLOR="blue"]file:/usr/local/hadoop_tmp/hdfs/namenode[/COLOR]</value>
	</property>
	<property>
		<name>[COLOR="blue"]dfs.datanode.data.dir[/COLOR]</name>
		<value>[COLOR="blue"]file:/usr/local/hadoop_tmp/hdfs/datanode[/COLOR]</value>
	</property>
</configuration>

Hadoop MapReduce ayarları

Öncelikle aşağıdaki kodu terminale yapıştırıyoruz.Bu kod ile mapred-site.xml yüklemiş oluyoruz.

Kod:
sudo nano /usr/local/hadoop/etc/mapred-site.xml

Ardından mavi ile gösterdiğim düzenlemeleri yapıyoruz.

Kod:
<configuration>
	<property>
		<name>[COLOR="blue"]mapreduce.framework.name[/COLOR]</name>
		<value>[COLOR="blue"]yarn[/COLOR]</value>
	</property>
</configuration>

Ardından yarn-site.xml dosyasını yüklüyoruz.

Kod:
sudo nano /usr/local/hadoop/etc/yarn-site.xml

Aşağıdaki mavi renkli düzenlemeleri yapıyoruz.

Kod:
<property>
      <name>[COLOR="Blue"]yarn.nodemanager.aux-services[/COLOR]</name>
      <value>[COLOR="blue"]mapreduce_shuffle[/COLOR]</value>
</property>
<property>
      <name>[COLOR="blue"]yarn.nodemanager.aux-services.mapreduce.shuffle.class[/COLOR]</name>
      <value>[COLOR="blue"]org.apache.hadoop.mapred.ShuffleHandler[/COLOR]</value>
</property>

Hadoop NameNode Formatlanması

Aşağıdaki komutu terminale girerek hadoopun olduğu dizine giriyoruz.

Kod:
cd /usr/local/hadoop

Ardından aşağıdaki komutu girerek sıfırlama işlemini yapıyoruz.

Kod:
./bin/hdfs namenode -format


Hadoop Nasıl başlatılır?

Terminalimizi açtıktan sonra aşağıdaki kod dizinini yazıyoruz.

Kod:
/usr/local/hadoop/sbin/start-all.sh

Bu komutu çalıştırdıktan sonra localhost:8088 bu adrese yönlendirerek panele giriş sağlayacağız.

Giriş yapılacak panel örneği




 
Son düzenleme:
Üst

Turkhackteam.org internet sitesi 5651 sayılı kanun’un 2. maddesinin 1. fıkrasının m) bendi ile aynı kanunun 5. maddesi kapsamında "Yer Sağlayıcı" konumundadır. İçerikler ön onay olmaksızın tamamen kullanıcılar tarafından oluşturulmaktadır. Turkhackteam.org; Yer sağlayıcı olarak, kullanıcılar tarafından oluşturulan içeriği ya da hukuka aykırı paylaşımı kontrol etmekle ya da araştırmakla yükümlü değildir. Türkhackteam saldırı timleri Türk sitelerine hiçbir zararlı faaliyette bulunmaz. Türkhackteam üyelerinin yaptığı bireysel hack faaliyetlerinden Türkhackteam sorumlu değildir. Sitelerinize Türkhackteam ismi kullanılarak hack faaliyetinde bulunulursa, site-sunucu erişim loglarından bu faaliyeti gerçekleştiren ip adresini tespit edip diğer kanıtlarla birlikte savcılığa suç duyurusunda bulununuz.