- 13 Ocak 2018
- 3,228
- 29
Merhaba değerli THT üyeleri,
Bu konumda sizlere WebHarvy yazılımını kullanarak sitelerin verilerini hızlı ve düzenli şekilde çıkartma işlemlerini göstereceğim. Onun öncesinde ise Web Scraping'den biraz bahsedelim. Hazırsanız buyrun arkanıza yaslanın,
KONU BAŞLIKLARI
- Web Scraping Nedir ?
- Web Scraping Ne İşe Yarar ?
- WebHarvy Yazılımı İle Sitelerden Veri Çekme
WEB SCRAPİNG NEDİR ?
Web Scraping, Türkçesiyle Web kazıma, İşiniz ya da kişisel çıkarlarınız dolayısıyla verilerine sahip olmak istediğiniz sitelere yaptığınız otomatik veri alma ve kaydetme işlemlerine Web Scraping diyoruz. Web Scraping amacıyla oluşturulmuş yazılımlar sayesinde istediğiniz sitenin verilerini otomatik olarak çıkarabilme ve kaydedebilme imkanını elde edebilirsiniz.
WEB SCRAPİNG NE İŞE YARAR ?
Bu soruyu örneklendirerek anlatmam olayı daha rahat kavramanızı sağlayacaktır. Atıyorum bir pazarlama firmasında çalışıyorsunuz. Size verilen görev ise bir ürünün çeşitli firmalardaki fiyat listesi. Firmaların sattıkları ürünlerine ait web sitelerindeki fiyat listesini çeşitli yazılımlar kullanarak çıkarmaya web scraping deniyor. Yani bu anlamda web scraping'i iş dünyasında hemen hemen bütün firmalar kullanıyor. Tabi bu işlemleri kendi kişisel çıkarlarınız için de yapabilirsiniz. Elinizdeki bir ürünü hızlı bir şekilde satmak için diğer satıcıların verdiği fiyatlara göre fiyat vermek gibi.
Anlaşılmayacak kadar karmaşık bir olay değil şimdi işlemlerimize geçelim, anlamadığınız her şeyi ben işlemleri uygularken anlayacaksınızdır diye umuyorum.
WEBHARVY YAZILIMINI KULLANARAK SİTELERİN VERİLERİNİ ÇIKARTMA VE KAYDETME
İlk olarak yazılımımızı indirerek işlemlere başlayalım. Aşağıda linkini vermiş olduğum resmi siteden yazılımı indirip kurabilirsiniz,
Yazılımı kurup çalıştırdıktan sonra bizi aşağıdaki gibi bir sayfa karşılayacak,
Şimdi üstteki URL kısmına verisini çekeceğimiz sitenin linkini giriyoruz.
Üst taraftaki panelden "Start" butonuna basıyoruz
Ardından site üzerinde verilerini çıkartacağımız kısmın üstüne gelip tıklıyoruz. İlk olarak ürünün ismini siteden alalım. Ürün adının üstüne gelip tıklıyoruz, karşımıza bir pencere çıkacak burada "Capture Text" diyelim.
Bizden bu kısım için isim vermemizi istiyor. Ürün adı üzerinde işlem yaptığımız için bu kısma "Ürün Adı" ismini veriyorum,
Uygulamanın alt tarafındaki "Capture Data Preview" kısmına baktığımızda site üzerindeki bütün ürünlerin isimlerini bize aşağıdaki gibi listeledi.
Şimdi ise sitedeki ürünlerin indirime girmeden önceki fiyatlarını çekelim. Ürünün indirime girmeden önceki fiyatının üzerine gelip tıklıyoruz, yine aynı şekilde açılan pencerede "Capture Test" diyoruz. Ardından İsim kısmına "İndirimden Önceki Fiyat" yazarak OK diyoruz.
Aşağıdaki kısma tekrar baktığımızda ürün isimlerinin karşısına bir de indirimden önceki fiyatların eklendiğini görüyoruz,
Konuyu gereksiz uzatmamak adına indirimli fiyatlar üzerinde yaptığım işlemleri diğer işlemlerle aynı olması sebebiyle buraya aktarmıyorum. Aynı işlemleri indirimli fiyatlar için de yaptıktan sonra artık yazılımımızın alt kısmında "Ürün Adı", "İndirimden Önceki Fiyat" ve "İndirimli Fiyat" adında siteye ait veriler bulunmakta
Şimdi yazılımımızın üst panelindeki "Stop" butonuna basalım. Ardından yine aynı panel üzerinden "Start-Mine" butonuna basıyoruz.
Açılan yeni pencerede "Start" butonuna basıyoruz. Ve veri çıkartma işlemi başlıyor.
Aşağıdaki resimde de gördüğünüz üzere çıkartmak istediğimiz veriler tablo üzerinde çıkartıldı. Şimdi sağ alttaki "Export" butonuna basıyoruz ve açılır pencerede "Export as File" 'a tıklıyoruz
Burada yazılım bize verileri farklı formatta çıkartabilme imkanı sunuyor. Ben verileri .xlsx formatında çıkartmak istiyorum. İstediğim formatı listeden seçtikten sonra alt kısımdan çıktı dosyamın nereye kaydedileceğini ve ismini belirliyorum. Ardından "Export" a basıyorum.
Çıkarma işlemi tamamlandıktan sonra dosyamı kaydettiğim dizine gelip dosyamı açıyorum, aşağıda da gördüğünüz gibi çıkarttığım veriler düzgün bir şekilde excel dosyamda görüntülendi. Bu şekilde sitelerden istediğim verileri maximum hızda çıkartmış oldum.
Konuma burada nokta koyuyorum, teşekkür eder iyi forumlar dilerim...
Bu konumda sizlere WebHarvy yazılımını kullanarak sitelerin verilerini hızlı ve düzenli şekilde çıkartma işlemlerini göstereceğim. Onun öncesinde ise Web Scraping'den biraz bahsedelim. Hazırsanız buyrun arkanıza yaslanın,
KONU BAŞLIKLARI
- Web Scraping Nedir ?
- Web Scraping Ne İşe Yarar ?
- WebHarvy Yazılımı İle Sitelerden Veri Çekme
WEB SCRAPİNG NEDİR ?
Web Scraping, Türkçesiyle Web kazıma, İşiniz ya da kişisel çıkarlarınız dolayısıyla verilerine sahip olmak istediğiniz sitelere yaptığınız otomatik veri alma ve kaydetme işlemlerine Web Scraping diyoruz. Web Scraping amacıyla oluşturulmuş yazılımlar sayesinde istediğiniz sitenin verilerini otomatik olarak çıkarabilme ve kaydedebilme imkanını elde edebilirsiniz.
WEB SCRAPİNG NE İŞE YARAR ?
Bu soruyu örneklendirerek anlatmam olayı daha rahat kavramanızı sağlayacaktır. Atıyorum bir pazarlama firmasında çalışıyorsunuz. Size verilen görev ise bir ürünün çeşitli firmalardaki fiyat listesi. Firmaların sattıkları ürünlerine ait web sitelerindeki fiyat listesini çeşitli yazılımlar kullanarak çıkarmaya web scraping deniyor. Yani bu anlamda web scraping'i iş dünyasında hemen hemen bütün firmalar kullanıyor. Tabi bu işlemleri kendi kişisel çıkarlarınız için de yapabilirsiniz. Elinizdeki bir ürünü hızlı bir şekilde satmak için diğer satıcıların verdiği fiyatlara göre fiyat vermek gibi.
Anlaşılmayacak kadar karmaşık bir olay değil şimdi işlemlerimize geçelim, anlamadığınız her şeyi ben işlemleri uygularken anlayacaksınızdır diye umuyorum.
WEBHARVY YAZILIMINI KULLANARAK SİTELERİN VERİLERİNİ ÇIKARTMA VE KAYDETME
İlk olarak yazılımımızı indirerek işlemlere başlayalım. Aşağıda linkini vermiş olduğum resmi siteden yazılımı indirip kurabilirsiniz,
Kod:
https://www.webharvy.com/download.htmlYazılımı kurup çalıştırdıktan sonra bizi aşağıdaki gibi bir sayfa karşılayacak,
Şimdi üstteki URL kısmına verisini çekeceğimiz sitenin linkini giriyoruz.
Üst taraftaki panelden "Start" butonuna basıyoruz
Ardından site üzerinde verilerini çıkartacağımız kısmın üstüne gelip tıklıyoruz. İlk olarak ürünün ismini siteden alalım. Ürün adının üstüne gelip tıklıyoruz, karşımıza bir pencere çıkacak burada "Capture Text" diyelim.
Bizden bu kısım için isim vermemizi istiyor. Ürün adı üzerinde işlem yaptığımız için bu kısma "Ürün Adı" ismini veriyorum,
Uygulamanın alt tarafındaki "Capture Data Preview" kısmına baktığımızda site üzerindeki bütün ürünlerin isimlerini bize aşağıdaki gibi listeledi.
Şimdi ise sitedeki ürünlerin indirime girmeden önceki fiyatlarını çekelim. Ürünün indirime girmeden önceki fiyatının üzerine gelip tıklıyoruz, yine aynı şekilde açılan pencerede "Capture Test" diyoruz. Ardından İsim kısmına "İndirimden Önceki Fiyat" yazarak OK diyoruz.
Aşağıdaki kısma tekrar baktığımızda ürün isimlerinin karşısına bir de indirimden önceki fiyatların eklendiğini görüyoruz,
Konuyu gereksiz uzatmamak adına indirimli fiyatlar üzerinde yaptığım işlemleri diğer işlemlerle aynı olması sebebiyle buraya aktarmıyorum. Aynı işlemleri indirimli fiyatlar için de yaptıktan sonra artık yazılımımızın alt kısmında "Ürün Adı", "İndirimden Önceki Fiyat" ve "İndirimli Fiyat" adında siteye ait veriler bulunmakta
Şimdi yazılımımızın üst panelindeki "Stop" butonuna basalım. Ardından yine aynı panel üzerinden "Start-Mine" butonuna basıyoruz.
Açılan yeni pencerede "Start" butonuna basıyoruz. Ve veri çıkartma işlemi başlıyor.
Aşağıdaki resimde de gördüğünüz üzere çıkartmak istediğimiz veriler tablo üzerinde çıkartıldı. Şimdi sağ alttaki "Export" butonuna basıyoruz ve açılır pencerede "Export as File" 'a tıklıyoruz
Burada yazılım bize verileri farklı formatta çıkartabilme imkanı sunuyor. Ben verileri .xlsx formatında çıkartmak istiyorum. İstediğim formatı listeden seçtikten sonra alt kısımdan çıktı dosyamın nereye kaydedileceğini ve ismini belirliyorum. Ardından "Export" a basıyorum.
Çıkarma işlemi tamamlandıktan sonra dosyamı kaydettiğim dizine gelip dosyamı açıyorum, aşağıda da gördüğünüz gibi çıkarttığım veriler düzgün bir şekilde excel dosyamda görüntülendi. Bu şekilde sitelerden istediğim verileri maximum hızda çıkartmış oldum.
Konuma burada nokta koyuyorum, teşekkür eder iyi forumlar dilerim...
Son düzenleme:
)
