Proxy kullanırken siteye giriş yapılmıyor

Asaf Eren

Yeni üye
12 Ara 2020
30
1
18
Python kullanarak web scraping yapıyorum(tamamen yasal). Botu banlamaması içinde her istek atıldığında IP adresimi değiştirmem gerekiyor bunun için proxy bağladım. Sorun şurada kendi IP adresimle giriş yapabildiğim siteye proxy bağladıktan sonra giriş yapamıyorum. Siteye ulaşılamıyor(err_tunnel_connectıon_faıled) hatası alıyorum. IP adresiyle proxynin IP'si birbirine çok yakın ve benzerler. Sorunun nedeni nedir?
 

'Anka

Basın&Medya Ekibi Kıdemli
8 Eyl 2021
3,475
2,650
Hemen ilgileniyorum. Aklımda bir tahmin var ama emin değilim.
Not defterime baktığım da bununla ilgili bir metin buldum bunun doğruluğunu kontrol ettirdim umarım işine yarar. Şimdi bu sorunun çeşitli nedenleri olabilir bunlar;

1. Proxy'nin IP adresi banlanmış olabilir. Birçok web sitesi, istekleri sık sık gelen IP adreslerini kara listeye alabilir ve erişimi engelleyebilir.

2. Proxy'nin kullanmakta olduğunuz web sitesine erişim izni yoktur. Bazı websiteleri, belli başlı ülke veya bölgelerden gelen IP adreslerine erişim izni vermez.

3. Yazılımınız proxy ayarlarını doğru yapmıyor olabilir. Araştırdığınız proxy hizmetinin teknik detaylarını öğrenmeli ve python yazılımınızın proxy ayarlarını ona göre yapmanız gerekir.

4. İşletim sisteminizdeki güvenlik veya firewall yazılımları proxy ayarlarınızı engelliyor olabilir. Bu durumda işletim sisteminiz ve güvenlik yazılımlarınızın yapılandırmasını kontrol edin.

5. Proxy hizmeti düzgün çalışmıyor olabilir. Proxy adresi ve portu gibi ayarları doğru girdiğinize emin olun. Ayrıca, farklı bir proxy hizmeti deneyebilirsiniz.

Bunlara göz atın işe yaramaz ise başka kaynaklara bakayım.
 

Asaf Eren

Yeni üye
12 Ara 2020
30
1
18
tor ile programını tünelle proxy sunucusu belki yavaştır fakat torun bir sürü node var kapatıp açınca sürekli değişir.
tünelleme hakkında hiçbir fikrim yok ama biraz araştırıp deneyeceğim sonucu paylaşırım teşekkürler.

Not defterime baktığım da bununla ilgili bir metin buldum bunun doğruluğunu kontrol ettirdim umarım işine yarar. Şimdi bu sorunun çeşitli nedenleri olabilir bunlar;

1. Proxy'nin IP adresi banlanmış olabilir. Birçok web sitesi, istekleri sık sık gelen IP adreslerini kara listeye alabilir ve erişimi engelleyebilir.

2. Proxy'nin kullanmakta olduğunuz web sitesine erişim izni yoktur. Bazı websiteleri, belli başlı ülke veya bölgelerden gelen IP adreslerine erişim izni vermez.

3. Yazılımınız proxy ayarlarını doğru yapmıyor olabilir. Araştırdığınız proxy hizmetinin teknik detaylarını öğrenmeli ve python yazılımınızın proxy ayarlarını ona göre yapmanız gerekir.

4. İşletim sisteminizdeki güvenlik veya firewall yazılımları proxy ayarlarınızı engelliyor olabilir. Bu durumda işletim sisteminiz ve güvenlik yazılımlarınızın yapılandırmasını kontrol edin.

5. Proxy hizmeti düzgün çalışmıyor olabilir. Proxy adresi ve portu gibi ayarları doğru girdiğinize emin olun. Ayrıca, farklı bir proxy hizmeti deneyebilirsiniz.

Bunlara göz atın işe yaramaz ise başka kaynaklara bakayım.
Proxy'nin IP adresiyle ilk defa giriş sağlıyordum siteye. Dediğim gibi Proxy nin IP adresi ile kend IP adresim aynı şehirdeler. Proxy ayarlarını kontrol ettiğim herhangi bir siteye giriş sağlayabiliyorum. Güvenlikle alakalı olsa başka bir siteye giriş de sağlayamazdım diye düşünüyorum. Farklı bir proxy hizmeti deneyip tekrar dönüş sağlayacağım ilgilendiğin için teşekkürler <3
 

Helmsys

Ar-Ge Ekibi Kıdemli
16 Mar 2022
1,494
1,654
bunu doğruluğunu sağlamak için ücretsiz proxy kullanabiliceğim bir site var mı ?
Bu iş için öncesinde bir kod yazmıştım. Aşağıya bırakıyorum.
Free proxyleri alıp test edebilirsiniz..


Python:
from requests import Session
from bs4 import BeautifulSoup

with Session() as session:
    s = session.get("https://free-proxy-list.net/")
    soup = BeautifulSoup(s.content,"lxml")
    ip_list = [i.text for k in soup.find_all('td')[4::8] for i in soup.find_all('td')[::8] if i.text.find("-") == -1 and k.text == "elite proxy"]
    port_list = [j.text for j in soup.find_all("td")[1::8] if j.text.isdigit()]
    print("".join(f"{i[0]}:{i[1]}\n" for i in zip(ip_list,port_list)))

Çıktı:
Kod:
148.76.97.250:80
197.243.67.96:80
35.247.240.117:3129
35.247.244.162:3129
35.247.236.15:3129
64.225.8.82:9995
103.23.199.24:8080
197.243.67.98:80
35.247.218.71:3129

655:534
255:610
5%:631
2719:594
336:914
542:553
195:21

Bozuk olarak 7 tane çıktı mevcut. Bunlar dışındakiler doğru bir çıktı veriyor. Bozuklarıda almayıverin :D
 

Asaf Eren

Yeni üye
12 Ara 2020
30
1
18
Bu iş için öncesinde bir kod yazmıştım. Aşağıya bırakıyorum.
Free proxyleri alıp test edebilirsiniz..


Python:
from requests import Session
from bs4 import BeautifulSoup

with Session() as session:
    s = session.get("https://free-proxy-list.net/")
    soup = BeautifulSoup(s.content,"lxml")
    ip_list = [i.text for k in soup.find_all('td')[4::8] for i in soup.find_all('td')[::8] if i.text.find("-") == -1 and k.text == "elite proxy"]
    port_list = [j.text for j in soup.find_all("td")[1::8] if j.text.isdigit()]
    print("".join(f"{i[0]}:{i[1]}\n" for i in zip(ip_list,port_list)))
selenium kullanıyorum veri çekerken. Proxyi soup ile bağlamam sorun çıkarır mı bana
 

Helmsys

Ar-Ge Ekibi Kıdemli
16 Mar 2022
1,494
1,654
selenium kullanıyorum veri çekerken. Proxyi soup ile bağlamam sorun çıkarır mı bana
BeautifulSoup sınıfı yalnızca sayfa içeriğini ayrıştırmak için kullanılıyor.
Selenium ile sayfa içeriğini alıp BeautifulSoup kütüphanesi ile sayfa içeriğinden ulaşmak istediğiniz etiketi belirleyip alabilirsiniz.
 
Son düzenleme:

Asaf Eren

Yeni üye
12 Ara 2020
30
1
18
BeautifulSoup sınıfı yalnızca sayfa içeriğini ayrıştırmak için kullanılıyor.
Selenium ile sayfa içeriğini alıp BeautifulSoup kütüphanesi ile sayfa içeriğinden almak istediğiniz etiketi belirleyip alabilirsiniz.
Yİne aynı hatayı veriyorum proxy kullanımı engelleyen bir sistemleri olabilir mi? Yada proxy kullandığım görebiliyorlar mı?
 

Helmsys

Ar-Ge Ekibi Kıdemli
16 Mar 2022
1,494
1,654
Yİne aynı hatayı veriyorum proxy kullanımı engelleyen bir sistemleri olabilir mi? Yada proxy kullandığım görebiliyorlar mı?
Selenium kullanarak yanlış bir yapıda proxy yazıyor olabilir misiniz ?
Eğer yanlış yazıyorsanız şuradaki verilen örnekler yardımcı olabilir;

 
Üst

Turkhackteam.org internet sitesi 5651 sayılı kanun’un 2. maddesinin 1. fıkrasının m) bendi ile aynı kanunun 5. maddesi kapsamında "Yer Sağlayıcı" konumundadır. İçerikler ön onay olmaksızın tamamen kullanıcılar tarafından oluşturulmaktadır. Turkhackteam.org; Yer sağlayıcı olarak, kullanıcılar tarafından oluşturulan içeriği ya da hukuka aykırı paylaşımı kontrol etmekle ya da araştırmakla yükümlü değildir. Türkhackteam saldırı timleri Türk sitelerine hiçbir zararlı faaliyette bulunmaz. Türkhackteam üyelerinin yaptığı bireysel hack faaliyetlerinden Türkhackteam sorumlu değildir. Sitelerinize Türkhackteam ismi kullanılarak hack faaliyetinde bulunulursa, site-sunucu erişim loglarından bu faaliyeti gerçekleştiren ip adresini tespit edip diğer kanıtlarla birlikte savcılığa suç duyurusunda bulununuz.