Saf Python ile Veri Kazıma (Web Scraping)

Standard

Merhaba,

Web üzerinde veri kazıma işlemleri için birçok yöntem bulunmakta. Tabii ki python‘un bu konudaki güçlü çatılarından birisi olan Scrapy bu iş için biçilmiş kaftan konumunda. Ancak işi programlama olmayan, ancak site ya da siteler üzerindeki verileri python ile alabileceğinin bilincinde olan kişi sayısı da günden güne artmakta. Bu da karşımızda, “acaba kapsamlı bir proje değilde basitçe bir site üzerindeki belirli bilgileri çekmek istiyorsak, en az gereksinimle bunu nasıl yapabiliriz?” sorusunu çıkarıyor.

Aslında yakın zamanda yayınlayacağım bir projemin temellerini araştırırken denk geldiğim güzel bir kütüphaneyi kullanarak bu işi yapabileceğimi farketmem, bu makaleyi oluşturmama sebep oldu. Python 3’ün “requests-html” kütüphanesi, bir site üzerindeki xpath ya da CSS desenlerini takip ederek veri elde etmenize imkan tanıyor. Bunun yanında da birçok imkanla beraber sitedeki verileri de indirmenizi mümkün kılıyor.

Okumaya Devam Edeyim Bari…

Yerel Ortamdaki Siteyi İnternete Çıkarma

Standard

Merhaba,

Bir web sitesi üzerinde geliştirme yaparken, geliştirme ortamımız tabii ki bilgisayarımızdır. Ancak üçüncü parti uygulamaların entegrasyonunu yaparken bazı durumlarda ilgili uygulamanın siteye veri dönmesi gereken durumlarda işler biraz karışır. Ya kodu test etmeden test ortamına aktarıp denemeler yapmanız (test ortamınız var ise) ve her hatada kodu güncelleyip tekrar test ortamında ayağa kaldırmanız gerekir ya da daha kötüsü direk canlı ortamda çalışmanız gerekir. Geçen gün üçüncü parti bir uygulama entegrasyonu yaparken yerel ortama bağlantı sağlamam gerekirken bir program keşfettim, ngrok.

Aslında ngrok’un amacı kolayca yerel ağınızda yaptığınız yayın işlemine web ortamına taşımak. Gelelim kullanımına…

Okumaya Devam Edeyim Bari…

Kendine Meydan Okuyan Adam

Standard

Geçenlerde üniversiteye giriş sınavının sonuçları açıklanmış ve tam puan alan bir öğrencinin sözleri gündeme roket gibi düşmüştü: hayvan gibi çalıştım. Kibarlıktan ve nezaketten kırım kırım kırılan aktüel hayatımız için kaba saba bir laftı bu ve her kesimden eleştiriler geldi.

Acaba başarmak için odaklanmak ve bu kardeşimiz gibi insanlık sınırlarını zorlayarak çalışmak zaruri mi? Nereye gittiğini bilmeden, sadece içinden geleni yapan ve sonunda bir devrimin kahramanı olmuş olan tutkulu insanlarla dolu tarih. O nedenle bu tür başarı hikâyelerinden ibret almak yerine… kendi yolumuzu çizecek motivasyonu bulmalıyız belki.

Çünkü başarı başkasından bize naklen gelmeyecek, içimizden çıkacak.

Bugün kahramanımız, bir adam…

Okumaya Devam Edeyim Bari…

MacOSX’de Çoklu Python Sürümleri ile Çalışmak

Standard

Merhaba,

Bu gün bir kodu test etmek için birden fazla sürüme ihtiyacım oldu. MacOSX işletim sisteminde python yüklemek için her seferinde dmg dosyasını indirmek, yüklemek gerektiğinden ve bu iş zaman aldığından daha kolay bir yolu olup olmadığını araştırırken istediğim çözüme ulaştım. Dilerim benim gibi ihtiyacı olanlar için faydası olur.

Pyenv adında bir program sayesinde, tıpkı Docker containerlarındaki gibi birden fazla major ve minör versiyonu 1 satırda indirip, virtualenv ile sistemden yalıtabiliyoruz.

Okumaya Devam Edeyim Bari…

Motosiklet Edinme Süreci

Standard

Merhaba,

Yaklaşık 1 hafta önce sahip olduğum scooter’dan sonra, şehirlerarası yolculuk yapmamada imkan tanıyan, daha güçlü bir motor edinmek istedim. Fazla uçan kaçan, süper Sport modellerdense gönlümü Cruiser tarzına kaptırdığım için birkaç aydır modeller ve bu modellerin artı/eksilerini inceleyerek geçiriyordum. Sonunda minimum problem çıkaran, yeni yol arkadaşım Hyosung GV250 modeline karar kıldım. Bir süredir sahibinden üzerinden ilanları takip ediyordum, ta ki motorumu görene kadar. Gördüğüm anda “bu benim için ideal” dedim. Elbette sıfır aile desteği geldi isteğime. “Bol bol 2 teker tehlikeli, 4 teker iyidir, napcan olm karda kışta binemezsin, bizim bir arkadaşın falancası kullanıyormuş 280 ile giderken bariyerlere çarpmış sakat kalmış” korkutmacası dinledim. Bunları geçtikten sonra “Genç adamsın, al bir araba, rahat edersin, açarsın kaloriferi, artık koca adam oldun boşver motoru, sen o motoru nasıl taşıyacaksın/kontrol edeceksin, bak ölürsün” telkinlerini de atlatınca sıra geldi motosikleti almaya…

Okumaya Devam Edeyim Bari…