Google,Yandex Arama Motorları Yapısı

Arama motoru ; İngilizce Search Engine teriminin Türkçeye doğrudan çevrilmesi sonucu ortaya çıkmıştır. İnternet dediğimiz birbirine bağlı milyonlarca bilgisayar üzerinde mevcut olan bilgi parçacıklarına ulaşmamıza yardımcı olan bilgisayar programlarıdırlar. İnternette milyonlarca Web sayfası içinde aradığınız bir bilgiyi bulmanın zor olduğunu düşünüyor olabilirsiniz.Ya da kendimizle ilgili istemediğimiz bilgileri arama motorlarından kaldırarmak isteyebilirsiniz. Birlikte her gün kullandığımız arama motorlarının yapısını öğrenelim.

A- A+

23.04.2013 tarihli yazı 27129 kez okunmuştur.

►Arama motorları, arama işlemini kolaylaştırmak için çok hızlı ve çok yüksek kapasiteli sunucularla Web sayfalarındaki metinleri endeksleyen servisler (Web siteleri) bulunur.

►Bunların arama dizini (directory), arama motoru (search engine) veya metasearch gibi farklı türleri olabilir.

►Arama dizini, bilgileri kategoriler halinde sıralar, seçme bilgiler vardır ve site sahiplerinin gönderdiği özet bilgi içinde arama yapılır.

►Arama motoru aradığınız sözcükleri içermesi koşuluyla her tür siteyi karşınıza getiren yapıya denir.

Arama Motorlarının Hızlı Çalışma Sistemi

►Google gibi arama motorları nasıl oluyor da aradığımız bilgiyi bir saniyeden kısa bir sürede karşımıza getiriyor? Nasıl çalışıyor hiç merak ettiniz mi?

►Arama motorlarının hızlı ve doğru arama sonuçları sunmak için yaptığı üç işlem var.

►Devamlı interneti tarayarak sayfaları bulmak, okumak ve endeksleyerek arama geldiğinden içinden uygun sonuçları sıraya dizip kullanıcının karşısına getirmek.

►Üçten fazla mı oldu? Hayır, temelde arama, kıyaslama ve sıralama üçlüsü var, diğerleri ara işlemler.

►"Spidering" denilen tabir, ağ ve örümcek ilişkisi gibi arama motorunun yuvası olan ağı dolaşıp nerede ne var bilmesi anlamına geliyor. Kısaca interneti taramak diyebiliriz.

►Bu işi yapan, internet sitelerini okuyarak kaynak kodu analiz eden ve bağlantıları takip eden algoritmalar oldukça özel.

►Bu sayfaları kaydedip daha sonra detaylı bir şekilde analiz ediyorlar. İnternette bu "Web crawler", "web robot" veya "bot" da denilen programları yazmanın yolu yordamı da var.

►Şunu net olarak söyleyebiliriz ki; İşin incelikleri, arama motorlarının kullandığı başarılı sürümlerin sırları saklıdır.

Arama Motorlarının Çalışma Prensibi ve İpuçları

Temel Bilgiler

►Burada arama motorun çalışmasını sağlayan sisteme ,web sitelerinin hizmetini anlatıyoruz:

►Arama motorlarına kayıt olmak ve kayıt olduktan sonra iyi bir pozisyon almak tamamen farklı iki kavramdır. Birine search engine submission(registration), diğeri de search engine optimization olarak adlandırılır.

►Arama motorlarına kayıt denilince şunu düşünmeliyiz;

►Arama motorlarına kayıt olmanız, en iyi pozisyonu alacağınız anlamına değil, sadece o arama motorunun sizin sitenizin varlığından haberdar olması anlamına gelir.

►Bunu sayısal loto olarak düşünebiliriz. Loto kuponu almanız sizin ikramiyeyi kazandığınız anlamına gelmez ama kazanmak için de mutlaka bir kupon almalısınız.

Arama Motorlarında İyi Bir Pozisyon

►Bu sitelerin seçtiği kelimelerle yapılan aramalarda en iyi sıralarda gösterilmesini sağlamak anlamına gelmektedir.

►Bunu da sayısal loto açısından düşünürsek seçtiğiniz rakamların çıkma şansı diğerlerinden daha yüksek rakamlar olmasına dikkat etmek anlamına gelir.

►Aslında bizler ismini bilmesek de arama motorunu kullanırken crawler ' i ve dizinleri kullanıyoruz. Peki nedir bu crawler ve dizinler ? Gelin birlikte inceleyelim.

Crawlerlar ve Dizinler

►İnternette iki tür arama motoru vardır. Bunlar dizinler ve crawlerlardır.

►Arama motoru kelimesi crawlerları ve dizinleri tanımlamak için kullanılır ama bu ikisi tamamen farklı yöntemlerle çalışırlar.

►Crawlerlar internetteki siteleri tarar ve indexlerler.

►Eğer sitenizi değiştirirseniz bu listedeki durumunuzu etkiler çünkü crawlerlar sayfanızın tümünü hafızalarına alır ve bir aramada sayfada geçen tüm kelimeler arasından arar.

►Sitenizde yaptığınız değişiklikleri de ilk güncellemesinde hemen günceller. Başlıklar, sayfanın içeriği ve diğer tüm etkenler sonuçta etkilidir.

►Dizinler ise insanlar tarafından yönetilir.

►Sitenizi kaydederken bir başlık ve bir açıklama yazarsınız ya da editör sizin yerinize bir açıklama yazar ve sonuçlarda bu iki etken etkili olur.

►Sayfanızda yapacağınız değişiklikler sonuçları etkilemez.

Crawlerların Bölümleri

►Spider: Crawler olarak da adlandırılır. Spider siteyi ziyaret eder, okur ve daha sonra linkleri takip ederek diğer sayfalara ulaşır.

►Spider siteyi bir ay ya da iki ay arayla düzenli olarak tekrar ziyaret eder.

►Index: Spider'ın bulduğu herşey arama motorunun indexine gider.

►Indexte spiderın bulduğu tüm sayfaların bir kopyası depolanır ve spider sayfaları tekrar ziyaret edip güncel hallerini getirdiğinde index de yenilenir.

►Yazılım: Son parça olan arama motoru yazılımı ise indexde depolanan milyonlarca sayfa arasından uygun sonuçları bulur ve en uygun olanlara göre sıralandırma yaparak sonuçları getirir.

►Bütün crawlerlarda bu parçalar vardır ama bu parçaların her birinin işlevi her arama motorunda değişiktir.

►Bu yüzdendir ki aynı arama farklı arama motorlarında değişik sonuçlar ortaya çıkarır.

Tanınmış Crawlerlar

Google

►Şüphesiz ki en tanınmış, en önemli ve en çok kullanılan crawler tarzı arama motoru Google'dır.

►Ayrıca sonuçlar Yahoo, AOL ve Netscape gibi arama motorlarınca da kullanılır.

►Google'a kayıt olmanın en iyi yolu tüm crawlerlar için de olduğu gibi linklerinizi diğer sitelere kaydetmektir.

►Ayrıca ODP'ye sitenizi eklerseniz bu hem Google'ın indexine girer, hem de ODP dizinini kullanan Google'ın dizinine girer.

►Ayrıca Google bir de manuel olarak site ekleme opsiyonu kullanır.

►Buraya anasayfanızı ve çok önemsediğiniz bir sayfanızı göndermeniz yeterli olacaktır.

►2 sayfa göndermenizin esprisi bir sayfanıza ulaşamadıklarında diğerine ulaşıp robotun sitenizi dolaşması içindir.

Inktomi

► Önemli bir arama motorudur ve sonuçları MSN, Overture, LookSmart ve HotBot tarafından da kullanılır.

►Yahoo, Inktomi'yi satın aldığından dolayı çok daha büyük bir önem kazanmıştır ve önümüzdeki günlerde çok büyük gelişmelere gebe olduğundan dolayı indeksinde yer almak önemlidir.

►Diğer tüm crawlerlar da olduğu gibi Inktomi'ye de sitenizi eklemenin en iyi yolu görünen yerlere linkinizi yerleştirmektir.

►Inktomi ayrıca partnerleri üzerinden bir ücretsiz site ekleme opsiyonu da sunar.

►Buraya eklenen siteler 2 ay sonra Inktomi veritabanına girer. Inktomi, bunları 1 ay boyunca gözetim altında tutar ve eğer ziyaretçileri bu linklere tıklamıyorsa, bu siteleri faydasız siteler olarak görüp veritabanından çıkarır.

►Eğer ziyaretçiler bu linklere tıklıyorsa, sitenin faydalı olduğunu düşünüp veritabanında tutmaya karar verir.

►Bu yüzden en iyi yol sitenizi Inktomi'nin eklemesini beklemektir.

►Gene de sitesini ücretsiz eklemek isteyenler şu adresi ziyaret ederek üye olup sitelerini ekleyebilirler.

Dizinler

►Dizinler, insanlar tarafından kontrol edilen arama motorlarıdır. İnternette iyi bilinen dizinlere kayıt olmak çok önemlidir.

►Çünkü insanlar tarafından kontrol edildiği için oldukça güvenilir olarak görüldüklerinden birçok insan bunları ziyaret eder.

►Ayrıca bunlara kayıt olmak crawlerların sitenizi bulmasını kolaylaştırır.

►Bunlardan bazıları da crawlerlara dizin hizmeti verirler.

►Ayrıca crawlerların aksine sadece bir tek sayfanızı o da büyük ihtimalle anasayfanızı dizinlere kaydedebilirsiniz.

►Dizinlere kayıt olmadan önce iyi düşünüp 25 kelimeyi geçmeyecek bir açıklama bulmanız yararınıza olur çünkü dizinler crawlerlar gibi sitenizin tüm içeriğini değil sadece yazdığınız açıklamayı ve sitenizin başlığını görüntüler ve arama sonuçlarını da bu verilere dayanarak getirirler.

►Yazacağınız açıklama içinde mutlaka sitenizin arandığında bulunmasını istediğiniz 2 ya da 3 kelimeyi yazın.

►Asla pazarlama diliyle açıklama yazmayın çünkü bu reddedilmenize ya da editörlerin sizin yerinize bir açıklama yazmasına neden olabilir.

►Mesela ayakkabı satan bir sitenin açıklamasının "Dünyanın en büyük online ayakkabı mağazası, çok düşük fiyatlar" gibi bir şey olması kesinlikle reddedilmesine ya da editörün yeni bir açıklama yazmasına neden olur.

Tanınmış Dizinler

Yahoo

►Yahoo internetteki en prestijli dizinlerden biridir ve bu kategoriye girmek Google'da ki PageRank'inizi de arttırır.

►Yahoo Google sonuçlarını kullansa da ilk sayfalardaki sonuçları kendi dizininden getirir.

►Eğer onlar yeterli olmazsa Google sonuçlarını kullanır.

►Yahoo'ya ücretsiz olan kategorilerden kayıt olabilirsiniz.

►Yahoo da bir Turkey dizini de olduğundan sitenizi burada bulunan ilgili bir kategoriye eklemeniz kabul edilme şansını yükseltir.

►Ama açıklamayı İngilizce olarak yazmalısınız.

Arama Motorlarının Sonuçlar Arasındaki Sıralandırmayı Yapması

►Favoriniz olan bir crawler da bir kelime arayın.

►Genellikle milyonlarca sayfa arasında bir arama yapar ve aramanıza uyan sonuçları getirir.

►Hatta bu sonuçlar bir sıraya dizilir ve en uygun olanlar ilk sıralarda gösterilir.

►Elbette ki arama motorları her zaman doğruyu bulamazlar.

►Bazen hiç alakası olmayan bir site de ilk sıralarda yer alabilir.

►Ama bu konuda arama motorlarının hakkını verip inanılmaz bir iş yaptıkları kabul etmek gerekir.

►Arama motorları bu işlevi görürken bir algoritma kullanırlar.

►Ama her arama motorunun algoritması ticari sır olarak saklanır.

Temel olarak aşağıdaki kuralları kullanırlar;

►Sayfanın Html başlığında aranılan kelimenin olduğu web siteleri arama motorlarına göre konu ile daha ilgili olarak görünürler.

►Aranılan kelimenin sayfanın en üstündeki ana başlıkta ya da ilk birkaç paragrafta geçtiği siteler konu ile daha ilgili görülürler.

►Çünkü buralarda bu kelimeyi kullanmış sitelerin içeriği de büyük ihtimalle bu konuyla ilgilidir

►Kelimelerin kullanılma sıklığı da çok önemlidir.

►Arama motorların diğer kelimelere göre aranılan kelimenin ne kadar sıklıkla geçtiğini analiz eder.

►Daha sıklıkla bu kelimeyi kullanmış siteler diğerlerine göre konu ile daha ilgili olarak değerlendirilirler.

►Arama motorları bu kurallara bir yere kadar uyarlar ama her arama motorunun bu temel özelliklere bağlı olan sihirli bir yöntemi vardır ve bu gizli tutulur.

►Bu yüzdendir ki aynı arama farklı arama motorlarında farklı sonuçlar getirir.

►Arama motorları sıralamada üstlere çıkmak için sayfalarında hedef kelimeleri örneğin 100’lerce defa tekrarlamış olan siteleri fark eder ve bunu spam olarak değerlendirerek onları indexlerinden çıkarır.

►Sayfalarının birbirlerine link vermelerine bakarak bir sıralama yapmak anlamına gelir.

►Örneğin Yahoo’nun kategorilerine girerseniz buradan iyi bir not alırsınız demektir.

►Ya da Britney Spears ile ilgili bir siteniz var ve Britney Spears’ın resmi sitesinden size bir link verilmişse bu da çok çok iyi bir puan alabileceğinizi gösterir.

►Ayrıca bir Britney Spears siteniz varsa, sitenizden Britney Spears’ın resmi sitesine link vermek sizin konu ile gerçekten ilgili olduğunuzu gösterir ve bu da puanınızı arttırır.

►Aynı şey diğer konularla ilgili bir siteniz olduğunda da geçerlidir.

►Arama motorlarında hedef kelimelerinizle yaptığınız aramalarda çıkan ilk 10 siteden seçtiklerinize link vermeniz güvenilirliğinizi ve konuyla olan ilginizi arama motorlarının gözünde arttırır.

►Burada önemli olan size çok sayıda link değil önemli sitelerden nitelikli link verilmesidir.

►Özellikle de hedef kelimenizin aramalarında çıkan ilk 10 site tarafından.

►Arama sonuçlarına bakarak da link analizine gidebilirler.

►Bir kelime ile yapılan aramalarda çıkan sonuçlar içinde yukarı sıralarda bulunan bir site çok az tıklanıyor ama daha aşağıda olan bir site ona göre daha çok tıklanıyorsa bu yolla o aşağıdaki sitenin daha ilgili olduğuna karar verip yukarıdaki sitenin sıralamasını değiştirirler.

►Bu yapay linkler oluşturarak sitelerini üst sıralara çıkaran webmasterları önlemek için yapılan bir uygulamadır.

Genel olarak arama motorlarının yapısı bu şekildedir.

Kendimizle İlgili İstemediğimiz Bilgileri Arama Motorlarından Nasıl Kaldırabiliriz?

►Bunu yapabilmenin iki yolu vardır:

►Bilgilerimizin olduğu site sahibi,yöneticisi ile görüşüp bilgileimizin kaldırılmasını sağlamalıyız.

►Diğer bir çözüm yolu da hukuksal yollara başvurmaktır.

►Malesef başka bir çözüm yolu yoktur.