Yöneticiler için: Yapay Sinir Ağları mı yoksa Klasik Algoritmalar mı?

Kesinlik (Precision)

 

Klasik algoritmalar, genellikle iyi tanımlanmış, yapılandırılmış ve açık kurallara sahip görevlerde daha hassastır. Örneğin, sıralama ve arama algoritmaları, aritmetik işlemler içeren çeşitli ticari paketler gibi. Yapay sinir ağları ise ses, resim, yazı metni gibi belirli bir yapısı olmayan verileri işleyen uygulamalarda etkindir. Bu tür görevler, yapıların ve ilişkilerin karmaşık olduğu ve açık kurallarla kolayca tanımlanamadığı görevlerdir, örneğin görüntü tanıma, doğal dil işleme ve oyun oynama gibi.

 

Klasik algoritmalar, deterministik kurallara ve mantığa dayandıkları için iyi performans gösterebilmek için genellikle daha az veriye ihtiyaç duyarlar. Sinir ağları ise genellikle büyük veri kümeleriyle daha iyi performans gösterir, çünkü karmaşık kalıpları öğrenebilir ve çok miktarda veriden daha iyi genelleme yapabilirler.

 

Klasik algoritmaların yorumlanması ve hata ayıklaması daha kolaydır, çünkü işlemleri ve mantıkları açıktır. Sinir ağları ise genellikle kara kutu modelleri olarak kabul edilir, bu da onların yorumlanmasını ve hata ayıklamasını zorlaştırır ve bu durum da hassasiyetlerine olan güveni etkileyebilir.

 

Klasik algoritmalar, açıkça programlanmadıkça yeni verilere uyum sağlamaz veya bunlardan öğrenmez. Sinir ağları ise verilerden öğrenebilir ve zamanla gelişebilir; daha fazla örnekle karşılaştıkça hassasiyetleri potansiyel olarak artabilir.

 

Klasik algoritmalar genellikle hesaplama açısından daha verimlidir ve sinir ağlarının eğitimi ve çalıştırılmasıyla karşılaştırıldığında daha az hesaplama gücü gerektirir. Sinir ağları, özellikle de derin öğrenme modelleri, hesaplama ve bellek açısından yoğun kaynak tüketebilir.

 

Birleşik (Hybrid) Çözümler

 

Bazı durumlarda, hem klasik algoritmaları hem de sinir ağlarını birleştiren hibrit bir yaklaşım en iyi sonuçları verebilir.

 

Sonuç (Conclusion)

Hangi yaklaşımın daha kesin sonuç verdiği konusunda her duruma uyan tek bir cevap yoktur. Yapay sinir ağlarının mı yoksa geleneksel programlama yöntemlerinin mi tercih edilmesi gerektiği, görevin belirli özelliklerine, mevcut verilerin niteliğine ve miktarına, yorumlanabilirlik ihtiyacına ve hesaplama kaynaklarına bağlıdır. Klasik algoritmalar genellikle yapılandırılmış, kurala dayalı görevler için daha hassastır; sinir ağları ise karmaşık, yapılandırılmamış verileri işleme ve büyük veri kümelerinden öğrenme konusunda üstündür. Yapay sinir ağları, belirli bir esneklik ve olasılıklar üzerine kurulmuştur. Çıktının 1 olması, hesaplanan sonucun yüzde yüz doğru olduğunu değil, belirli bir duruma ve girdi olasılıklarına göre çıktının istenen amacı büyük olasılıkla sağlayacağı bir sonuç değerine işaret eder.

 

Teklik (Uniqueness)

 

Yapay sinir ağı modellerinde tek çözüm olma özelliği, mimarinin, kullanılan ağırlıkların, ulaşılan performans ve genelleme seviyesinin benzersiz olması ile değerlendirilebilir.

 

Yapısal teklik açısından yapay sinir ağları, belirli kullanım alanlarına göre özelleştirilebilir. Örneğin, görüntü işleme için evrişimli sinir ağları (CNN'ler), sıralı veriler için tekrarlayan sinir ağları (RNN'ler) ve dil modelleri için dönüştürücüler (transformers). Araştırmacı ve uygulama geliştiriciler, belirli görevleri daha etkili bir şekilde yerine getirebilecek modeller oluşturmak için sıklıkla katmanların, etkinleştirme fonksiyonlarının ve bağlantı modellerinin benzersiz kombinasyonlarını denerler.

 

Sinir ağları tipik olarak rastgele başlatılmış ağırlıklarla başlar, bu da aynı mimari ve eğitim verileri ile potansiyel olarak farklı modellerin oluşmasına yol açar. Farklı başlatmalar, kayıp yüzeyinde farklı yerel minimumlara yol açarak, modellerin hafifçe farklı davranışlar sergilemesine neden olabilir.

 

Eğitim verilerindeki varyasyonlar (örneğin, farklı karıştırmalar, partiler) benzersiz eğitim yollarına ve dolayısıyla farklı modellere yol açabilir.

 

Eğitim sürecinin doğasında bulunan rastgelelik (rastgele başlatma, parti işlemleri vb.) nedeniyle, sinir ağlarının performansı farklı eğitim çalışmaları arasında biraz değişebilir.

Farklı mimariler veya eğitim süreçleri, görülmemiş verileri farklı şekilde genelleyebilen modellerin ortaya çıkmasına neden olabilir, bu da performanslarının iyi veya kötü olmasını belirleyebilecek kritik bir yöndür.

 

Hiperparametrelerin seçimi (öğrenme oranı, parti boyutu, katman sayısı vb.) ortaya çıkan modelin farklılığını önemli ölçüde etkileyebilir. Hiperparametre ayarı, belirli görevler için optimize edilmiş farklı modellerin ortaya çıkmasına yol açabilir.

 

Kayıp fonksiyonunun seçimi (örneğin, çapraz entropi, ortalama kare hatası) ve optimizasyon algoritması (örneğin, SGD, Adam) farklı özelliklere sahip çeşitli modellerin geliştirilmesine yol açabilir.

 

Hiperparametreler ve başlatmadan etkilenen farklı optimizasyon yolları, aynı işi yapan eğitilmiş modellerin farklılaşmasına yol açabilir.

 

Dropout, L2 düzenleme ve parti normalizasyonu gibi tekniklerin kullanımı, modelin ağırlıkları ve performansında değişkenlik ve farklılık oluşturabilir. Doğru seçilen düzenleme, modelin eğitim verilerine aşırı uyum sağlamamasını, dolayısıyla görülmemiş verilere daha iyi genelleme ve farklı performans sergilemesini sağlar.

 

Aynı işi yapan farklı modellerin grup olarak kullanılması (örneğin, bagging, boosting veya stacking aracılığıyla) genel performansı ve dayanıklılığı artırabilir.

 

Sonuç

 

Sinir ağlarından algoritmik programların özellikleri beklenmemelidir. Var olan imkanlar yapay sinir ağları ile olumlu sonuç doğuracağı zaman ve durumlarda kullanılmalıdır. Yapay sinir ağları ve algoritmik program yaklaşımları ile çok başarılı hibrit çözümler üretilebilir.

Boyutsallığın insan algısı ve sinir ağı (NN) gömmeleri üzerindeki etkileri

Yapay Sinir Ağlarında Nesnelerin Temsili

Yapay sinir ağları algıladıkları nesneleri ister bir görüntü ister bir kelime olsun ilk olarak sayı dizilerine, vektörlere çevirirler.  Bir kelime [0, 1.004, 2.45] 3 sayıdan oluşan bir vektöre dönüşebileceği gibi [0, 1.004, 2.45, 3.5, 1.2, 4.3 ]  6 sayıdan oluşan bir vektöre de dönüştürülebilir.  Kelimein dönüşeceği sayı dizisini uzunluğu BOYUT(dimension) olarak adlandırılır.

 

Bir kelimeye bir sayı dizis, vektör denk düşürme işlemine yapay sinir ağlarında GÖMME(embedding) denir.  Gömme işlemi sırasında oluşturulan yapay sinir ağının boyutu giriş kelimelerinden bağımsızdır.  Ağ boyutu serbestçe belirlenir.  Örneğin boyut 100 seçilirse her kelime 100 uzunluğunda sayı vektörleri ile temsil edilir

 

Yapay Sinir Ağlarında Kelime Temsil Boyutu

Boyut kelimenin birlikte kullanıldığı kelimelerle ilişkilerinin bir özetidir.  Daha yüksek boyutlar, modelin kelimeler arasındaki daha incelikli ilişkileri ve anlamsal anlamları yakalamasına olanak tanır. Her boyut, kelime anlamının farklı yönlerini, örneğin sözdizimsel rolleri, tematik bağlamları veya soyut kavramları kodlayabilir.

İnsan algısı ve sinir ağı (NN) gömme işlemleri arasındaki boyutsallığın rolünde bir benzerlik vardır. Her iki sistem de, karmaşık ve yüksek boyutlu verileri daha yönetilebilir, düşük boyutlu bir temsil haline dönüştürerek anlamayı, işlemeyi ve karar vermeyi kolaylaştırmaya dayanır.

 

İnsan Algısı ile Sinir Ağı Gömme İşlemlerinin Karşılaştırılması

 

İnsan Algılaması

Duyusal Girdi: İnsanlar, çevreden görsel, işitsel ve dokunsal bilgiler gibi büyük miktarda duyusal veri alır. Bu veriler doğası gereği yüksek boyutludur.

 

İşleme ve Entegrasyon: Beyin, bu duyusal girdileri çeşitli sinir yolları ve bölgeleri aracılığıyla işleyerek farklı türdeki bilgileri entegre eder.

 

Boyutsallık Azaltma: Beyin, duyusal girdilerin karmaşıklığını temel özellikleri ve desenleri çıkararak azaltır. Bu, insanların ham verilerin her bir parçasını işlemeye gerek kalmadan nesneleri, sesleri ve diğer uyaranları verimli bir şekilde tanımasını sağlar.

 

Kavramsal Temsil: Bu süreçle beyin, ham duyusal verilerden daha düşük boyutlu ancak anlamayı ve etkileşimi sağlayacak kadar zengin kavramsal temsiller oluşturur.

 

Sinir Ağı Gömme İşlemleri

Girdi Verisi: Sinir ağları, görüntüler, metinler veya diğer yapılandırılmış ya da yapılandırılmamış veriler gibi yüksek boyutlu verileri girdi olarak alır.

Katman İşlemesi: Birden fazla katman (görüntüler için evrişimli katmanlar veya diziler için yinelemeli katmanlar dahil) aracılığıyla sinir ağı, ilgili özellikleri çıkarmak için bu verileri işler.

Gömme Katmanı: Bir gömme katmanı veya tekniği (NLP'de kelime gömmeleri veya görsel görevlerde özellik gömmeleri gibi) yüksek boyutlu girdi verilerini daha düşük boyutlu bir alana eşler. Bu temsil, girdi verisinin temel özelliklerini daha kompakt bir biçimde yakalar.

Göreve Özgü Temsil: Bu gömmeler, sınıflandırma, kümeleme veya tahmin gibi çeşitli görevler için kullanılır. Düşük boyutlu gömmeler, görevin gerektirdiği kritik bilgileri tutarken, alakasız detayları eler.

 

 

İnsan Algısı ile Sinir Ağı Gömme İşlemleri arasında Benzerlikler

Verimlilik: Her iki sistem de yüksek boyutlu verileri, en önemli özellikleri yakalayan daha düşük boyutlu bir temsil haline getirerek verimli bir şekilde işlemeyi amaçlar.

Özellik Çıkarma: Temel özellikler, beyindeki sinirsel aktivasyonlar veya sinir ağındaki öğrenilen ağırlıklar aracılığıyla, düşük boyutlu alanda tanımlanır ve korunur.

Genelleme: Anahtar özelliklere odaklanarak, her iki sistem de belirli örneklerden daha geniş kategorilere genelleyebilir. İnsanlar için bu, farklı koşullar altında bir nesneyi tanımak anlamına gelir; sinir ağları için ise bu, yeni veriler üzerinde doğru tahminler yapmak anlamına gelir.

Hiyerarşik İşleme: Her ikisi de karmaşık desenlerin daha basit olanlardan inşa edildiği hiyerarşik işlemeyi içerir. Beyinde bu, duyusal kortekslerden daha yüksek düzey bilişsel alanlara doğru ilerlemede görülür. Sinir ağlarında ise, başlangıç katmanlarının basit desenleri algılamasından derin katmanların karmaşık yapıları tanımasına kadar olan süreçte görülür.

 

Boyutsallığın insan algısı ve sinir ağı (NN) gömmeleri üzerindeki etkileri

İnsan algısı ve beyinsel sinir ağının  algılama ve işleme hızı, derinlik ve doğruluğunu etkileyebilir. Bu etkileri detaylı olarak inceleyelim.

 

İnsan Algısı ve Biliş

Büyük Boyutsallık

Düşünce Zenginliği: Farklı kültürlere ve geniş bir eğitime maruz kalan bireyler genellikle daha zengin, karmaşık zihinsel modeller geliştirirler. Bu yüksek boyutsallık düşüncelerin:

 

Gelişmiş Algılama: Daha nüanslı ve detaylı dünya algısı, daha fazla değişken ve bakış açısının dikkate alınmasıyla. Anlama Derinliği: Farklı kavramları bağlama ve soyut düşünebilme yeteneği, daha derin anlama ve içgörü sağlar.

 

Yaratıcılık ve Problem Çözme: Yaratıcı çözümler ve karmaşık problem çözme yeteneği için daha fazla bilişsel kaynak. İşleme Hızı:

 

Başlangıçta Öğrenme: Karmaşıklık nedeniyle yüksek boyutsallık başlangıçta öğrenmeyi yavaşlatabilir.

 

Uzmanlık ve Otomasyon: Uzmanlık geliştikçe, daha zengin bir referans çerçevesine sahip olduğu için beyin bilgiyi daha hızlı ve verimli işleyebilir.

 

Küçük Boyutsallık Basitlik ve Verimlilik:

Hız: Daha az bilişsel yük ve daha hızlı işlem, daha az değişkenin dikkate alınmasıyla basit görevler için.

 

Odaklanma: Açık ve rutin görevler için düşünmeden kolayca odaklanma.

 

Sınırlamalar:

Derinlik: Karmaşık veya soyut kavramları algılamak ve anlamak için sınırlı kapasite. Adaptasyon: Daha az zengin bilişsel çerçeve nedeniyle yeni veya karmaşık durumlara adapte olma yeteneğinin azalması.

 

Sinir Ağları (NNs)

Büyük Boyutsallık

İfade Gücü:

Özellik Temsili: Yüksek boyutlu gömmeler, girdi verilerinin daha ince detaylarını ve inceliklerini yakalayabilir, böylece daha iyi özellik temsili sağlar.

 

Performans: Görüntü tanıma veya doğal dil anlama gibi ayrıntılı ayrım gerektiren görevlerde potansiyel olarak daha yüksek performans.

 

Eğitim Karmaşıklığı:

Hesaplama Maliyeti: Optimize edilecek daha fazla parametre, artan hesaplama gereksinimleri ve daha uzun eğitim süreleri.

 

Aşırı Uyum: Veri kümesinin yeterince büyük olmaması durumunda, yüksek boyutsallık için aşırı uyum riski daha yüksektir.

 

Genelleme:

Daha İyi Genelleme Potansiyeli: Uygun düzenleme ve yeterli veri ile, yüksek boyutsal gömmeler daha zengin özellik uzayı nedeniyle görünmeyen verilere daha iyi genelleme yapabilir.

 

Küçük Boyutsallık

Verimlilik:

Hız: Daha az parametre nedeniyle daha hızlı eğitim ve çıkarsama süreleri. Basitlik: Öğrenilmiş gömmeleri anlamak ve yorumlamak daha kolaydır.

 

Sınırlamalar:

İfade Gücü: Girdi verilerinin tüm gerekli detaylarını yakalayamayabilir, bu da karmaşık görevlerde daha düşük performansa yol açabilir.

 

Genelleme: Küçük veri setleri veya basit görevlerde aşırı uyma olasılığı daha düşük olduğu için potansiyel olarak daha iyi genelleme yapabilir.

 

Karşılaştırma ve Benzetmeler

Zenginlik ve Derinlik: Hem insanlar hem de yüksek boyutsal sinir ağları, daha detaylı ve nüanslı bilgi yakalayarak karmaşık görevlerde daha derin anlama ve potansiyel olarak daha iyi performans sağlayabilir.

 

Verimlilik ve Hız: Her iki durumda da küçük boyutsallık, daha hızlı işleme ve verimlilik sağlayabilir, basit veya rutin görevler için uygundur.

 

Aşırı Uyum ve Genelleme: Yüksek eğitimli bireylerin bazen basit görevleri karmaşıklaştırabileceği gibi, yüksek boyutsal sinir ağları da uygun şekilde düzenlenmezse aşırı uyma riski taşır. Buna karşılık, daha basit zihinler veya modeller, daha az karmaşık durumlarda daha iyi genelleme yapabilir.

 

Pratik Sonuçlar

İnsan Öğrenme ve Eğitim: Çeşitli, karmaşık bilgiye maruz kalma ile pratik, odaklı eğitimi dengelemek, bilişin derinliğini ve hızını optimize edebilir.

 

Sinir Ağı Tasarımı: Gömmeler için uygun boyutsallığı seçmek, karmaşık görevler için yeterli veri varsa performansı artırabilir. Basit görevler veya sınırlı veri için ise daha küçük boyutsallık, verimliliği ve genelleme yeteneğini artırabilir.

 

Hiç Bilmeyenler İçin Yapay Sinir Ağlarına Giriş

 Hiç Bilmeyenler İçin Yapay Sinir Ağlarına Giriş

Yapay sinir ağlarının temelinde yatan en önemli kavram modellemedir. İnternette aradığınızda karşınıza çıkan bütün Neural Networks örneklerinde bir model bölümü olduğunu göreceksiniz. Neural network’ler genellikle veri hazırlama, model oluşturma, modelin eğitilmesi ve sonuç alma (prediction) aşamalarından oluşur.

Model, gerçek dünyadaki bir sistemin veya sürecin matematiksel denklemlerle ifade edilmesidir. Yapay sinir ağlarını geliştiren öncülerden Geoffrey Hinton’ın Stanford’daki kursu, modellemeye bir örnekle başlar.

Örneğin, belirli büyüklükte bir ev almak istendiğinde, daha önce satılmış evlerin fiyatları listelenir ve iki boyutlu bir grafik üzerinde gösterilir. Bu grafikte her nokta, yatay eksende evin büyüklüğünü ve düşey eksende evin fiyatını temsil eder.

Büyüklük(ft²)    Fiyat(1000USD)

2104                      400

1600                      330

2400                      369

1416                      232

3000                      540

.                              .

.                              .

.                              .

Eğer bu noktaların çoğunu içine alan bir doğru çizebilirsek, istediğimiz fiyatı yatay eksende seçip o noktadan düşey bir doğru çizerek bu doğrunun kesişim noktasını bulabiliriz. Bu noktadan, yatay eksende seçtiğimiz ev büyüklüğünün fiyatını belirleriz. Örneğin, 3500 ft² büyüklüğündeki bir evin fiyatı yaklaşık 540 bin dolardır. Çizdiğimiz eğimli doğru, sistemin MODELİDİR ve bu doğru Y = aX + b şeklinde matematiksel olarak ifade edilir. Doğrunun şekli yani eğimi ve y eksenini kestiği nokta, a ve b parametreleri ile belirlenir.

Her bir noktanın, yani elimizdeki satış bilgilerinin, bu doğruya olan uzaklıklarını hesaplayarak çizdiğimiz doğrunun ne kadar gerçeğe yakın olduğunu, sistemimizin ne kadar doğru çalıştığını belirleriz. Amacımız bu toplam uzaklık değerini mümkün olan en küçük değere indirmektir. Bu doğrultuda, Y = aX + b şeklinde ifade ettiğimiz doğruyu biraz daha eğmek, dikleştirmek veya Y eksenini kaydırmak gibi değişiklikler yaparız. Her değişiklik sonrası, doğruya olan uzaklıkları hesaplayarak bu süreci tekrar ederiz. Amacımız, en uygun doğruyu bularak optimal sistemi elde etmektir.

Neural networks, gerçek dünyayı modellerken vektörlerden faydalanır. Vektör, matematik ve fizik gibi bilim dallarında yaygın olarak kullanılan, hem büyüklüğü (magnitude) hem de yönü (direction) olan bir niceliktir. Skaler niceliklerden (yalnızca büyüklüğü olan, örneğin sıcaklık veya kütle gibi) farklı olarak, vektörlerin yönü de önemlidir.

Örneğin, işsizlik konusunu modellemek istediğimizde, konunun sosyal, ekonomik, eğitimsel, teknolojik gibi her bir YÖNÜ bir vektör olarak seçilebilir ve bu vektörlerin büyüklükleri ağırlıklarına göre belirlenir. Bu tür bir modellemede vektörler, çeşitli özellikleri temsil eder. Örneğin, ev fiyatlarını modellerken, oda sayısını dikkate almak istiyorsak, model çıktımız [3500, 540, 5] gibi bir vektör olabilir. Burada, her bir değer, evin büyüklüğü, fiyatı ve oda sayısını temsil eder.

Neural networklerde model oluştururken her giriş değeri, bir yön ve büyüklük (ağırlık) ifade edecek şekilde vektörlerle temsil edilir. Modellemeye çalıştığımız konu çok boyutluysa, giriş değerlerimizi belirten vektörler de çok boyutlu olmalıdır.

 

 

 

 

Anlam yapay sinir ağlarında nasıl gerçeğe dönüşür

 

Anlam bağlam içinde belirlenir.  Anlam bağlam içinde var olur.  Bebek annesi ile ilişkisinde sevgi kavramını öğrenir.  Daha sonra sevgi kelimesini... 

 

Bir anlam, bir kelimenin anlamı, kişinin bildiği bütün kelimeler içinde o kelime ile ilişkiye sahip olan kelimelerin oluşturduğu bir yakınlıktır.  İlişkili kelime ne kadar çok onunla birlikte kullanılırsa anlam üzerinde o ilişkili kelimenin etkisi o kadar güçlenir(Hebbian plasticity, sık sık "birlikte ateşleyen hücreler birlikte bağlanır" şeklinde özetlenir).

 

Yapay sinir ağlarında anlam Embedding ile gerçekleştirilir.  İlk olarak büyük bir sözlük oluşturmak için Corpus denilen metin dağarcığı hazırlanır.  Daha sonra bu metin dağarcığında bulunan kelimeler tek tek ayırılır ve işlenmeye hazır hale getirilir.  Kelimeler takları ile birlikte dikkate alınır.  Stopword denilen ve, veya vb gibi anlam açısından kendi başlarına önem taşımayan kelimeler dikkate alınmaz.

 

Sözlük hazırlandıktan sonra her kelime sözlük içindeki konumuna göre bir sayı ile eşleştirilir.  Bu veri kullanılarak sözlükteki kelimelere iki tür erişim imkanı oluşturulur.  Konum sayısından kelimeye erişmek ve kelimeden konum sayısına erişmek.  Böylece her kelime bir tek sayı ile eşleştirilir.

 

Daha sonra kelimeler arasındaki ilişkileri tespit etmek için ana metin içinde tek tek her cümlede tek tek her kelimenin en yakınındaki kelimeler tespit edilir.  Yakınlığın ölçütü bir pencere büyüklüğü olarak geçer.  Örneği ‘Ali okula otobüs ile gitti.’ Cümlesinde yakınlık pencersi 2 olarak tespit edersek Ali ile ilişkili kelimeler okula ve otobüs olur. 

 

Ayrı bir sözlükte(bağlam sözlüğü) tek tek her kelimeye karşı düşen ilişkili kelimeler listesi saklanır.  Bir kelime istendiğinde bu kelime ile ilişkili bütün kelimeler bu kelimeye özgün ilişkili kelimeler listesinden alınabilir.

 

Anlam bağlam içinde oluşur.  Bir kelime genellikle belirli bir yakınlık taşıyan kelimeler civarında bulunur.  Yapay sinir ağlarında bağlamı belirleyen kullandığımız yakınlık penceresidir.  Sözlük içinde var olan herbir kelime için kullandığımız metin dağarcığında bulunan bütün cümleler taranarak ilişkili kelimeler listesini çıkarabiliriz.  Üstelik bu listeler bulunan her ilişkili kelimenin hem kendisini hem de sözlük içindeki konumunu belirleyen sayısal bilgiyi içerir.

 

Daha sonra bu bilgi yığınından sözlükteki herbir kelimenin soyut anlamının matematiksel karşılığını çıkarmak için çok basit bir yapay sinir ağı oluştururuz.  Bu yapay sinir ağı bir giriş(W1) ve bir saklı(hidden W2)  ağırlıklar katmanlarından oluşur.  Her iki katmanın öğrenme aşaması başlangıcında ağırlık değerleri rasgele verilir.  Bebeğin başlangıçta kafasında hiç bir kelime ilişkisi olmaması ve seslerin ses dizilerinin tekrarı ile giderek kavramları öğrenmesi gibi...

 

Oluşturduğumuz bu yapay sinir ağına, giriş olarak belirli bir kelimeye ilşkin bağlam sözlüğünde sakladığımız bütün kelimelerin matematiksel toplamı verilir.  Oluşan çıkış seçtiğimiz belirli kelime ile karşılaştırılır.  Her iki kelime de sayısal değerleri ile temsil edilir.  Oluşan farka göre sinir ağının ağırlıkları çıkıştan girişe doğru, elde edilen sonucun yanlışlık farkı ile orantılı olarak değiştirilir (backpropagation). Buraya kadar olan denemeye öğrenme aşaması(epoch) denir.  Aynı giriş kelimesi verilerek yine belirli kelimenin bulunup bulunmadığına bakılır eğer fark belirli bir sınır altında değilse öğrenme aşaması tekrarlanır.

 

Bir belirli kelime için öğrenme tamamlanınca sözlükteki diğer bütün kelimele için tek tek bu işlem tekrarlanır.  Böylece, sözlükteki bütün kelimeler arasındaki ilişkilere göre yapay sinir ağının ağırlıkları değştirilir.

 

İşte eğittiğimiz bu yapay sinir ağının ağırlıkları dağarcığımızdaki bütün kelimelerin ilişkilerini sayısal olarak depolamış olur.  Her kelimeye karşı düşen her bir kısım o kelimenin sayısal ifadesini içerir.

 

Son ama en önemsiz olmayan bir not:  Kullandığımız yapay sinir ağının katmanlarının boyutu oluşan embedding değerlerinin, yani anlamın kalitesini belirler.  ‘İnsan algılamasında boyutun rolü ve yapay sinir ağlarında Embedding’  adlı yeni makalemi yakın bir zamanda burada bulabilirsiniz.