Yöneticiler için: Yapay Sinir Ağları mı yoksa Klasik Algoritmalar mı?

Kesinlik (Precision)

 

Klasik algoritmalar, genellikle iyi tanımlanmış, yapılandırılmış ve açık kurallara sahip görevlerde daha hassastır. Örneğin, sıralama ve arama algoritmaları, aritmetik işlemler içeren çeşitli ticari paketler gibi. Yapay sinir ağları ise ses, resim, yazı metni gibi belirli bir yapısı olmayan verileri işleyen uygulamalarda etkindir. Bu tür görevler, yapıların ve ilişkilerin karmaşık olduğu ve açık kurallarla kolayca tanımlanamadığı görevlerdir, örneğin görüntü tanıma, doğal dil işleme ve oyun oynama gibi.

 

Klasik algoritmalar, deterministik kurallara ve mantığa dayandıkları için iyi performans gösterebilmek için genellikle daha az veriye ihtiyaç duyarlar. Sinir ağları ise genellikle büyük veri kümeleriyle daha iyi performans gösterir, çünkü karmaşık kalıpları öğrenebilir ve çok miktarda veriden daha iyi genelleme yapabilirler.

 

Klasik algoritmaların yorumlanması ve hata ayıklaması daha kolaydır, çünkü işlemleri ve mantıkları açıktır. Sinir ağları ise genellikle kara kutu modelleri olarak kabul edilir, bu da onların yorumlanmasını ve hata ayıklamasını zorlaştırır ve bu durum da hassasiyetlerine olan güveni etkileyebilir.

 

Klasik algoritmalar, açıkça programlanmadıkça yeni verilere uyum sağlamaz veya bunlardan öğrenmez. Sinir ağları ise verilerden öğrenebilir ve zamanla gelişebilir; daha fazla örnekle karşılaştıkça hassasiyetleri potansiyel olarak artabilir.

 

Klasik algoritmalar genellikle hesaplama açısından daha verimlidir ve sinir ağlarının eğitimi ve çalıştırılmasıyla karşılaştırıldığında daha az hesaplama gücü gerektirir. Sinir ağları, özellikle de derin öğrenme modelleri, hesaplama ve bellek açısından yoğun kaynak tüketebilir.

 

Birleşik (Hybrid) Çözümler

 

Bazı durumlarda, hem klasik algoritmaları hem de sinir ağlarını birleştiren hibrit bir yaklaşım en iyi sonuçları verebilir.

 

Sonuç (Conclusion)

Hangi yaklaşımın daha kesin sonuç verdiği konusunda her duruma uyan tek bir cevap yoktur. Yapay sinir ağlarının mı yoksa geleneksel programlama yöntemlerinin mi tercih edilmesi gerektiği, görevin belirli özelliklerine, mevcut verilerin niteliğine ve miktarına, yorumlanabilirlik ihtiyacına ve hesaplama kaynaklarına bağlıdır. Klasik algoritmalar genellikle yapılandırılmış, kurala dayalı görevler için daha hassastır; sinir ağları ise karmaşık, yapılandırılmamış verileri işleme ve büyük veri kümelerinden öğrenme konusunda üstündür. Yapay sinir ağları, belirli bir esneklik ve olasılıklar üzerine kurulmuştur. Çıktının 1 olması, hesaplanan sonucun yüzde yüz doğru olduğunu değil, belirli bir duruma ve girdi olasılıklarına göre çıktının istenen amacı büyük olasılıkla sağlayacağı bir sonuç değerine işaret eder.

 

Teklik (Uniqueness)

 

Yapay sinir ağı modellerinde tek çözüm olma özelliği, mimarinin, kullanılan ağırlıkların, ulaşılan performans ve genelleme seviyesinin benzersiz olması ile değerlendirilebilir.

 

Yapısal teklik açısından yapay sinir ağları, belirli kullanım alanlarına göre özelleştirilebilir. Örneğin, görüntü işleme için evrişimli sinir ağları (CNN'ler), sıralı veriler için tekrarlayan sinir ağları (RNN'ler) ve dil modelleri için dönüştürücüler (transformers). Araştırmacı ve uygulama geliştiriciler, belirli görevleri daha etkili bir şekilde yerine getirebilecek modeller oluşturmak için sıklıkla katmanların, etkinleştirme fonksiyonlarının ve bağlantı modellerinin benzersiz kombinasyonlarını denerler.

 

Sinir ağları tipik olarak rastgele başlatılmış ağırlıklarla başlar, bu da aynı mimari ve eğitim verileri ile potansiyel olarak farklı modellerin oluşmasına yol açar. Farklı başlatmalar, kayıp yüzeyinde farklı yerel minimumlara yol açarak, modellerin hafifçe farklı davranışlar sergilemesine neden olabilir.

 

Eğitim verilerindeki varyasyonlar (örneğin, farklı karıştırmalar, partiler) benzersiz eğitim yollarına ve dolayısıyla farklı modellere yol açabilir.

 

Eğitim sürecinin doğasında bulunan rastgelelik (rastgele başlatma, parti işlemleri vb.) nedeniyle, sinir ağlarının performansı farklı eğitim çalışmaları arasında biraz değişebilir.

Farklı mimariler veya eğitim süreçleri, görülmemiş verileri farklı şekilde genelleyebilen modellerin ortaya çıkmasına neden olabilir, bu da performanslarının iyi veya kötü olmasını belirleyebilecek kritik bir yöndür.

 

Hiperparametrelerin seçimi (öğrenme oranı, parti boyutu, katman sayısı vb.) ortaya çıkan modelin farklılığını önemli ölçüde etkileyebilir. Hiperparametre ayarı, belirli görevler için optimize edilmiş farklı modellerin ortaya çıkmasına yol açabilir.

 

Kayıp fonksiyonunun seçimi (örneğin, çapraz entropi, ortalama kare hatası) ve optimizasyon algoritması (örneğin, SGD, Adam) farklı özelliklere sahip çeşitli modellerin geliştirilmesine yol açabilir.

 

Hiperparametreler ve başlatmadan etkilenen farklı optimizasyon yolları, aynı işi yapan eğitilmiş modellerin farklılaşmasına yol açabilir.

 

Dropout, L2 düzenleme ve parti normalizasyonu gibi tekniklerin kullanımı, modelin ağırlıkları ve performansında değişkenlik ve farklılık oluşturabilir. Doğru seçilen düzenleme, modelin eğitim verilerine aşırı uyum sağlamamasını, dolayısıyla görülmemiş verilere daha iyi genelleme ve farklı performans sergilemesini sağlar.

 

Aynı işi yapan farklı modellerin grup olarak kullanılması (örneğin, bagging, boosting veya stacking aracılığıyla) genel performansı ve dayanıklılığı artırabilir.

 

Sonuç

 

Sinir ağlarından algoritmik programların özellikleri beklenmemelidir. Var olan imkanlar yapay sinir ağları ile olumlu sonuç doğuracağı zaman ve durumlarda kullanılmalıdır. Yapay sinir ağları ve algoritmik program yaklaşımları ile çok başarılı hibrit çözümler üretilebilir.

Boyutsallığın insan algısı ve sinir ağı (NN) gömmeleri üzerindeki etkileri

Yapay Sinir Ağlarında Nesnelerin Temsili

Yapay sinir ağları algıladıkları nesneleri ister bir görüntü ister bir kelime olsun ilk olarak sayı dizilerine, vektörlere çevirirler.  Bir kelime [0, 1.004, 2.45] 3 sayıdan oluşan bir vektöre dönüşebileceği gibi [0, 1.004, 2.45, 3.5, 1.2, 4.3 ]  6 sayıdan oluşan bir vektöre de dönüştürülebilir.  Kelimein dönüşeceği sayı dizisini uzunluğu BOYUT(dimension) olarak adlandırılır.

 

Bir kelimeye bir sayı dizis, vektör denk düşürme işlemine yapay sinir ağlarında GÖMME(embedding) denir.  Gömme işlemi sırasında oluşturulan yapay sinir ağının boyutu giriş kelimelerinden bağımsızdır.  Ağ boyutu serbestçe belirlenir.  Örneğin boyut 100 seçilirse her kelime 100 uzunluğunda sayı vektörleri ile temsil edilir

 

Yapay Sinir Ağlarında Kelime Temsil Boyutu

Boyut kelimenin birlikte kullanıldığı kelimelerle ilişkilerinin bir özetidir.  Daha yüksek boyutlar, modelin kelimeler arasındaki daha incelikli ilişkileri ve anlamsal anlamları yakalamasına olanak tanır. Her boyut, kelime anlamının farklı yönlerini, örneğin sözdizimsel rolleri, tematik bağlamları veya soyut kavramları kodlayabilir.

İnsan algısı ve sinir ağı (NN) gömme işlemleri arasındaki boyutsallığın rolünde bir benzerlik vardır. Her iki sistem de, karmaşık ve yüksek boyutlu verileri daha yönetilebilir, düşük boyutlu bir temsil haline dönüştürerek anlamayı, işlemeyi ve karar vermeyi kolaylaştırmaya dayanır.

 

İnsan Algısı ile Sinir Ağı Gömme İşlemlerinin Karşılaştırılması

 

İnsan Algılaması

Duyusal Girdi: İnsanlar, çevreden görsel, işitsel ve dokunsal bilgiler gibi büyük miktarda duyusal veri alır. Bu veriler doğası gereği yüksek boyutludur.

 

İşleme ve Entegrasyon: Beyin, bu duyusal girdileri çeşitli sinir yolları ve bölgeleri aracılığıyla işleyerek farklı türdeki bilgileri entegre eder.

 

Boyutsallık Azaltma: Beyin, duyusal girdilerin karmaşıklığını temel özellikleri ve desenleri çıkararak azaltır. Bu, insanların ham verilerin her bir parçasını işlemeye gerek kalmadan nesneleri, sesleri ve diğer uyaranları verimli bir şekilde tanımasını sağlar.

 

Kavramsal Temsil: Bu süreçle beyin, ham duyusal verilerden daha düşük boyutlu ancak anlamayı ve etkileşimi sağlayacak kadar zengin kavramsal temsiller oluşturur.

 

Sinir Ağı Gömme İşlemleri

Girdi Verisi: Sinir ağları, görüntüler, metinler veya diğer yapılandırılmış ya da yapılandırılmamış veriler gibi yüksek boyutlu verileri girdi olarak alır.

Katman İşlemesi: Birden fazla katman (görüntüler için evrişimli katmanlar veya diziler için yinelemeli katmanlar dahil) aracılığıyla sinir ağı, ilgili özellikleri çıkarmak için bu verileri işler.

Gömme Katmanı: Bir gömme katmanı veya tekniği (NLP'de kelime gömmeleri veya görsel görevlerde özellik gömmeleri gibi) yüksek boyutlu girdi verilerini daha düşük boyutlu bir alana eşler. Bu temsil, girdi verisinin temel özelliklerini daha kompakt bir biçimde yakalar.

Göreve Özgü Temsil: Bu gömmeler, sınıflandırma, kümeleme veya tahmin gibi çeşitli görevler için kullanılır. Düşük boyutlu gömmeler, görevin gerektirdiği kritik bilgileri tutarken, alakasız detayları eler.

 

 

İnsan Algısı ile Sinir Ağı Gömme İşlemleri arasında Benzerlikler

Verimlilik: Her iki sistem de yüksek boyutlu verileri, en önemli özellikleri yakalayan daha düşük boyutlu bir temsil haline getirerek verimli bir şekilde işlemeyi amaçlar.

Özellik Çıkarma: Temel özellikler, beyindeki sinirsel aktivasyonlar veya sinir ağındaki öğrenilen ağırlıklar aracılığıyla, düşük boyutlu alanda tanımlanır ve korunur.

Genelleme: Anahtar özelliklere odaklanarak, her iki sistem de belirli örneklerden daha geniş kategorilere genelleyebilir. İnsanlar için bu, farklı koşullar altında bir nesneyi tanımak anlamına gelir; sinir ağları için ise bu, yeni veriler üzerinde doğru tahminler yapmak anlamına gelir.

Hiyerarşik İşleme: Her ikisi de karmaşık desenlerin daha basit olanlardan inşa edildiği hiyerarşik işlemeyi içerir. Beyinde bu, duyusal kortekslerden daha yüksek düzey bilişsel alanlara doğru ilerlemede görülür. Sinir ağlarında ise, başlangıç katmanlarının basit desenleri algılamasından derin katmanların karmaşık yapıları tanımasına kadar olan süreçte görülür.

 

Boyutsallığın insan algısı ve sinir ağı (NN) gömmeleri üzerindeki etkileri

İnsan algısı ve beyinsel sinir ağının  algılama ve işleme hızı, derinlik ve doğruluğunu etkileyebilir. Bu etkileri detaylı olarak inceleyelim.

 

İnsan Algısı ve Biliş

Büyük Boyutsallık

Düşünce Zenginliği: Farklı kültürlere ve geniş bir eğitime maruz kalan bireyler genellikle daha zengin, karmaşık zihinsel modeller geliştirirler. Bu yüksek boyutsallık düşüncelerin:

 

Gelişmiş Algılama: Daha nüanslı ve detaylı dünya algısı, daha fazla değişken ve bakış açısının dikkate alınmasıyla. Anlama Derinliği: Farklı kavramları bağlama ve soyut düşünebilme yeteneği, daha derin anlama ve içgörü sağlar.

 

Yaratıcılık ve Problem Çözme: Yaratıcı çözümler ve karmaşık problem çözme yeteneği için daha fazla bilişsel kaynak. İşleme Hızı:

 

Başlangıçta Öğrenme: Karmaşıklık nedeniyle yüksek boyutsallık başlangıçta öğrenmeyi yavaşlatabilir.

 

Uzmanlık ve Otomasyon: Uzmanlık geliştikçe, daha zengin bir referans çerçevesine sahip olduğu için beyin bilgiyi daha hızlı ve verimli işleyebilir.

 

Küçük Boyutsallık Basitlik ve Verimlilik:

Hız: Daha az bilişsel yük ve daha hızlı işlem, daha az değişkenin dikkate alınmasıyla basit görevler için.

 

Odaklanma: Açık ve rutin görevler için düşünmeden kolayca odaklanma.

 

Sınırlamalar:

Derinlik: Karmaşık veya soyut kavramları algılamak ve anlamak için sınırlı kapasite. Adaptasyon: Daha az zengin bilişsel çerçeve nedeniyle yeni veya karmaşık durumlara adapte olma yeteneğinin azalması.

 

Sinir Ağları (NNs)

Büyük Boyutsallık

İfade Gücü:

Özellik Temsili: Yüksek boyutlu gömmeler, girdi verilerinin daha ince detaylarını ve inceliklerini yakalayabilir, böylece daha iyi özellik temsili sağlar.

 

Performans: Görüntü tanıma veya doğal dil anlama gibi ayrıntılı ayrım gerektiren görevlerde potansiyel olarak daha yüksek performans.

 

Eğitim Karmaşıklığı:

Hesaplama Maliyeti: Optimize edilecek daha fazla parametre, artan hesaplama gereksinimleri ve daha uzun eğitim süreleri.

 

Aşırı Uyum: Veri kümesinin yeterince büyük olmaması durumunda, yüksek boyutsallık için aşırı uyum riski daha yüksektir.

 

Genelleme:

Daha İyi Genelleme Potansiyeli: Uygun düzenleme ve yeterli veri ile, yüksek boyutsal gömmeler daha zengin özellik uzayı nedeniyle görünmeyen verilere daha iyi genelleme yapabilir.

 

Küçük Boyutsallık

Verimlilik:

Hız: Daha az parametre nedeniyle daha hızlı eğitim ve çıkarsama süreleri. Basitlik: Öğrenilmiş gömmeleri anlamak ve yorumlamak daha kolaydır.

 

Sınırlamalar:

İfade Gücü: Girdi verilerinin tüm gerekli detaylarını yakalayamayabilir, bu da karmaşık görevlerde daha düşük performansa yol açabilir.

 

Genelleme: Küçük veri setleri veya basit görevlerde aşırı uyma olasılığı daha düşük olduğu için potansiyel olarak daha iyi genelleme yapabilir.

 

Karşılaştırma ve Benzetmeler

Zenginlik ve Derinlik: Hem insanlar hem de yüksek boyutsal sinir ağları, daha detaylı ve nüanslı bilgi yakalayarak karmaşık görevlerde daha derin anlama ve potansiyel olarak daha iyi performans sağlayabilir.

 

Verimlilik ve Hız: Her iki durumda da küçük boyutsallık, daha hızlı işleme ve verimlilik sağlayabilir, basit veya rutin görevler için uygundur.

 

Aşırı Uyum ve Genelleme: Yüksek eğitimli bireylerin bazen basit görevleri karmaşıklaştırabileceği gibi, yüksek boyutsal sinir ağları da uygun şekilde düzenlenmezse aşırı uyma riski taşır. Buna karşılık, daha basit zihinler veya modeller, daha az karmaşık durumlarda daha iyi genelleme yapabilir.

 

Pratik Sonuçlar

İnsan Öğrenme ve Eğitim: Çeşitli, karmaşık bilgiye maruz kalma ile pratik, odaklı eğitimi dengelemek, bilişin derinliğini ve hızını optimize edebilir.

 

Sinir Ağı Tasarımı: Gömmeler için uygun boyutsallığı seçmek, karmaşık görevler için yeterli veri varsa performansı artırabilir. Basit görevler veya sınırlı veri için ise daha küçük boyutsallık, verimliliği ve genelleme yeteneğini artırabilir.

 

Hiç Bilmeyenler İçin Yapay Sinir Ağlarına Giriş

 Hiç Bilmeyenler İçin Yapay Sinir Ağlarına Giriş

Yapay sinir ağlarının temelinde yatan en önemli kavram modellemedir. İnternette aradığınızda karşınıza çıkan bütün Neural Networks örneklerinde bir model bölümü olduğunu göreceksiniz. Neural network’ler genellikle veri hazırlama, model oluşturma, modelin eğitilmesi ve sonuç alma (prediction) aşamalarından oluşur.

Model, gerçek dünyadaki bir sistemin veya sürecin matematiksel denklemlerle ifade edilmesidir. Yapay sinir ağlarını geliştiren öncülerden Geoffrey Hinton’ın Stanford’daki kursu, modellemeye bir örnekle başlar.

Örneğin, belirli büyüklükte bir ev almak istendiğinde, daha önce satılmış evlerin fiyatları listelenir ve iki boyutlu bir grafik üzerinde gösterilir. Bu grafikte her nokta, yatay eksende evin büyüklüğünü ve düşey eksende evin fiyatını temsil eder.

Büyüklük(ft²)    Fiyat(1000USD)

2104                      400

1600                      330

2400                      369

1416                      232

3000                      540

.                              .

.                              .

.                              .

Eğer bu noktaların çoğunu içine alan bir doğru çizebilirsek, istediğimiz fiyatı yatay eksende seçip o noktadan düşey bir doğru çizerek bu doğrunun kesişim noktasını bulabiliriz. Bu noktadan, yatay eksende seçtiğimiz ev büyüklüğünün fiyatını belirleriz. Örneğin, 3500 ft² büyüklüğündeki bir evin fiyatı yaklaşık 540 bin dolardır. Çizdiğimiz eğimli doğru, sistemin MODELİDİR ve bu doğru Y = aX + b şeklinde matematiksel olarak ifade edilir. Doğrunun şekli yani eğimi ve y eksenini kestiği nokta, a ve b parametreleri ile belirlenir.

Her bir noktanın, yani elimizdeki satış bilgilerinin, bu doğruya olan uzaklıklarını hesaplayarak çizdiğimiz doğrunun ne kadar gerçeğe yakın olduğunu, sistemimizin ne kadar doğru çalıştığını belirleriz. Amacımız bu toplam uzaklık değerini mümkün olan en küçük değere indirmektir. Bu doğrultuda, Y = aX + b şeklinde ifade ettiğimiz doğruyu biraz daha eğmek, dikleştirmek veya Y eksenini kaydırmak gibi değişiklikler yaparız. Her değişiklik sonrası, doğruya olan uzaklıkları hesaplayarak bu süreci tekrar ederiz. Amacımız, en uygun doğruyu bularak optimal sistemi elde etmektir.

Neural networks, gerçek dünyayı modellerken vektörlerden faydalanır. Vektör, matematik ve fizik gibi bilim dallarında yaygın olarak kullanılan, hem büyüklüğü (magnitude) hem de yönü (direction) olan bir niceliktir. Skaler niceliklerden (yalnızca büyüklüğü olan, örneğin sıcaklık veya kütle gibi) farklı olarak, vektörlerin yönü de önemlidir.

Örneğin, işsizlik konusunu modellemek istediğimizde, konunun sosyal, ekonomik, eğitimsel, teknolojik gibi her bir YÖNÜ bir vektör olarak seçilebilir ve bu vektörlerin büyüklükleri ağırlıklarına göre belirlenir. Bu tür bir modellemede vektörler, çeşitli özellikleri temsil eder. Örneğin, ev fiyatlarını modellerken, oda sayısını dikkate almak istiyorsak, model çıktımız [3500, 540, 5] gibi bir vektör olabilir. Burada, her bir değer, evin büyüklüğü, fiyatı ve oda sayısını temsil eder.

Neural networklerde model oluştururken her giriş değeri, bir yön ve büyüklük (ağırlık) ifade edecek şekilde vektörlerle temsil edilir. Modellemeye çalıştığımız konu çok boyutluysa, giriş değerlerimizi belirten vektörler de çok boyutlu olmalıdır.

 

 

 

 

Anlam yapay sinir ağlarında nasıl gerçeğe dönüşür

 

Anlam bağlam içinde belirlenir.  Anlam bağlam içinde var olur.  Bebek annesi ile ilişkisinde sevgi kavramını öğrenir.  Daha sonra sevgi kelimesini... 

 

Bir anlam, bir kelimenin anlamı, kişinin bildiği bütün kelimeler içinde o kelime ile ilişkiye sahip olan kelimelerin oluşturduğu bir yakınlıktır.  İlişkili kelime ne kadar çok onunla birlikte kullanılırsa anlam üzerinde o ilişkili kelimenin etkisi o kadar güçlenir(Hebbian plasticity, sık sık "birlikte ateşleyen hücreler birlikte bağlanır" şeklinde özetlenir).

 

Yapay sinir ağlarında anlam Embedding ile gerçekleştirilir.  İlk olarak büyük bir sözlük oluşturmak için Corpus denilen metin dağarcığı hazırlanır.  Daha sonra bu metin dağarcığında bulunan kelimeler tek tek ayırılır ve işlenmeye hazır hale getirilir.  Kelimeler takları ile birlikte dikkate alınır.  Stopword denilen ve, veya vb gibi anlam açısından kendi başlarına önem taşımayan kelimeler dikkate alınmaz.

 

Sözlük hazırlandıktan sonra her kelime sözlük içindeki konumuna göre bir sayı ile eşleştirilir.  Bu veri kullanılarak sözlükteki kelimelere iki tür erişim imkanı oluşturulur.  Konum sayısından kelimeye erişmek ve kelimeden konum sayısına erişmek.  Böylece her kelime bir tek sayı ile eşleştirilir.

 

Daha sonra kelimeler arasındaki ilişkileri tespit etmek için ana metin içinde tek tek her cümlede tek tek her kelimenin en yakınındaki kelimeler tespit edilir.  Yakınlığın ölçütü bir pencere büyüklüğü olarak geçer.  Örneği ‘Ali okula otobüs ile gitti.’ Cümlesinde yakınlık pencersi 2 olarak tespit edersek Ali ile ilişkili kelimeler okula ve otobüs olur. 

 

Ayrı bir sözlükte(bağlam sözlüğü) tek tek her kelimeye karşı düşen ilişkili kelimeler listesi saklanır.  Bir kelime istendiğinde bu kelime ile ilişkili bütün kelimeler bu kelimeye özgün ilişkili kelimeler listesinden alınabilir.

 

Anlam bağlam içinde oluşur.  Bir kelime genellikle belirli bir yakınlık taşıyan kelimeler civarında bulunur.  Yapay sinir ağlarında bağlamı belirleyen kullandığımız yakınlık penceresidir.  Sözlük içinde var olan herbir kelime için kullandığımız metin dağarcığında bulunan bütün cümleler taranarak ilişkili kelimeler listesini çıkarabiliriz.  Üstelik bu listeler bulunan her ilişkili kelimenin hem kendisini hem de sözlük içindeki konumunu belirleyen sayısal bilgiyi içerir.

 

Daha sonra bu bilgi yığınından sözlükteki herbir kelimenin soyut anlamının matematiksel karşılığını çıkarmak için çok basit bir yapay sinir ağı oluştururuz.  Bu yapay sinir ağı bir giriş(W1) ve bir saklı(hidden W2)  ağırlıklar katmanlarından oluşur.  Her iki katmanın öğrenme aşaması başlangıcında ağırlık değerleri rasgele verilir.  Bebeğin başlangıçta kafasında hiç bir kelime ilişkisi olmaması ve seslerin ses dizilerinin tekrarı ile giderek kavramları öğrenmesi gibi...

 

Oluşturduğumuz bu yapay sinir ağına, giriş olarak belirli bir kelimeye ilşkin bağlam sözlüğünde sakladığımız bütün kelimelerin matematiksel toplamı verilir.  Oluşan çıkış seçtiğimiz belirli kelime ile karşılaştırılır.  Her iki kelime de sayısal değerleri ile temsil edilir.  Oluşan farka göre sinir ağının ağırlıkları çıkıştan girişe doğru, elde edilen sonucun yanlışlık farkı ile orantılı olarak değiştirilir (backpropagation). Buraya kadar olan denemeye öğrenme aşaması(epoch) denir.  Aynı giriş kelimesi verilerek yine belirli kelimenin bulunup bulunmadığına bakılır eğer fark belirli bir sınır altında değilse öğrenme aşaması tekrarlanır.

 

Bir belirli kelime için öğrenme tamamlanınca sözlükteki diğer bütün kelimele için tek tek bu işlem tekrarlanır.  Böylece, sözlükteki bütün kelimeler arasındaki ilişkilere göre yapay sinir ağının ağırlıkları değştirilir.

 

İşte eğittiğimiz bu yapay sinir ağının ağırlıkları dağarcığımızdaki bütün kelimelerin ilişkilerini sayısal olarak depolamış olur.  Her kelimeye karşı düşen her bir kısım o kelimenin sayısal ifadesini içerir.

 

Son ama en önemsiz olmayan bir not:  Kullandığımız yapay sinir ağının katmanlarının boyutu oluşan embedding değerlerinin, yani anlamın kalitesini belirler.  ‘İnsan algılamasında boyutun rolü ve yapay sinir ağlarında Embedding’  adlı yeni makalemi yakın bir zamanda burada bulabilirsiniz.

 

The Interplay of Inquiry: From Ancient Teachings to Modern AI

 

The Interplay of Inquiry: From Ancient Teachings to Modern AI

Ali Rıza SARAL

 

In both ancient teachings and modern artificial intelligence (AI), the importance of asking questions stands as a cornerstone of knowledge acquisition and understanding. Delving into the significance of questioning in religious scriptures and customs reveals parallels with the mechanisms driving AI models like transformers, shedding light on the timeless nature of inquiry in human cognition and technological advancement.

 

Ancient teachings, whether found in religious texts or cultural customs, have long emphasized the value of asking questions. In these traditions, questioning serves as a pathway to deeper understanding, fostering critical thinking, exploration, and personal growth. The act of asking questions is not merely about seeking answers but also about engaging with the material, leading to profound insights and self-discovery.

 

Matthew 7:7-8 (NIV): "Ask and it will be given to you; seek and you will find; knock and the door will be opened to you. For everyone who asks receives; the one who seeks finds; and to the one who knocks, the door will be opened."

 

This emphasis on questioning finds resonance in the realm of modern AI, particularly in attention mechanisms and transformer models. Attention mechanisms enable AI models to focus on specific parts of input data, effectively asking questions about what information is relevant or important in a given context. By continually refining and improving these questions, AI models enhance their understanding and performance over time, mirroring the iterative process of learning and inquiry seen in human cognition.

 

Moreover, as AI models learn from data, they refine their representations of knowledge, akin to individuals refining their understanding of ancient teachings through study and reflection. Just as religious scholars deepen their comprehension of scriptures through ongoing inquiry, AI models iteratively improve their understanding of the world through exposure to more data and feedback, enhancing their ability to generate insights and make predictions.

 

The interconnectedness between ancient wisdom and modern technological advancements underscores the universal principles underlying the quest for understanding and knowledge. By recognizing the parallels between human cognition and AI processes, we gain a deeper appreciation for the enduring significance of inquiry in shaping our understanding of the world, both past and present.

 

In essence, the interplay of inquiry, from ancient teachings to modern AI, highlights the timeless nature of questioning as a fundamental aspect of human cognition and technological progress. As we continue to explore the depths of knowledge, may we embrace the transformative power of asking questions, both in our spiritual and intellectual pursuits, and in the ever-evolving landscape of artificial intelligence.

 

 

 

 

 

 

İnsan Odaklanması ve Yapay Sinir Ağlarında Dikkat (Attention) Mekanizması

Bir problemi çözmeye veya bir kavramı anlamaya çalışırken, süreç aşağıdaki adımlara ayrılabilir ve bu adımlar, query-key-value (sorgu-anahtar-değer) dikkat mekanizması ile yakından ilişkilidir:

 

Ne Aradığınızı Netleştirin (Query/Sorgu):

Sorgu: Bu, belirli amacınız veya yanıtını bulmak istediğiniz sorudur. Örneğin, belirli bir tür matematik problemini çözmenin yollarını arıyorsanız, sorgunuz "ikinci dereceden denklemleri çözme yöntemleri" olabilir.

İnsan terimleriyle bu, ne aradığınız konusunda net bir fikriniz olduğu anlamına gelir. Bunu zihninizde belirli bir soru veya hedef olarak ifade edebilirsiniz.

 

İlgili Metinleri Sınırlandırın (Keys/Anahtarlar):

Anahtarlar: Bunlar, yanıtınızı bulabileceğiniz potansiyel bilgi kaynaklarıdır. Bir kitapta, anahtarlar farklı bölümler, paragraflar veya cümleler olabilir.

Okurken veya arama yaparken, dikkatiniz sorgunuzla ilgili bilgi içermesi muhtemel olan metin kısımlarına çekilir. Zihinsel olarak, sorgunuzla açıkça ilgisiz olan bölümleri filtrelersiniz.

 

Gerçekten Bulmanız Gerekeni Netleştirin (Values/Değerler):

Değerler: Bunlar, anahtarlar içinde sorgunuzla ilgili olan bilgi parçalarıdır. Örneğin, değerler, belirli formüller, örnekler veya ikinci dereceden denklemlerin açıklamaları olabilir.

Beyniniz, anahtarları değerlendirir ve en alakalı değerleri çıkarır. Örneğin, sorgunuzla doğrudan ilgili olan belirli bir formülü veya adım adım çözümü vurgular.

 

Dikkat Mekanizmasının Uygulanması

Bu sürecin bir sinir ağı dikkat mekanizmasında nasıl göründüğüne bakalım:

 

Sorgu: Sinir ağı, ihtiyaç duyduğu bilgiyi temsil eden belirli bir sorgu vektörü alır.

Anahtarlar: Daha sonra girdi verilerindeki tüm potansiyel bilgileri (anahtarlar) inceler. Her veri parçası bir anahtar ile ilişkilidir.

Değerler: Her anahtar için, gerçek bilgiyi içeren karşılık gelen bir değer vardır.

 

Dikkat mekanizması şu şekilde çalışır:

Alakayı hesaplama: Ağ, her anahtarın sorguyla ne kadar alakalı olduğunu, genellikle sorgu ve anahtar vektörlerinin nokta çarpımını kullanarak hesaplar.

Değerleri ağırlıklandırma: Ağ, bu puanları kullanarak değerleri ağırlıklandırır. Daha yüksek puanlar daha fazla alaka ve dolayısıyla daha fazla ağırlık anlamına gelir.

Değerleri toplama: Ağırlıklandırılmış değerler daha sonra birleştirilerek en alakalı bilgileri içeren bir çıktı oluşturur.

 

İnsan Dikkati ve Öğrenme

İnsan öğreniminde bu süreç mekanik olmaktan ziyade kavramsal olarak benzerdir:

 

Hedefinizi netleştirirsiniz (sorgu), ne aradığınızı bildiğinizden emin olursunuz.

Potansiyel kaynakları tararsınız (anahtarlar), ilgili bilgilerin bulunabileceği yerleri belirlersiniz.

İlgili bilgileri çıkarmaya odaklanırsınız (değerler), gereksiz olanları filtreler ve sorununuzu çözmenize yardımcı olacak bilgilere odaklanırsınız.

 

Pratikte Örnek

Diyelim ki, bir fizik kitabını okuyarak bir problemin çözümünü bulmaya çalışıyorsunuz. İşte bu süreci nasıl uygulayabileceğiniz:

 

Sorgu: Bir projenin menzilini bulmak için bir formül bulmanız gerektiğine karar verirsiniz.

Anahtarlar: Proje hareketini kapsayan bölümleri ve alt başlıkları gözden geçirirsiniz.

Değerler: "Proje Hareketinin Menzili" başlığı altında bir bölüm bulur ve okumaya başlarsınız. Dikkatinizi doğrudan sorgunuzla ilgili olan formüller ve adım adım çözümler üzerinde yoğunlaştırırsınız.

 

Özetle, insan odaklanma süreci, amacınızı netleştirmeyi, ilgili kaynakları filtrelemeyi ve gereken bilgiyi belirlemeyi içerir ve bu süreç, sinir ağlarındaki query-key-value dikkat mekanizmasını yakından yansıtır.

On the Act of Understanding – An AI Transformer Approach

  

On the Act of Understanding – An AI Transformer Approach

 

Ali Rıza SARAL

 

 

What does the verb 'to mean' signify? How do we define 'meaning'?

 

The term 'to mean' conveys an action, akin to 'to eat' or 'to study.' However, 'to mean' is more abstract, representing an accusative process. It implies that something holds significance for someone else, as that someone comprehends the intended meaning.

 

Now, what does the act of 'to understand' entail? 'To understand' is an active and transformative process. When we perceive something, we break it down into its syntactic/semantic components. These components are then evaluated based on their contextual positions. The cumulative effect of these values and their weights within the context allows us to grasp their intended meaning. Essentially, meaning is encoded in episodic memory and transferred to semantic memory as needed.

 

Meaning is inherently subjective, contingent upon what the communicator conveys and what the recipient comprehends. Both of these processes, communication and comprehension, involve transformative steps.

 

Finally, transformers can be designed to facilitate machine understanding. Examples include drink dispensers, coffee machines, ATMs, intelligent bombs, and even machines endowed with a form of 'consciousness.' Consider a scenario where a drink dispenser responds precisely to the amount paid and the specified request. Similarly, an intelligent bomb is programmed to react precisely as intended for destruction.

 

Intelligence, consciousness, and conscience are intricately constructed processes. When humanity imparts intelligence to machines, it essentially creates a higher entity in its own image. The challenge lies in the fact that human nature, at present, might not possess the maturity required to cultivate a consciousness with a sufficiently expansive conscience—an ethical consideration as extensive as the Artificial Intelligence it crafts.

 

Teaching

 

"I will torture you to death and after your body decays in your grave, your bones will still remember what I taught you".

This is what I perceived from my teacher Dr. Roque CORDERO's teaching approach at Illinois State University between 1989 and 1990. He was a student of Ernst KRENEK, I do not know anything about Krenek's approach but apparently, he came from the German tradition.

I taught 5 years at 7tepe University, my approach was definitely different from CORDERO's but still aimed to be remembered well into the future.

I do not know whether this is right or humane as a teaching approach as I have not yet had the chance to check its truth completely. But strange enough I can remember every single word Cordero spent in his teaching.

YÖNTEM SORUNU

 

YÖNTEM SORUNU

Ali Rıza SARAL

 

"Gerçeğin sadece 'gerçek' olması yeterli değildir; aynı zamanda anlaşılmalı ve pratikte uygulanmalıdır. İkisi arasındaki fark önemlidir çünkü insan kolayca, 'gerçek' olan ancak uygulanamayan bir gerçeği hayal edebilir; bu durumda gerçekten anlaşılmamış ve dolayısıyla hiçbir şekilde gerçek olmayan bir gerçek olur." (Jean-Paul Sartre, "Eleştirel Diyalektik İnceleme," Bölüm 4, Bölüm 1, Bölüm 1, "Yöntemsel Düşünceler." [1])

 "Devrimci durum, egemen sınıfın eski toplumsal ilişkileri korumaya ve onları kurtarmaya yetecek kadar gücü olmadığı, toplumun alt tabakalarının ise eski toplumsal ilişkileri yıkmak ve onları kendi toplumsal ilişkileriyle değiştirmek için yeterli güce sahip olduğu tarihsel dönemdir."  Lenin, V. I. (1917). Devlet ve Devrim.[2]

 Toplumu oluşturan unsurlar arasındaki maddi ve manevi farklılıklar arttıkça doğal, adım adım gelişmenin yerini sıçramalı, ani değişim ihtiyacı alır.  Ülkemiz tarihinde devrim ve darbeler bu açıdan değerlendirilebilir.

 Çelişkiler maddi ve manevi farklılıklardan  kaynaklanan menfaat çatışmalarıdır.  Çelişkiler reformlarla aşılamayacak aşamaya geldiğinde toplumun bazı unsurları devrimci yöntemlere başvurur.  60-70’ler sonrasında Türkiye’de devrimci yöntemler makro ve mikro seviyelerde sık sık uygulanmıştır.

 Devrimci yöntemler yapıcı yaklaşımlarla durumu iyileştirmek değil aksine durumun iyileşmesinin mümkün olmadığını göstermek üzerine yoğunlaşır.  Örneğin son seçimlerde Millet cephesi yeni kabul edilen Cumhurbaşkanlığı sistemini geliştirmeye yönelik değil onu yıkıp geriye parlamenter sisteme dönmesi için çalışmıştır.

 Türkiye’de önemli bir kültürel sorun 60-70’lerden kalan mücadele yöntemlerinin, devrimci yaklaşımların hala etkin olmasıdır.  Ülkemizin uzlaşmaya dayanan, sorumluluk alan, al-ver ilişkilerine dayanan yaklaşımlara ihtiyacı vardır.

 Türkiye’de toplumda var olan çelişkiler devrimci yaklaşımları başarılı kılacak kadar güçlü değildir.

 REFERENCES:

[1] Sartre, J.-P. (1976). Critique of Dialectical Reason. Part 4, Chapter 1, Section 1, "Methodological Considerations." Translation by Alan Sheridan-Smith.

[2] Lenin, V. I. (1917). Proletarya Diktatörlüğü. In Devlet ve Devrim [The State and Revolution] (Çev. H. Savaşır.

 Sartre Quote:

"It is not enough for a truth to be 'the truth'; it must also be apprehended and applied in practice. The distinction between the two is important because one can easily conceive of a truth which is 'the truth' but which cannot be applied; this would then be a truth which was not truly apprehended, and consequently not a truth at all." (Jean-Paul Sartre, "Critique of Dialectical Reason," Part 4, Chapter 1, Section 1, "Methodological Considerations." [1]