Derin Öğrenme ve Derin Öğrenme’nin Geleceği

Derin Öğrenme

Bu yazımızda Derin öğrenme‘yi ve Derin öğrenme’nin geleceğini ele alacağız. Yazımıza başlamadan önce Derin Öğrenme ‘nin ne olduğunu kısaca tanımlayalım ve bu yazıda kendilerinden çokça bahsedeceğimiz Yoshua Bengio, Geoffrey Hinton ve Yann LeCun‘u tanıyalım.

Derin Öğrenme Nedir?

Derin Öğrenme; yapay sinir ağlarının ve insan kaynaklı verilerden yararlanan algoritamaların verilerden öğrenme etkinliğine verilen isimdir. Bu etkinlik makine öğreniminin alt kümesidir. Derin Öğrenme, düşünme eylemini gerektiren herhangi bir problemde çözüm sağlayabilir. Derin Öğrenme gözetimli ve gözetimsiz olarak gerçekleşebilir, bunların yanında pekiştirmeli öğrenmenin de başarılı sonuçlar verdiği gözlemlenmiştir:

Gözetimli Öğrenme: Öğreniciye verilen X girdisinden çıkarılması istenen Y verisinin belirtilmesi, X girdisi ve Y çıktısı arasında bir ilişki oluşturulmasıdır. Bu ilişkiye bağlı olarak gelecekte karşılaşılabilecek X’ durumunda Y’ çıktısının oluşabileceği tahmin edilebilmektedir.

Gözetimsiz Öğrenme: Gözetimsiz öğrenmede öğreniciye herhangi bir sebep sonuç etiketlemesi yapılmadan veriler verilir. Öğrenici bu verilerin içerisinde var olan ilişki ve bağlantıları öğrenir. Bu öğrenmeye bağlı olarak kendisi sınıflandırmalar ve çıkarımlar yapar.

Pekiştirmeli Öğrenme: Pekiştirmeli öğrenme öğrenicilerin oluşturulan durumda en yüksek ödüle ulaşmak için hangi eylemleri gerçekleştirmesi gerektiğiyle ilgilenir.


Yoshua Bengio

Derin Öğrenme Yoshua Bengio
Yoshua Bengio

Yoshua Bengio, yapay zeka alanında dünya çapında önde gelen bilim insanlarından birisidir ve kendisi en çok Derin Öğrenme alanındaki çalışmalarıyla tanınmaktadır. Bu alanda yaptığı çalışmalar kendisine, Geoffrey Hinton ve Yann LeCun’a 2018 Turing Ödülünü ve Nobel Bilişim Ödülünü kazandırmıştır. Kendisi Université de Montréal’de tam profesördür ve Mila – Quebec Yapay Zeka Enstitüsünün kurucusu ve bilimsel direktörüdür. Kıdemli araştırmacı olarak CIFAR (Canadian Institute for Advanced Research) Learning in Machines & Brains programının yardımcı yöneticiliğini yapmaktadır ve IVADO Bilimsel direktörü olarak görev yapmaktadır.

Geoffrey Hinton

Derin Öğrenme Geoffrey Hinton
Geoffrey Hinton

Geoffrey Hinton, İngiliz-Kanadalı bilişsel ruhbilimci ve bilgisayar bilimcisidir. 2013’te Google Brain projesine katılan Geoffrey Hinton, en çok yapay zeka alanındaki çalışmalarıyla tanınmaktadır. BBVA Foundation Frontiers of Knowledge Ödülü’nü (2016) Bilgi ve İletişim Teknolojileri kategorisinde, makinelere öğrenme yeteneği kazandırmak için yaptığı çalışmalarla kazandı. Hinton, 2017’de Toronto Vektör Enstitüsünün kurucu ortağı ve baş bilimsel danışmanı oldu. Derin Öğrenme üzerine yaptığı çalışmalarla Yoshua Bengio ve Yann LeCun ile 2018 Turing Ödülünü almaya hak kazanmıştır. Geoffrey Hinton, Derin Öğrenme topluluğunda önde gelen isimlerden biri olarak görülüyor.

Yann LeCun

Derin Öğrenme Yann LeCun
Yann LeCun

Yann LeCun, Fransız bilgisayar bilimcisidir. Kendisi makine öğrenme, bilgisayarlı görme, gezgin robotlar ve hesaplamalı nörobilim üzerine yaptığı çalışmalarıyla tanınmıştır. New York Üniversitesinde profesör olarak görev yapmaktadır. Optik karakter tanıma ve konvolüsyonel nöral ağları (CNN) kullanan bilgisayar vizyonu üzerine yaptığı çalışmalarla tanınmaktadır ve konvolüsyonel ağların kurucusudur. aynı zamanda DjVu görüntü sıkıştırma teknolojisinin ana yaratıcılarından biridir. Léon Bottou ile birlikte Lush programlama dilini geliştirdi. 2018 Turing Ödülünü Yoshua Bengio ve Geoffrey Hinton ile birlikte almaya hak kazandı.


Derin Öğrenme LeCun Hinton Bengio
LeCun (solda), Hinton (ortada) ve Bengio (sağda)

Derin Öğrenme’nin üç öncüsü Yoshua Bengio, Geoffrey Hinton ve Yann LeCunn; Communications of the ACM adlı dergide yayınlanan bir makalede derin sinir ağlarının sembolik yapay zekanın yardımı olmadan eksikliklerin üstesinden geleceğini savunuyor. Bengio, Hinton ve LeCunn üçlüsü; yazdıkları makaleyle Derin Öğrenme’nin mevcut zorluklarını ve Derin Öğrenme’nin insanlarda, hayvanlarda olduğundan ne kadar farklı olduğunu açıkladılar. Bununla beraber araştırmalarıyla, Derin Öğrenme’yle ilgili geleceğe dair planlamalara katkı sağlayabilecek son gelişmeleri de keşfettiler.

“Deep Learning for AI” yani “Yapay Zeka için Derin Öğrenme” adlı makale; oluşturulan Derin Öğrenme modellerinin insanlardan çok az yardım alarak veya hiç yardım almadan öğrenme faaliyetini gerçekleştirebileceğini, çevresindeki değişikliklere karşı çok esnek olacağını öngörüyor. Bunun çok çeşitli refleks sorunlarını ve bilişsel sorunları çözebileceği düşünülüyor.


Derin Öğrenme ‘nin Zorlukları

Derin Öğrenme 1
Fotoğraf: Rawpixel

Derin Öğrenme karşılaştırmalarında genellikle insan ve hayvan beyinleri kullanılır. Ancak geçtiğimiz yıllarda yapılan çalışmalar yapay sinir ağlarının; biyolojik muadillerinin verimliliğinden, esnekliğinden ve çok yönlülüğünden ne kadar yoksun olduğunu kanıtlamış oldu. Bengio, Hinton ve LeCun, makalelerinde bu eksiklikleri kabul ediyor. Makalede geçen “Denetimli öğrenme çok çeşitli görevlerde başarılı olsa da genellikle büyük miktarda insan etiketli veriye ihtiyaç duyar. Benzer şekilde pekiştirmeli öğrenme de sadece ödüle dayandığı zaman çok sayıda etkileşime ihtiyaç duyar.” ifadeleri de bunu gösteriyor.

Denetimli öğrenme, bir resim listesi ve bu listenin içeriklerine karşılık gelen etiketlerin verilmesi gibi çeşitli örneklerle sunulan bir makine öğrenimi alt kümesidir. Modeller bu kümede, benzer etiketlere sahip örneklerde yinelenen kalıpları tespit etmek için eğitilmiştir. Model, kalıpları tespit ettikten sonra yeni örnekleri yeni etiketlerle eşleştirmek için öğrenilen kalıpları kullanır. Denetimli öğrenme etiketli örneklerin sıkça kullanıldığı durumlarda fayda sağlamaktadır. Pekiştirmeli öğrenme ise en yukarıda bahsettiğim gibi öğrenicilerin ödüle ulaşmak için hangi eylemleri yapması gerektiğiyle ilgilenen makine öğrenimi alt kümesidir. Bu öğrenim biçiminde öğrenici çevresiyle rastgele etkileşimlerde bulunur ve bunların sonucunda aldığı geri bildirimlerle daha iyi ödüller kazandıracak eylemleri tespit eder.

Her iki durumda da modeller, büyük emek gerektiriyor. Halka açık olmayan, açık kaynaklı olmayan veri kümelerinde etiketli örneklere ulaşılması zordur. Bu durum da insanların çabasını gerektirir. Karmaşık yapıdaki pekiştirmeli öğrenme modelleri ise büyük hesaplama kaynakları gerektirir ve bu durum da modellerin, sadece zengin AI laboratuvarları ve AI şirketleri tarafından kullanılabilir hale gelmesine sebep olur.

Bengio, Hinton ve LeCun, Derin Öğrenme sistemlerinin çözebilecekleri problemlerin hâlâ sınırlı olduğunu “Özel görevlerde oldukça iyi performans gösterirler ancak eğitim aldıkları alanın dışında genellikle kırılgandırlar” sözleriyle ifade ediyorlar. Ortamda bulunan görüntüdeki bir piksel veya küçük bir kural değişikliği, maalesef sistemlerin yoldan çıkmasına sebep olabiliyor.

Derin Öğrenme sistemlerinin bu kırılganlığı, gerçek dünya verilerinin eğitim verileriyle eşit dağıldığı ve özdeş olduğu varsayımına (iid. varsayımı) dayalı olan makine öğrenimi modellerinden kaynaklanmakta. Bu yaklaşım ayrıca, gözlemlerin birbirinden etkilenmediğini de varsaymaktadır. Bilim insanları, “İlk günlerden itibaren makine öğrenimi teorisyenleri iid. varsayımına odaklandılar. Ne yazık ki bu, gerçek dünyada gerçekçi bir varsayım değil.” sözleriyle fikirlerini belirtiyorlar. Çünkü gerçek dünya verileri eğitim verilerinden farklı olarak, sürekli olarak değişim göstermektedir. Modeller bu değişimleri sürekli olarak gözlemlemeli, bu değişikliklerden öğrenmeli ve bunlara göre davranışlarını uyarlamalıdır. Bilim insanları, “Günümüz AI sistemlerinin performansı, laboratuvardan sahaya inildiği zaman darbe alma eğilimindedir.” şeklinde durumu ifade ediyorlar.

iid. varsayımı, bilgisayarla görme ve doğal dil işleme gibi alanlara uygulanmaya çalışıldığında ise daha da kırılgan hale gelmektedir. Birçok araştırmacı ve şirket, daha büyük veri kümelerinin daha geniş ortamları kapsayacağını ve bunun gerçek dünyadaki başarısızlık olasılığını azaltacağını umuyor. Buna bağlı olarak da yapay sinir ağlarını daha fazla veri üzerinde eğiterek Derin Öğrenme’nin sınırlarını aşmaya çalışıyorlar.


Yapay Zekâ Hibrit Zekâya Karşı

Derin Öğrenme AI
Fotoğraf: Starline

Bengio, Hinton ve LeCun makalelerinde, “İnsanlar ve hayvanlar gözlem yoluyla, görevlerden bağımsız olarak dünya hakkında büyük miktarda arka plan bilgisi edinebiliyor. Bu tür bilgiler sağduyuyu destekler ve birkaç saatlik pratikle araba kullanmak gibi karmaşık görevleri yerine getirmeye olanak sağlar. Makalenin başka bir bölümünde de, “Biz insanlar iid. varsayımından çok daha farklı ve daha güçlü genellemeler yapabiliriz, bu kombinasyonları doğru şekilde yorumlayabiliriz. Üstelik bu kombinasyonların eğitimimiz kapsamında gerçekleşmesi imkansız olsa bile. Yeter ki bu kombinasyonlar, önceden öğrendiğimiz semantik (anlamsal) ve sentaktik (sözdizimsel) kalıplara uygun olsun.” ifadeleriyle konu daha net bir şekilde ifade ediliyor.

Bilim insanları, yapay zekâ ile insan zekâsı arasındaki boşluğu kapatmak için çeşitli çözümler sunmaktadır. Sinir ağlarını klasik sembolik sistemlerle birleştiren hibrit yapay zekâ sistemi son birkaç senedir geniş çapta tartışmaya sebep olan bir yaklaşımdır. Sembol manipülasyonu insanların dünya hakkında akıl yürütme yeteneğinin çok büyük bir parçasıdır. Derin Öğrenme sistemlerinin ise en büyük zorluklarından birisidir.

Bengio, Hinton ve LeCun, sinir ağlarını ve sembolik sistemleri birbiriyle harmanlamanın doğru olmadığını düşünüyor. ACM makalesine eşlik eden bir videoda Bengio, “Sinir ağlarının çözemediği problemler olduğuna ve klasik AI sembolik yaklaşımına başvurulması gerektiğine inanan bazı insanlar var. Bizim çalışmalarımız ise bunun aksini gösteriyor.” sözleriyle konu hakkındaki fikrini net bir şekilde belirtiyor. Derin Öğrenme öncüleri, daha iyi sinir ağı mimarilerinin sembol manipülasyonu, akıl yürütme, nedensel çıkarım ve sağduyu dahil olmak üzere insan ve hayvan zekâsının tüm yönlerine yol açacağına inanıyorlar.


Derin Öğrenme ‘de Umut Verici Gelişmeler

Derin Öğrenme Transformer
Transformer, Fotoğraf: Towards Data Science

Bengio, Hinton ve LeCun makalelerinde, Derin Öğrenme’nin zorlandığı bazı alanlarda ilerleme kaydetmeyi sağlayan son gelişmelerden de bahsettiler. Buna OpenAI’nin GPT-3’ü ve Google’ın Meena’sı gibi dil modellerinde büyük önem teşkil eden Transformer adlı sinir ağı mimarisi örnek olarak verilebilir. Transformer’ın faydalarından birisi etiketli verilere ihtiyaç duymadan öğrenme işlemini gerçekleştirebilmesidir. Transformer, denetimsiz öğrenme yoluyla yeni temsiller geliştirebilir ve bu temsilleri eksik cümlelerdeki boşlukları doldurmak veya bir uyarı aldıktan sonra tutarlı bir metin oluşturmak için kullanabilir. Yakın zamanda araştırmacılar, Transformer’ın bilgisayarlı görme görevlerinde de kullanılabileceğini göstermiştir. Evrişimli sinir ağları ile birleştirildiğinde Transformer, görüntülerde maskelenmiş bölgelerin içeriğini tahmin edebilir.

Derin Öğrenme Maskeleme
Fotoğraf: Flickr.com – Michael

Daha umut verici bir teknik ise, görüntülerde maskelenmiş bölgelerin tam piksel değerlerini tahmin etmek yerine eksik bölgelerin vektör temsillerini bulmaya çalışan karşılaştırmalı öğrenme tekniğidir. Bu yaklaşım insan zihninin çalışma yöntemine daha yakın görülmektedir. Yukarıdakine benzer bir görsel gördüğümüz zaman maskelenmiş bölgelerde neler olduğunu fotoğrafta olduğu gibi görselleştiremeyebiliriz fakat maskelenen bu bölgelerde ne olduğuna dair temsiller bulabiliriz. Yukarıdaki fotoğrafta gördüğünüz gibi pencereler ve kapının önü maskelenmiş. Bu maskelenen bölgelerdeki pencereler ve kapının gerçek şeklini tam olarak bilemesek de pencerelerin ve kapının temsilini bulabiliriz.

Makale ayrıca “Sistem 2 Derin Öğrenme”ye de değiniyor. Sistem 2 Derin Öğrenme, bilinçli düşünmeyi gerektiren beyin işlevlerini tanımlamaktadır. Araştırmacılar Sistem 2 Derin Öğrenmenin henüz başındalar ancak bu alanda ilerleme kaydedilirse Sistem 2, sinir ağlarının bazı temel sorunlarının çözülmesini sağlayabilir. Bunun yanında bilim insanları, nesnelere içsel referans atayan ve geometrik ilişkileri kullanarak nesneleri tanıyan sinir ağları üzerine yapılan çalışmaları da destekliyor. Bu çalışmalar, insanların ve hayvanların üç boyutlu ortamları anlamalarını sağlayan bir yetenek olan “sezgisel fizik” ile Derin Öğrenme’nin gerçekleştirilmesine fayda sağlayacaktır.

Kaynak: https://venturebeat.com/2021/07/05/the-future-of-deep-learning-according-to-its-pioneers/