Google MUM Nedir? Google MUM Nasıl Çalışır?

Google-mum

Google MUM’un nasıl çalıştığına dair ipuçları, Google Multitask Unified Model (MUM) zekası araştırması.

Google Multitask Unified Model (MUM), doğrudan yanıtları olmayan karmaşık soruları yanıtlamaya yönelik yeni bir teknolojidir. Google, MUM AI’nın ne olduğuna ve nasıl çalıştığına dair ipuçları sunabilecek araştırma kağıtları yayınladı.

MUM, muhtemelen birden fazla yenilikten oluşuyor. Örneğin, Google araştırma makalesi, HyperGrid Transformers: Towards A Single Model for Multiple Tasks , MUM’un bir parçası olabilecek çok görevli öğrenmede yeni bir son durumu açıklıyor.

Bu makale özellikle ilginç olan iki makaleye odaklanırken, bu, bunların Google’ın Çoklu Görev Birleşik Modelinin (MUM) altında yatan tek iki teknoloji olduğu anlamına gelmez.

Araştırma Raporlarında ve Patentlerde Açıklanan Google Algoritmaları


Google, araştırma makalelerinde veya patentlerde açıklanan algoritmaların kullanımda olup olmadığını genellikle onaylamaz.

Google, Multitask Unified Model (MUM) teknolojisinin ne olduğunu onaylamadı.

Çok Görevli Birleşik Model Araştırma Raporları

Bazen Neural Matching’de olduğu gibi, teknolojinin adını açıkça kullanan hiçbir araştırma makalesi veya patent yoktur. Sanki Google, birlikte çalışan bir grup algoritma için açıklayıcı bir marka adı icat etmiş gibi.

Bu, Multitask Unified Model (MUM) için biraz geçerlidir. Tam olarak MUM markasını taşıyan patentler veya araştırma belgeleri yoktur. Fakat…

Orada olan MUM çözer MULTITASK kullanarak o benzer sorunları ve Unified Modeli çözümleri tartışmak araştırma kağıtları.

MUM’un Çözdüğü Sorunun Arka Planı

Uzun Form Soru Cevaplama, bir bağlantı veya küçük parça ile cevaplanamayan karmaşık bir arama sorgusudur. Cevap, birden çok alt konu içeren paragraflar gerektirir.

Google’ın MUM duyurusu, bazı soruların karmaşıklığını, sonbaharda Fuji Dağı’nda yürüyüşe nasıl hazırlanılacağını bilmek isteyen bir araştırmacı örneğiyle açıkladı.

Google’ın karmaşık arama sorgusu

“Bugün, Google size bu konuda yardımcı olabilir, ancak düşünceli bir şekilde değerlendirilmiş birçok arama gerektirecektir – her bir dağın yüksekliğini, sonbaharda ortalama sıcaklığı, yürüyüş parkurlarının zorluğunu, kullanılacak doğru teçhizatı aramanız gerekir. , ve dahası.”

Uzun Biçimli Soruya bir örnek:

“Göller, nehirler ve okyanuslar gibi su kütleleri arasındaki farklar nelerdir?”

Yukarıdaki soru, göllerin, nehirlerin ve denizlerin niteliklerini tartışmak için birden fazla paragraf ve ayrıca her bir su kütlesinin birbiriyle karşılaştırılmasını gerektirir.

İşte cevabın karmaşıklığına bir örnek:

Bir göle genellikle durgun su denir çünkü akmaz.
Bir nehir akıyor.
Hem göl hem de nehir genellikle tatlı sudur.
Ancak bir nehir ve bir göl bazen acı (tuzlu) olabilir.
Bir okyanus millerce derinlikte olabilir.
Uzun Biçimli bir soruyu yanıtlamak, Google’ın sonbaharda Fuji Dağı yürüyüşüne nasıl hazırlanılacağını sormakla ilgili paylaştığı örnek gibi, birden çok adımdan oluşan karmaşık bir yanıt gerektirir.

Google’ın MUM duyurusu, Uzun Form Soru Cevaplama’dan bahsetmedi, ancak MUM’un çözdüğü sorun tam olarak bu gibi görünüyor.

Soruların Cevaplanma Şeklindeki Değişiklik

Mayıs 2021’de, Donald Metzler adlı bir Google araştırmacısı, arama motorlarının soruları nasıl yanıtladığını karmaşık sorulara yanıt vermek için yeni bir yöne gitmesi gerektiği vakasını sunan bir makale yayınladı.

Makale, web sayfalarının indekslenmesi ve sıralanmasından oluşan mevcut bilgi alma yönteminin karmaşık arama sorgularını cevaplamak için yetersiz olduğunu belirtti.

Makalenin başlığı, Aramayı Yeniden Düşünmek: Dilettantlardan Uzman Yaratmak

Deneyimli bir kişi, bir amatör gibi, uzman olmayan bir şey hakkında yüzeysel bir bilgiye sahip olan kişidir.

Kağıt, bugün arama motorlarının durumunu şu şekilde konumlandırıyor:

“Günümüzün son teknoloji sistemleri, başlangıçtaki bir aday kümesi oluşturmak için genellikle terime dayalı… ve anlambilimsel… erişimin bir kombinasyonuna dayanır.

Bu adaylar grubu daha sonra tipik olarak, sinir ağı tabanlı sıralamaya göre öğrenme modelleri olma olasılığı oldukça yüksek olan yeniden sıralama modellerinin bir veya daha fazla aşamasına geçirilir.

Daha önce belirtildiği gibi, indeks-getir-sonra-sıralama paradigması zaman testine dayanmıştır ve gelişmiş makine öğrenimi ve NLP tabanlı yaklaşımların, modern sistemlerin indeksleme, alma ve sıralama bileşenlerinin ayrılmaz bir parçası olması şaşırtıcı değildir. . “

Model Tabanlı Bilgi Erişimi

Making Experts out of Dilettantes araştırma makalesinin tanımladığı yeni sistem , algoritmanın indeks-geri getirme -sıralama kısmını ortadan kaldıran bir sistemdir .

Araştırma makalesinin bu bölümü IR’ye atıfta bulunur ; bu, arama motorlarının yaptığı şey olan Bilgi Erişimi anlamına gelir .

Kağıt, arama motorları için bu yeni yönü şu şekilde açıklamaktadır:

“Model tabanlı bilgi erişimi olarak adlandırılan yaklaşım, geleneksel IR sistemlerinin indeksleme, alma ve sıralama bileşenlerini tek bir birleşik modelde daraltarak uzun ömürlü” sonra sıraya al “paradigmasının yerini almayı amaçlamaktadır.”

Makalede daha sonra ” birleşik modelin ” nasıl çalıştığı hakkında ayrıntılı bilgi verilmektedir .

Google’ın yeni algoritmasının adının Multitask Unified Model olduğunu hatırlatmak için burada duralım.

Şimdilik birleşik modelin açıklamasını atlayacağım ve şunu not edeceğim :

“Bugünün sistemleri ile öngörülen sistem arasındaki önemli ayrım, birleşik bir modelin indeksleme, erişim ve sıralama bileşenlerinin yerini almasıdır. Özünde, model tabanlı olarak anılır çünkü modelden başka bir şey yoktur. “

“Bunu başarmak için, sözde bir model tabanlı bilgi alma çerçevesi önerilmiş olması uzak geleneksel dizinden sonları almak-sonra-rütbe bilgiyi kodlayarak paradigma bir bir toplulukta bulunan birleşik modeli indeksleme, alma değiştirir ve geleneksel sistemlerin bileşenlerini sıralama. “

Google’ın karmaşık soruları yanıtlamak için kullandığı teknolojinin Çoklu Görev Birleşik Model olarak adlandırılması ve bu Mayıs 2021 belgesinde tartışılan sistemin karmaşık soruları yanıtlamak için ” birleşik bir model ” ihtiyacını ortaya koyması bir tesadüf mü ?

MUM Araştırma Belgesi nedir?

Karmaşık soruları yanıtlama görevini yerine getiren bir algoritmaya olan ihtiyacı duyurur ve bunu başarmak için birleşik bir model önerir.

Sürece genel bir bakış sağlar, ancak ayrıntılar ve deneyler konusunda biraz kısadır.

Aralık 2020’de yayınlanan, deneyleri ve detayları olan bir algoritmayı tanımlayan başka bir araştırma makalesi var ve yazarlardan biri…

Aralık 2020 araştırma makalesinin adı, Kullanıcı Etkinlik Akışları için Sıralı Uzmanların Çoklu Görev Karması’dır.

Burada duralım, Google’ın yeni algoritmasının adını yedekleyelim ve tekrar edelim: Çok Görevli Birleşik Model

Mayıs 2021 Aramayı Yeniden Düşünmek: ralık 2020 tarihli önceki araştırma makalesi aynı yazar tarafından, Kullanıcı Etkinlik Akışları için Sıralı Uzmanların Çoklu Görev Karması ( PDF ) olarak adlandırılmıştır.

Bunlar tesadüfler mi? Belki değil. MUM ile bu diğer araştırma makalesi arasındaki benzerlikler tuhaf bir şekilde benzerdir.

MoSE: Kullanıcı Etkinlik Akışları için Sıralı Uzmanların Çoklu Görev Karması

MoSE, karmaşık çok adımlı arama modellerini tahmin etmek için birden çok veri kaynağından arama ve tarama günlükleri öğrenen bir makine zekası teknolojisidir. Oldukça verimlidir, bu da onu ölçeklenebilir ve güçlü kılar.

MoSE’nin bu özellikleri, MUM algoritmasının belirli nitelikleriyle eşleşiyor, özellikle MUM’un karmaşık arama sorgularını yanıtlayabileceği ve BERT gibi teknolojilerden 1.000 kat daha güçlü olduğu.

MoSE Ne Yapar

MoSE, kullanıcı tıklama ve tarama verilerinin sıralı sırasından öğrenir. Bu bilgi, tatmin edici cevaplar üretmek için karmaşık arama sorguları sürecini modellemesine izin verir.

Google’ın Aralık 2020 MoSE araştırma makalesi, arama sorgusu ve bağlam üzerinde modellemenin aksine, kullanıcı davranışını sıralı sırayla modellemeyi açıklıyor.

Kullanıcı davranışını sıralı sırayla modellemek, karmaşık bir sorguyu nasıl yanıtlayacağını anlamak için bir kullanıcının bunu nasıl aradığını incelemek gibidir.

Kağıt bunu şu şekilde açıklıyor:

“Bu çalışmada, sinirsel çok görevli öğrenme ortamlarında sıralı kullanıcı davranışının nasıl modelleneceğine ilişkin zorlu problemi inceliyoruz.

En büyük katkımız, yeni bir çerçeve olan Sıralı Uzmanların Karmasıdır (MoSE). Son teknoloji Çok Kapılı Uzman Karışımı çoklu görev modelleme çerçevesindeki Uzun Kısa Süreli Belleği (LSTM) kullanarak sıralı kullanıcı davranışını açık bir şekilde modeller. “

Multi-gate Mixture-of-Expert multi-task modeling framework ” hakkındaki bu son kısım oldukça ağız doludur.

MoSE, Arama Konusunda Eğitildi

MoSE algoritması , farklı çeşitli veri biçimleri anlamına gelen heterojen verilerden öğrenmeye odaklanır .

MUM bağlamında bizi ilgilendiren, MoSE algoritmasının arama bağlamında ve cevap arayışlarında araştıranların etkileşimleri, yani bir araştırmacının bir cevap bulmak için hangi adımları attığı bağlamında tartışılmasıdır.

“Bu çalışmada, heterojen veri kaynaklarından ör. Arama günlükleri ve tarama günlükleri kullanıcı etkinliği akışlarını ve bunlar arasındaki etkileşimleri modellemeye odaklanıyoruz.”

Araştırmacılar, MoSE algoritmasını G Suite ve Gmail’deki arama görevlerinde denedi ve test etti.

MoSE ve Arama Davranışı Tahmini

MoSE’yi MUM ile alakalı olmak için ilginç bir aday yapan bir başka özellik de, bir dizi ardışık arama ve davranışı tahmin edebilmesidir.

Google MUM duyurusunda belirtildiği gibi karmaşık arama sorguları sekiz arama kadar sürebilir.

Ancak bir algoritma bu aramaları tahmin edebilir ve bunları yanıtlara dahil edebilirse, algoritma bu karmaşık soruları daha iyi yanıtlayabilir.

MUM duyurusu şunları belirtir:

Ancak Multitask Unified Model veya MUM adlı yeni bir teknolojiyle, bu tür karmaşık ihtiyaçlarda size yardımcı olmaya yaklaşıyoruz. Bu nedenle, gelecekte işleri halletmek için daha az aramaya ihtiyacınız olacak. “

MoSE araştırma belgesinin ifade ettiği şey:

Örneğin, arama sistemlerindeki kullanıcı arama günlükleri gibi kullanıcı davranışı akışları doğal olarak geçici bir dizidir. Sıralı kullanıcı davranışlarını açık sıralı temsiller olarak modellemek, çoklu görev modelini zamansal bağımlılıkları birleştirmek için güçlendirebilir ve böylece gelecekteki kullanıcı davranışını daha doğru bir şekilde tahmin edebilir. “

MoSE, Kaynak Maliyetlerinde Son Derece Verimlidir
MoSE’nin verimliliği önemlidir.

Bir algoritmanın bir görevi tamamlamak için ne kadar az bilgi işlem kaynağına ihtiyacı olursa, bu görevlerde o kadar güçlü olabilir çünkü bu, ona ölçeklemek için daha fazla alan sağlar.

MUM’un BERT’den 1.000 kat daha güçlü olduğu söyleniyor.

MoSE araştırma belgesi, arama kalitesinin “ kaynak maliyetleri ” ile dengelenmesinden bahseder , kaynak maliyetleri hesaplama kaynaklarına bir referans teşkil eder .

İdeal olan, arama gibi daha büyük bir görev için ölçeklenmesini sağlayacak minimum bilgi işlem kaynağı maliyetiyle yüksek kaliteli sonuçlar elde etmektir.

Orijinal Penguin algoritması, tüm web haritasında bağlantı grafiği olarak adlandırılır yılda yalnızca birkaç kez çalıştırılabilir. Muhtemelen bunun nedeni kaynak yoğun olması ve günlük olarak çalıştırılamamasıydı.

2016’da Penguin artık gerçek zamanlı olarak çalışabildiği için daha güçlü hale geldi. Bu, minimum kaynak maliyetiyle yüksek kaliteli sonuçlar üretmenin neden önemli olduğunun bir örneğidir.

MoSE ne kadar az kaynak maliyeti gerektirirse, o kadar güçlü ve ölçeklenebilir olabilir.

Araştırmacıların MoSE’nin kaynak maliyetleri hakkında söyledikleri:

“Deneylerde, MoSE mimarisinin G Suite’teki hem sentetik hem de gürültülü gerçek dünya kullanıcı verilerinde yedi alternatif mimari üzerindeki etkinliğini gösteriyoruz.

Ayrıca, arama kalitesi ve kaynak maliyetleri arasında denge sağlayan GMail’de milyonlarca kullanıcıyı içeren gerçek dünyadaki bir karar alma motorunda MoSE mimarisinin etkinliğini ve esnekliğini gösteriyoruz. “

Daha sonra makalenin sonuna doğru şu olağanüstü sonuçları bildiriyor:

MoSE’nin iki faydasını vurguluyoruz. İlk olarak, performans açısından MoSE, yoğun şekilde ayarlanmış paylaşılan dip modelinden önemli ölçüde daha iyi performans gösterir. % 80 kaynak tasarrufu gereksinimi ile MoSE, üründe çok önemli olan yaklaşık% 8 daha fazla belge arama tıklaması elde edebilmektedir.

Ayrıca MoSE, eğitim sırasında görevlere eşit ağırlık vermemize rağmen, modelleme gücü nedeniyle farklı kaynak tasarrufu düzeylerinde sağlamdır. “

Ve değişime dönme gücü ve esnekliği ile övünür:

“Bu, MoSE gibi daha sağlam bir model, eğitim sırasında önem ağırlıklarına daha duyarlı olan modellerle karşılaştırıldığında modeli yeniden eğitme ihtiyacını azaltabileceğinden, iş gereksinimi uygulamada değişmeye devam ettiğinde MoSE’ye daha fazla esneklik sağlar.”

MoSE ve Transformer

MUM’un Transformer tekniği kullanılarak yapıldığı açıklandı.

Google’ın duyurusu şunları kaydetti:

“MUM, Google’ın karmaşık görevlerde size yardımcı olma şeklini dönüştürme potansiyeline sahip. BERT gibi, MUM da bir Transformer mimarisi üzerine inşa edilmiştir, ancak 1.000 kat daha güçlüdür. ”

MoSE araştırma belgesinde altı ay önce Aralık 2020’de bildirilen sonuçlar dikkat çekiciydi.

Ancak MoSE’nin 2020’de test edilen sürümü Transformer mimarisi kullanılarak oluşturulmadı. Araştırmacılar, MoSE’nin transformatörlerle kolayca genişletilebileceğini belirtti .

Araştırmacılar (Aralık 2020’de yayınlanan makalede), MoSE için gelecekteki bir yön olarak transformatörlerden bahsetti:

“Transformer gibi daha gelişmiş tekniklerle denemeler yapmak gelecekteki iş olarak kabul edilir.

Genel yapı taşlarından oluşan MoSE, GRU’lar, dikkatler ve Transformatörler dahil olmak üzere LSTM’nin yanı sıra diğer sıralı modelleme birimlerinin kullanılması gibi kolayca genişletilebilir… ”

Araştırma makalesine göre, MoSE, Transformers gibi diğer mimariler kullanılarak kolayca güçlendirilebilir. Bu, MoSE’nin Google’ın MUM olarak duyurduğu şeyin bir parçası olabileceği anlamına geliyor.

MoSE’nin Başarısı Neden Önemli?

Google birçok algoritma patenti ve araştırma raporu yayınlamaktadır. Birçoğu, en son teknolojinin sınırlarını zorlarken, aynı zamanda daha fazla araştırma gerektiren kusurları ve hataları da fark ediyor.

MoSE ile durum böyle değil. Tam tersi. Araştırmacılar, MoSE’nin başarılarını ve onu daha da iyi hale getirmek için hala fırsatların olduğunu not ediyorlar.

MoSE araştırmasını daha da dikkate değer kılan şey, iddia ettiği başarı seviyesi ve daha da iyisini yapmak için açık bıraktığı kapıdır.

Bir araştırma makalesinin başarı ve kayıpların karışımı değil, başarı iddiasında bulunması dikkate değer ve önemlidir.

Bu, özellikle araştırmacılar bu başarıları önemli kaynak seviyeleri olmadan elde ettiklerini iddia ettiklerinde doğrudur.

MoSE, Google MUM AI Teknolojisi mi?

MUM, Yapay Zeka teknolojisi olarak tanımlanmaktadır. MoSE, Google’ın AI blogunda Makine Zekası olarak kategorize edilmiştir. Yapay Zeka ve Makine Zekası arasındaki fark nedir? Pek değil, hemen hemen aynı kategorideler makine öğrenimi değil, makine ZEKASI yazdığımı unutmayın. Google AI Publications veritabanı, Yapay Zeka ile ilgili araştırma makalelerini Makine Zekası kategorisi altında sınıflandırır . Yapay Zeka kategorisi yoktur.

MoSE’nin Google’ın MUM’unun altında yatan teknolojinin bir parçası olduğunu kesin olarak söyleyemeyiz.

MUM’un aslında birlikte çalışan birkaç teknoloji olması ve MoSE’nin de bunun bir parçası olması mümkündür.
MoSE, Google MUM’un önemli bir parçası olabilir.
Veya MoSE’nin MUM ile hiçbir ilgisi olmayabilir.
Bununla birlikte, MoSE’nin kullanıcı arama davranışını tahmin etmek için başarılı bir yaklaşım olması ve Transformers kullanılarak kolayca ölçeklendirilebilmesi ilgi çekicidir.

Bu, Google’ın MUM teknolojisinin bir parçası olsun ya da olmasın, bu belgelerde açıklanan algoritmalar, bilgi erişimindeki en son teknolojinin ne olduğunu göstermektedir.