Konsere giden herkes, sanatçılar ve enstrümanları arasında büyülü bir şey olduğunu bilir. Müziği sadece “bir sayfadaki notlardan” tatmin edici bir deneyime dönüştürür.
Washington Üniversitesi’nden bir ekip, yapay zekanın sadece görsel ipuçlarını kullanarak bu zevki yeniden yaratıp yaratamayacağını merak etti – piyano çalan birinin sessiz, yukarıdan aşağıya videosu . Araştırmacılar, sessiz piyano performanslarından ses oluşturan Audeo adlı bir sistem oluşturmak için makine öğrenimini kullandılar. Grup, Audeo’nun SoundHound gibi müzik tanıma uygulamalarıyla oluşturduğu müziği test ettiğinde, uygulamalar Audeo’nun çaldığı parçayı yaklaşık% 86 oranında doğru bir şekilde tanımladı. Karşılaştırma için, bu uygulamalar zamanın% 93’ünde kaynak videolardan alınan ses parçalarındaki parçayı belirledi.
Araştırmacılar, NeurIPS 2020 konferansında Audeo’yu 8 Aralık’ta sundular.
Hem uygulamalı matematik hem de elektrik ve bilgisayar mühendisliği bölümlerinde yardımcı doçent olan kıdemli yazar Eli Shlizerman, “Bir müzikal performansta çalınabilirmiş gibi sesler yaratmanın daha önce imkansız olduğuna inanılıyordu” dedi. “Bir algoritmanın, müzik oluşturmayla ilgili video karelerindeki ipuçlarını veya” özellikleri “bulması ve video kareleri arasında meydana gelen sesi” hayal etmesi “gerekir. Her ikisi de olan bir sistem gerektirir. Kesin ve yaratıcı. Kulağa oldukça iyi gelen müziği başardığımız gerçeği bir sürprizdi. “
Audeo, videoda olanların kodunu çözmek ve ardından bunu müziğe dönüştürmek için bir dizi adım kullanır. İlk olarak, zaman içinde bir diyagram oluşturmak için her video çerçevesinde hangi tuşlara basıldığını algılaması gerekir. Daha sonra, bu diyagramı, bir müzik sentezleyicisinin bir piyanonun yapacağı bir ses olarak gerçekten tanıyacağı bir şeye çevirmesi gerekir. Bu ikinci adım, verileri temizler ve her tuşa ne kadar güçlü ve ne kadar süreyle basıldığı gibi daha fazla bilgi ekler.
Shlizerman, “Yalnızca ilk adımdan itibaren müziği sentezlemeye çalışırsak, müziğin kalitesini yetersiz buluruz” dedi. “İkinci adım, bir öğretmenin bir öğrencinin bestecisinin müziğini gözden geçirmesi ve onu geliştirmesine yardımcı olması gibidir.”
Araştırmacılar, piyanist Paul Barton’ın YouTube videolarını kullanarak sistemi eğitti ve test etti. Eğitim, Bach ve Mozart gibi tanınmış klasik bestecilerin müziğini çalan Barton’un yaklaşık 172.000 video karesinden oluşuyordu. Daha sonra Audeo’yu bu bestecilerden ve Scott Joplin gibi diğerlerinden farklı müzikler çalan neredeyse 19.000 kare Barton ile test ettiler.
Audeo müziğin bir metnini oluşturduktan sonra, onu sese çevirebilen bir sentezleyiciye verme zamanı. Her sentezleyici müziğin sesini biraz farklı kılacaktır – bu, bir elektrikli klavyedeki “enstrüman” ayarını değiştirmeye benzer. Bu çalışma için araştırmacılar iki farklı sentezleyici kullandılar.
Shlizerman, “Fluidsynth, aşina olduğumuz synthesizer piyano seslerini yapıyor. Bunlar biraz mekanik ses çıkarıyor ama oldukça doğru.” “Daha zengin ve daha etkileyici müzik üreten yeni bir yapay zeka sentezleyici olan PerfNet’i de kullandık. Ama aynı zamanda daha fazla gürültü yaratıyor.”
Audeo, yalnızca Paul Barton’ın piyano videolarında eğitildi ve test edildi. Shlizerman, müziğin herhangi bir müzisyen veya piyano için ne kadar iyi yazılabileceğini görmek için gelecekteki araştırmalara ihtiyaç olduğunu söyledi.
Shlizerman, ” Bu çalışmanın amacı, yapay zekanın bir piyanist tarafından bir video kaydında çalınan müziği üretip üretemeyeceğini görmekti – ancak Paul Barton böyle bir virtüöz olduğu için kopyasını çıkarmayı hedeflemiyorduk,” dedi. “Çalışmamızın müzikle etkileşim için yeni yollar sağladığını umuyoruz . Örneğin, gelecekteki bir uygulama Audeo’nun yalnızca bir kişinin ellerini kaydeden bir kamera ile sanal bir piyanoya genişletilebileceğidir. Ayrıca, gerçek bir kameranın üzerine bir kamera yerleştirerek piyano , Audeo potansiyel nasıl oynanır öğrencilere öğretme yeni yollarla yardımcı olabilir.”
Techxplore’den alıntıdır.