1
Nov
2019

„ნეირონული სინესთეზია“, ანუ როგორ აქცია ხელოვნურმა ინტელექტმა მუსიკა ვიზუალად [ვიდეო]

1 Nov 2019

veon
veon


სინესთეზია ერთგვარი თანაშეგრძნებაა. ფსიქოლოგიაში მას განმარტავენ, როგორც აღქმასთან დაკავშირებული მოვლენას, როდესაც ერთი გრძნობის ორგანოს გაღიზიანებისას მისთვის დამახასიათებელი სპეციფიკური შეგრძნების პარალელურად, ჩნდება სხვა გრძნობის ორგანოსთვის დამახასიათებელი შეგრძნებაც. მაგალითად, გვესმის ფერები, ვხედავთ ხმას, ვგრძნობთ ნახატის გემოს და ა.შ. რასაც აღვწერთ, ადამიანებისთვისაა დამახასიათებელი, თუმცა, რა მოხდება, თუ ხელოვნურ ინტელექტს მუსიკის დანახვის საშუალებას მივცემთ, უფრო კი, შევქმნით ალგორითმს, რომელიც ხმის ვიზუალიზაციაზე იმუშავებს.

ამ მიმართულებით, მანქანური სწავლების ბელგიელმა მკვლევარმა ზანდერ სტინბრუგემ შექმნა ნეირონული ქსელი, რომელსაც მუსიკის ვიზუალიზაცია შეუძლია. ამისთვის ის ადამიანის მიერ შექმნილი ნახატებისგან შემდგარ მონაცემთა ბაზებს იყენებს.

სტრინბრუგე პროექტს „ნეირონულ სინესთეზიას“ უწოდებს. მის ფარგლებში კი Generative Adversarial ქსელს იყენებს. ეს არის მანქანური სწავლების სისტემა, რომელიც სპეციალიზირდება ახალი მონაცემების შექმნაში, უკვე არსებულ მონაცემებზე დაყრდნობით. პროექტის მიზანია ახალი აუდიოვიზუალური გამოცდილების შექმნა. გამოცდილების, რომელიც ხელოვნურ ინტელექტს უკავშირდება.

 

განხილვა