1
Jul
2019

როგორ ესმის ხელოვნურ ინტელექტს ქართული ენა

1 Jul 2019

მიუხედავად იმისა, რომ წარმოგვიდგენია, ამა თუ იმ ტექნოლოგიური პროდუქტის შესაძლებლობები უსაზღვროა და ხანდახან, ეს ერთგვარი შიშის მიზეზიც ხდება, მათ უკან უამრავი ადამიანი დგას, რომელთა გონებამაც ტექნოლოგიური პროდუქტების შექმნაზე იზრუნა. შესაძლოა დაგისვამთ კითხვები (ჩემთვის დაუსვამთ), თუ ასეთი განვითარებულია, რატომ ვერ საუბრობს ჰუმანოიდი რობოტი სოფია ქართულად? ან, ჩვენს სმარტფონებსა თუ სხვა მოწყობილობებში ინტეგრირებული ხმოვანი ასისტენტები რატომ ვერ რეაგირებენ ჩვენს ბრძანებებზე, რომელსაც ქართულ ენაზე გავცემთ? საქმე იმაშია, რომ იმისათვის, რომ პროგრამამ ქართული ენა გაიგოს, ვიღაც უნდა ადგეს და ასწავლოს ის. თუმცა, ეს არც ისე მარტივი პროცესია, როგორც მას სიტყვები – „ადგომა“ და „სწავლება“ გადმოსცემს.

დაახლოებით, 2 წლის წინ, ხელოვნური ინტელექტის მიმართულებით მომუშავე ქართული კომპანია Pulsar AI-ს თანადამფუძნებელი, დაჩი ჭოლაძე გვიყვებოდა, რომ კომპანიის ერთ-ერთი მთავარი მიღწევა ქართული ენის Natural Language Processing – ბუნებრივი ენის დამუშავებაა. ეს სწორედ ის ინსტრუმენტია, რომლის დახმარებითაც სისტემას ესმის ქართული ენა და ეს ის მიმართულებაა, სადაც თითქმის ყველაფრის ნულიდან გაკეთება გახდა საჭირო. თი ბოტი, სუპერ ბი, ქართულენოვანი ხმოვანი ასისტენტი თუ თიბისის მობაილბანკის ხმოვანი ასისტენტი მხოლოდ ნაწილია იმ პროექტების ჩამონათვალიდან, რომელთა შესაქმნელადაც „პულსარმა“ მის მიერ, ქართული ენის დამუშავებისთვის შექმნილი, ხელოვნურ ინტელექტზე დაფუძნებული რესურსები გამოიყენა. როგორ შეიქმნა ქართული ენის Natural Language Processing და რა ეტაპები გაიარა კომპანიამ ამისთვის. ამ საკითხებზე Pulsar AI-ს ლინგვისტები – მარიამ მათიაშვილი და ანა კოლხიდაშვილი გვესაუბრნენ.

პროექტზე მუშაობისას, მხოლოდ უცხოენოვანი მოდელების შესწავლა არ იყო საკმარისი, რადგან ქართული ენა ძალიან სპეციფიური და განსხვავებული სტრუქტურის ენაა და საჭირო იყო სრულიად ინდივიდუალური მიდგომა, ამიტომაც მოგვიწია შეგვექმნა ქართულ ენაზე მორგებული სრულიად ახალი მოდელი. ბევრი მუშაობა იყო საჭირო ლინგვისტების მხრიდან – წესების გაწერა, მონაცემების მოგროვება და მათი მიზნის შესაბამისად დამუშავება. ამ შემთხვევაშიც წავაწყდით მეორე სირთულეს, თუ სხვა ენებისთვის მონაცემები მარტივად მოსაპოვებელია, ქართულ ენაზე გაცილებით მცირე მონაცემებია ხელმისაწვდომი“. 

M: ამ მიმართულებით, გამოცდილების არ ქონის პირობებში, რა გამოწვევების დაძლევა გახდა საჭირო თქვენი გუნდის მხრიდან  და რა ეტაპები გაიარეთ, სანამ  ქართული ენის NLP-ს შექმნიდით? 
იმის მიუიხედავად, რომ ჩვენი გუნდი საკმაოდ ახალგაზრდულია, მალევე დავაგროვეთ ის გამოცდილება, რომელიც საჭირო იყო ხელოვნურ ინტელექტზე დაფუძნებული გადაწყვეტილებების შესამუშავებლად. იმისათვის, რომ ბიზნესზე მოგებული გადაწყვეტილებები შეგვექმნა, პირველ რიგში, მანქანური დასწავლის ერთ-ერთი მიმართულების, კერძოდ ბუნებრივი ენის კომპიუტერული დამუშავების ისეთი ინსტრუმენტები უნდა შეგვემუშავებინა, რომელიც მორგებული იქნებოდა ქართულ ენაზე. გამოწვევა საკმაოდ დიდი იყო. ქართული ენის მორფოლოგიური მრავალფეროვნება, სინტაქსის კომპლექსურობა და უნიკალური ფონემური მახასიათებლები იყო სირთულის ის ნაწილი, რომელის დაძლევაც ჩვენმა გუნდმა დაისახა მიზნად. ლინგვისტებისა და ინჟინრების ერთობლივი მუშაობის შედეგი გახლდათ ის, რომ ჩვენს წინ მდგარი პრობლემური საკითხების დაძლევა მოვახერხეთ, შევქმენით ლემატიზატორი, ტრანსლიტერატორი, ვიმუშავეთ ქართულენოვან ხმოვან ასისტენტზე და ზოგადად, ქართული ენის მოდელზე. იმისათვის, რომ შედეგისათვის მიგვეღწია თანამედროვე ტექნოლოგიების სფეროში უკვე დამკვიდრებული მიღწევები და ქართული ენის გრამატიკული მახასიათებლები გავაერთიანეთ, რის შედეგადაც შევქმენით პროდუქტები, რომლებიც ქართულ ბიზნეს სექტორს უადვილებს როგორც მომხმარებელთან კავშირს, ასევე შიდა სამუშაოებს.  

M: იხვეწება, თუ არა NLP გამოყენების პროცესში და რას უნდა ველოდოთ სამომავლოდ? დაიხვეწება, თუ არა ეს ტექნოლოგია იმდენად, რომ AI-ს მიმართულებით არსებულმა უცხოურმა პროდუქტებმაც შეძლონ ქართული ენის გაგება და ქართულად საუბარი? 
რა თქმა უნდა, AI-ის ყველაზე მნიშვნელოვანი უპირატესობა სწორედ ის არის, რომ მუდმივად დახვეწადი და განვითარებადია. შესაბამისად, ჩვენი ენის დამუშავების ტექნოლოგიაც იხვეწება, უმჯობესდება ჩვენი მიდგომებიც და რაც მთავარია მდიდრდება მონაცემთა ბაზები. ამაში გვეხმარება უპირველესად პროდუქტის პრაქტიკაში დანერგვა, მომხმარებელი თავად განსაზღვრას ფაქტობრივად რის დახვეწა და გაუმჯობესებაა შესაძლებელი, რა აქვს ახალი ჩვენს ტექნოლოგიებს.

ჩვენი გუნდი, ყოველდღიურად მუშაობს არსებული პროდუქტების დახვეწაზე და რა თქმა უნდა, არც ქართულენოვანი ხმოვანი ასისტენტია გამონაკლისი. ალბათ, აქ ძალიან მნიშვნელოვან ფაქტორად შეიძლება ჩაითვალოს თვითონ მომხმარებლის აქტიურობა და დამოკიდებულება ზოგადად ტექნოლოგიების მიმართ. ამ მიმართულებით მზარდი ტენდენცია ფიქსირდება და ჩვენც ვიმედოვნებთ, რომ სულ უფრო მეტი მომხმარებელი დაინტერესდება ხმოვანი ასისტენტის, როგორც პროდუქტის გამოყენებით. აღსანიშნავია, ის ფაქტიც რომ პულსარი ამერიკულ ბაზარზე ცდილობს თავის დამკვიდრებას და ამ მიმართულებით დგამს ნაბიჯებს, კონტაქტების გაზრდა და საერთაშორისო ბაზარზე ინტეგრაცია იქნება ერთ-ერთი გარანტი იმისა, რომ სამომავლოდ პროდუქტის ინტეგრაცია საქართველოს ფარგლებს გასცდეს. 

კითხვა – რა არის საჭირო იმისათვის, რომ უცხოურმა ალგორითმებმაც გაიგონ ქართული ენა, დავუსვით კიდევ ერთი კომპანიის წარმომადგენელს, რომელიც საქართველოში ხელოვნური ინტელექტის მიმართულებით მოღვაწეობს. SYSTEM CORP.-ის დამფუძნებელი, ლუკა ჩხეტიანი ამბობს, რომ ქართული ენის Automatic Speech Recognition მოდელი რამდენიმე წელია, რაც აქვს Google-ს. მიუხედავად ამისა, მაინც ვერ ვხედავთ დიდი კომპანიების მიერ საქართველოს ბაზარზე შემოსვლის მცდელობას, გარდა „ამაზონისა“ – რომელიც გამოჩნდა უცებ და დაიკარგა.
„საუბრის ამოცნობისთვის (Speech Recognition) საჭიროა იმაზე ბევრად დიდი მონაცემთა ბაზა, ვიდრე ხმის გენერირებისათვის, თუმცა ჩემი თვალსაზრისით, ეს ბოლო ბევრად რთულია რეალურ დროში ასამუშავებლად. თუმცა, არსებობს ერთი მიდგომა, რომელიც გულისხმობს ხმის გენერირების მოდელით რამდენიმე ათეული/ასეული საათი ხმის გენერაციას, ამ მონაცემებზე „ხმაურის“ დამატებას და შემდეგ, „სფიჩ რექოგნიშენ“ მოდელის გაწრთვნას. რაც, არცერთ გიგანტ ტექნოლოგიურ კომპანიას არ უჭირს, იმიტომ, რომ 20 წლის ახალგაზრდებმა, საქართველოში, ინვესტიციის გარეშე თუ შევძელით 5 საათისა და 47 წუთი ხანგრძლივობის ვეფხისტყაოსნის 10 წუთში გენერირება, მათ მეტი რესურსი აქვთ და ლოგიკურია, რომ უფრო მარტივად შეძლებენ. პრობლემა იმაშია, რომ ლოკალურ ბაზარზე არ არის სხვისი დახარჯული დროისა და ენერგიის ანაზღაურების სურვილი. ანუ, ფასიანი პროდუქტებისა და სერვისების უფასო, „დაკრეკილი“ ვერსიების გამოყენება გვიყვარს. შესაბამისად, ტექნოლოგიური კომპანიები ვერ იკიდებენ აქ ფეხს, თუ ძალიან მძლავრი “pain killer“ პროდუქტი არ აქვთ, თუმცა, ამ შემთხვევაშიც, მცირე ბაზარია და ყოყმანობენ ინვესტიციის ჩადებისას. ვფიქრობ, გვჭირდება ინტელექტუალური ხიდი მსოფლიოსთან, ვგულისხმობ მყარ ურთიერთობას გლობალურ კომპანიებთან, რათა ისინი მოერგონ ჩვენ ბაზარს, ჩვენ კი მათ პოლისებს“, – ლუკა ჩხეტიანი.

ხელოვნური ინტელექტის მიმართულებით, საქართველოში არსებული ორი კომპანია თანხმდება, რომ საჭიროა გლობალურ კომპანიებთან მჭიდრო თანამშრომლობა, იმისათვის, რომ მსოფლიოს მასშტაბით, ხელოვნური ინტელექტის მიმართულებით არსებულმა წამყვანმა პროდუქტებმა/ალგორითმებმა ჩვენი ენის გაგება და ჩვენს ენაზე საუბარი შეძლონ. Google-ს აქვს ქართული ენის ხმის ამოცნობის (Automatic Speech Recognition) მოდელი, თუმცა, ეს ვერ ხდება საფუძველი იმისათვის, რომ თუნდაც, სმარტფონებში ინტეგრირებულ ხმოვან ასისტენტებს (Siri, Google Assistant) ქართული ენა ესმოდეთ. თუმცა, ადგილობრივ ბაზარზე უკვე არსებობს საფუძველი – რესურსი Pulsar AI-ს ქართული ენის ბუნებრივი დამუშავების (NLP) სახით, რომლის დახვეწაც საქართველოში, სხვადასხვა AI პროდუქტის (თიბისის მობაილ ბანკის ხმოვანი ასისტენტი, სუპერ ბი, თი ბოტი, ქართულენოვანი ხმოვანი ასისტენტი და სხვა) გამოყენებით ხდება. გლობალურ კომპანიებთან თანამშრომლობის პირობებში კი, შესაძლოა, ქართული ბაზარი, შესაბამისად კი, ქართული ენა, როგორც ენა, რომელზეც ამ ბაზარზე არსებულ მომხმარებელთა უმეტესობა საუბრობს, მათთვის საინტერესო გახდეს.

ავტორი: ხატია თორდუა

განხილვა