ხელოვნური ინტელექტის სფეროში მკვლევრები და ტექნოლოგიური კომპანიები უკვე აქტიურად მუშაობენ მოდელების უსაფრთხოების, სანდოობისა და ქცევის შეფასებაზე. თუმცა, როგორც აღმოჩნდა, დეველოპერებს კიდევ ერთი მნიშვნელოვანი გამოწვევა აქვთ — დარწმუნდნენ, რომ AI-სისტემა კონკრეტული პროდუქტის ან სერვისის მოთხოვნების შესაბამისად მოქმედებს.
ამ პროცესის გასამარტივებლად Microsoft-მა ახალი ღია კოდის მქონე ინსტრუმენტი – ASSERT (Adaptive Spec-driven Scoring for Evaluation and Regression Testing) წარადგინა.
კომპანიის განმარტებით, ASSERT საშუალებას აძლევს დეველოპერებს, ბუნებრივ ენაზე აღწერონ, როგორ უნდა იქცეოდეს მათი AI-სისტემა, ხოლო პლატფორმა ამ აღწერას ავტომატურად გარდაქმნის დეტალურ ტესტებად და შეფასების კრიტერიუმებად.
პროცესი რამდენიმე ეტაპს მოიცავს: სისტემა აანალიზებს ტექსტურად აღწერილ წესებსა და პოლიტიკას, ქმნის მისაღები და მიუღებელი ქცევის სტრუქტურირებულ ჩამონათვალს, აგენერირებს სხვადასხვა სცენარსა და სატესტო შემთხვევებს, შემდეგ კი AI-ს ამ პირობებში ამოწმებს და შედეგებსაც აფასებს.
ASSERT-ს შეუძლია ასევე დააფიქსიროს, რა ნაბიჯები გადადგა AI-მ გადაწყვეტილების მიღების პროცესში, მათ შორის შუალედური მოქმედებები და გამოყენებული ინსტრუმენტები. ეს დეველოპერებს ეხმარება, ზუსტად დაინახონ, სად და რატომ დაუშვა სისტემამ შეცდომა.
პლატფორმა დამატებით იძლევა შესაძლებლობას, რომ დეველოპერებმა მიუთითონ კონკრეტული კონტექსტი, შეზღუდვები ან ინსტრუმენტები, რაც შეფასებას კიდევ უფრო ზუსტს ხდის. მაგალითად, თუ კომპანია ქმნის AI-აგენტს, რომელიც დოკუმენტებთან მუშაობს, დეველოპერს შეუძლია განსაზღვროს, რომ სისტემამ არ უნდა გააგზავნოს ელფოსტა კომპანიის გარეთ, კონფიდენციალური ინფორმაცია მხოლოდ ხელმძღვანელ პირებს უნდა გაუზიაროს და ანგარიშები მოკლე, კონტექსტზე მორგებული ფორმით მოამზადოს. ASSERT ამ მოთხოვნებზე დაყრდნობით შექმნის შესაბამის ტესტებს და შეამოწმებს, რამდენად იცავს AI აღნიშნულ წესებს.
კომპანიის თქმით, ASSERT-ის გამოყენება შესაძლებელია როგორც სისტემის შექმნის ეტაპზე, ისე უკვე გაშვების შემდეგ და მუდმივი მონიტორინგისთვისაც.
ASSERT-ის გამოჩენა კიდევ ერთი ნიშანია იმისა, რომ AI-ინდუსტრია ეტაპობრივად გადადის მოდელების შესაძლებლობების დემონსტრირებიდან მათ სისტემურ და განმეორებად შეფასებაზე. AI-მოდელების შესაძლებლობების ზრდასთან ერთად, ინდუსტრია სულ უფრო მეტ ყურადღებას უთმობს არა მხოლოდ იმას, თუ რა შეუძლია ხელოვნურ ინტელექტს, არამედ იმასაც, რამდენად საიმედოდ, პროგნოზირებად და პასუხისმგებლობიანად იქცევა ის რეალურ გარემოში.
