Жасанды интеллект, қазақ тілі, мәтін тану мен Egov – Қазақ ғалымымен сұхбат

Қазақ ғалымдары жасанды интеллект саласында да жетістіктерге жете бастады. Әсіресе, тіл мен ойлау, тіл мен оны тану бағытында істеген жұмыстарының алғашқы нәтижесі жарыққа шықты. Оны дайындаған – PhD Өркен Мамырбаев.  ҚР БҒМ ҒК "Ақпараттық және есептеуіш технологиялар институты" РМК бас директорының ғылым жөніндегі орынбасары әрі "Интеллектуалдық жүйелердің компьютерлік инженериясы" зертханасының меңгерушісі, институттың ғылыми қызметкері.

"Kazak ASR" атты қазақ тілінің дауыс хабарламасын мәтінге айналдыратын жүйе құрып, өнертабыс жасап шықты. Қазір Телеграм-бот ретінде іске қосылып тұр. Ғалымның айтуынша, бұл жаңалық – тек бастамасы ғана. Алға қойған ірі жоспарлары мен қазақ тілінің интеллектуалды сана деңгейінде дамытып, әлемдік нарыққа шығарудың кешенді ғылыми алгоритмін жасап жатқан көрінеді.

Ендеше қазақ ғалымының бұл жүйені қалай жасап шықты, оның соңғы нәтижесі не болмақ, жасанды интеллект қайда бара жатыр, қазақ еліндегі жасанды интеллектінің дамуы барысы қандай – осы тақырыптар төңірегінде сұхбат алып көрдік.

Massaget.kz тілшісі сұхбатты назарларыңызға ұсынады.

- Алдымен, жасап шыққан өніміңізді жайлы толығырақ айтыңызшы...

Өнім – қазақ тілінде айтылған сөйлем мен сөзді, түгелдей сөйленісті қарапайым мәтінге айналдырып беретін жүйе. Атауын "Kazak ASR" деп қойдық. Алғашқы өнім ретінде бағдарламалық қосымша күйінде жасақтап, Телеграм-бот платформасына орналастырдық. Яғни, қазір Телеграмдағы осы арнаға кіріп тіркеліп, дыбыс хабарламасын жіберсеңіз, автоматты түрде мәтінге айналдырып береді. Бұл не үшін қажет? Соны түсіндірейін.

Біріншіден, қарапайым азаматқа қажет. Мәселен, көлік айдап келе жатқан адам мәтін хабарлама жаза алмайды ғой, ал мессенжердің артында отырған адам аудиохабарламаны оқи алмауы мүмкін. Жиналыста, тағы бір қоғамдық орында отыр дегендей. Міне, сол кезде азамат аудиомен жазған хатын мәтінге айналдырып,  әңгімелесіп отырған адамына бірден жібере алады.  

Екіншіден, хаттама толтыруға көмектеседі. Кеңсе мен полиция қызметкері, басқа да кез келген жазба құжатпен айналысатын адам үшін қажет. Аудионы қосып, хаттаманы жазып алдыңыз да, бірден мәтінге айналдырып, құжат ретінде дайындап шығасыз.

Үшіншіден, ең маңызды дүние. Зағип жандарға керек функция. Болашақта бұл жүйені ақырыңдап Eqov-порталына интеграциялауды ойлап отырмыз. Яғни, алдағы уақытта алғыңыз келген құжатты бірден аудиомен сұратып алуыңызға мүмкіндік туады. Бұл әсіресе, зағип жандарға өте қажет деп ойлаймын.

Төртіншіден, интерфейс пен ID-бақылау үшін қажет. Әрине, біз бұл жүйені әлі де жетілдіреміз. Түрлі есеп пен міндет орындатамыз. Сондай есептің бірі – дауысқа идентификация жасауы, яғни адамның дауысын тани алуы. Қарапайым ғана мысал. Телефонның бұғатын бет-әлпетпен ашатын функция сынды енді дауыспен «менмін» деп айтып бұғатын ашуға мүмкіндік туады. Бұл тек қарапайым мысал, әрине.

Мұндай функциясының артында көптеген міндет тұр. Қылмыскердің дауысын тану, ол қылмысқа дайындалды ма әлде жоқ па, жоспары қандай – соны анықтау, тіпті, ғаламтор мен әлеуметтік желідегі криминалды ақпарат пен кибербуллингті тану сынды ғаламдық, мемлекеттік мүддеге көмегі тиетін қызметтерге жұмылдыруды көздеп отырмыз.

Бесіншіден, бұл кәдімгі Siri мен Алисаның қазақша аналогы. Роботтандырылған тілші мен қызметкердің рөлін атқаратын толыққанды жасанды жүйе болып шықпақ. Оны түрлі қызмет көрсету орындарында орналастыруға болады. Мәселен, банк қызметінде. Клиентке оптималы төлем жолдарын ұсынып, басқа да қажетті функцияларға іске асырмақ.  

- Керемет! Қазір өнімді нарыққа шығару бойынша Нидерландының Philips компаниясымен келісімге келген екенсіздер. Қазақ тілді жоба оларға неге керек болды? Пайдасы не компанияға?

Мұндай өнімді шетелдің бірде-бір IT-компаниясы жасай алмайды. Өйткені тілді білу керек, қазақ тілінің бүкіл болмысын түйсіне алуы тиіс дегендей. Ал енді шетелдік компанияға ол не үшін керек десеңіз, өнімін Қазақстан нарығына шығару үшін керек. Philips компаниясы микрофон, диктофон, электроника, тұрмыстық техника шығарады. Қазақстан нарығына қазақ тілді өніммен кірсе, компанияның имиджіне жағымды әсер етері анық. Табысы да ұлғаяды. Осыған дейін жапон және ағылшын тіліндегі жасанды интеллект өнімдерін өз электроникасына қосып оригинал тауар шығарғанда, сатып алушылар көп болған көрінеді.

Қазіргі уақытта Philips өнімдеріне қазақ тілінде сөйлеуді тану технологиясын енгізу бойынша құжат әзірленіп жатыр. Біз әзірше компанияның Philips Smart Mike Duo атты микрофонына қазақ тілін тану технологиясын енгізіп жатырмыз. Микрофон қазақ тілінде айтылған сөйлемді мәтінге айналдырып, баспа етіп шығарады.

Біз бұл жобаны осыдан үш жыл бұрын қолға алдық. Сол кезде Санкт-Петербургтің компаниясы қызығып, "бізге қазақ тілінің тілдік моделін тұрғызып берсеңіздер, өзіміз оның бағдарламасын түземіз" деп ұсыныс айтқан. Біз келістік. Алайда пандемия басталып, келісім болмай қалды. Соның бізге керісінше пайдасы тиді. Жоба өзімізде қалды әрі оны басқа шетелдік компанияның базасында жетілдіруге мүмкіндік алдық. Қазір компьютерлік бағдарлама түрінде жетілдіріп жатырмыз. 

- Мұндай технологияны жасау идеясы қайдан келді?

- Біз ғылыми институт болғандықтан, түрлі жобалар дайындап, байқауларға қатысамыз, ҚР Білім және ғылым министрлігіне қарасты Ғылым комитетіне жобалар ұсынамыз. Комитеттің мақұлдауынан өткен ғылыми жоба қаржыландырады. Оны бәріңіз де білесізідер.

Қазақ тілінде жасанды интеллект технологиясын жасау идеясы бұрыннан бері көкейімде жүрген. Докторлық диссертациямның өзі осы тақырыпқа арналған. "Қазақ тіліндегі көпмодельді тану жүйесін құру" деп аталады. Яғни, адамның ерніне қарап сөз мен сөйлемді тану жүйесін құруға бағытталған. Еріннің әр қимылы – бір визема. Ал бір визема – бір фонема (бір дыбыс). Сөйлеуді тану бойынша интеллектуалды жүйе құрумен айналысып жүргеніме 10 жылдай уақыт болды. 8 шәкіртім бар. Оның үшеуі жобасын қорғап, докторлығын алды. Тағы екеуі қорғау үстінде. Бәрінің математикалық есепті шешуден, нейрожеліні құру мен жасанды модель тұрғызудан, бағдарлама қосымшасын жасаудан тәжірибесі бар. Солардың бәрінің басып қосып, қазақ тілінде жасанды интеллект технологиясын жасайық деп ұсындым. Жоба бар, идея бар. Концепция дайын. Содан жобамызды 2019 жылы мемлекетке ұсынып, қаржыландыру ұтып алдық. Қазір зерттеу тобында 10-нан астам маман бар. Зерттеу тобының ішінде шетелдік (Токиодағы қазақ ғалымы) және қазақстандық жетекшілерім (ғылыми ұстаз) де бар. 

Ақпараттық және есептеуіш технологиялар институтында ашылған "Интеллектуалдық жүйелердің компьютерлік инженериясы" зертханасында зерттеу жүргізіліп жатыр. Зертхана негізінен екі бағытта жұмыс істейді. Бірі – сөйлеуді тану процесі (natural language processing), екіншісі – мәтінді өңдеу (speech recognition).

Қазір бізде бұдан басқа да жобаларымыз бар. Қазақ тілінің сөйлеу корпусын құру, сөйлеуді автоматты түрде тану жүйесін құру сынды жобаларымыз бар.  

- Жасанды интеллект жүйесі қалай құрастырылды? Ол неден тұрады? Қандай зерттеу жүргізіп жатырсыздар? Соны айтыңызшы...

- Жасанды интеллект жасау үшін үлкен мәлімет керек. Біздің жағдайымызда ол – тілдік корпус. Үш жылдың ішінде біз 2 мың сағаттық үлкен тілдік корпус құрдық. Дауыстап жазылған мәтіндер, телеарна жаңалықтары, аудиоәдебиет өнімдері, ауызекі сөйлеу мәліметі – соның бәрін жинап, корпус тоқыдық. 2 мың сағаттық тілдік корпустың негізінде "Kazak ASR" жүйесін жасап шықтық. Бұл бастамасы ғана. Жүйе бастапқыда ауызша мәтіннің 80 пайызын таныған еді, алайда Meeting-жүйесіне салып протокол тұрғызғанымызда, 60 пайызын ғана танитын боп қалды. Неге? Себебі тілдік корпусты әлі жетілдіру керек. Жасанды интеллектінің тани алмайтын сөздері барын аңғардық. Әсіресе, диалектілер мен терминдерді, жергілікті сөйлеу ерекшеліктерін, акцентті тани алмайтынын байқадық.

Ендеше мәселені шешу үшін тілдік корпусты кем дегенде 10 мың сағаттық аудиомен толықтырып, бағдарлама тани алмайтын сөздерге белгіленім жасауымыз керек. Оның бәріне қажыр-қайрат пен уақыт керек. Жылдың соңына дейін оны 5 мың сағатқа дейін толықтыруды ойлап отырмыз.

Ғылымда тек жетілдіру арқылы ғана нәтиже алуға болады. Бір өнімді жасау үшін жүздеген, мыңдаған міндет пен есепті шешу керек. Ғылыми жаңалық бір-бірден әрдайым толықтырып отыратын тірі ағза сынды. Пайдасы әйтеуір бір күні шығады.

Біз қазақ тілін танудың интеллектуалды жүйесін жасау туралы ойымыз жоғары айтқанымдай, осыдан 10 жыл бұрын туған идея еді. Алайда оны жүзеге асыруға техникалық мүмкіндік болмады. Яғни, жасанды интеллектінің бүкіл алгоритмін көтере алатындай қуатты компьютерлер болмады. Тек 2018 жылдан кейін ғана сондай қуатты компьютерлер нарыққа шықты. Жаңа видеокарталар жасалды. Сонда ғана осынау ойлап жүрген жобамызды жүзеге асыруға мүмкіндік туды. Оған дейін тек математикалық модель түрінде есептеп жүрдік. 

Сонымен, қазақ тіліндегі мәтін тану интеллектуалды жүйесін қалай жасадық, соған тоқталайын. Кез келген операциялық жүйенің өзіне тән ядросы болады. Мәселен, Linux деген операциялық жүйе болса, оның ядросы – Unix. Ядро барынша қуатты болса, соғұрлым жақсы. Интеллектуалды жүйенің де негізінде – осы ядро жатыр. Біздің жағдайымызда ядро – тілдік модель. Бағдарламашы осы тілдік модельдің сыртына қабықша жазып, жетілдіре береді. Соңында осыны тану процесіне қолданамыз. Тілдік модель барынша мықты болса, мәтін тануы да сонша жетік болмақ.

Жасанды интеллектіні алдымен өзіміз жасап, компьютерде оқытамыз, содан тілдік модель түземіз. Ол үшін Python жоғары деңгейлі бағдарламасын қолданып, нейрожелілік модель тұрғызамыз. Ол біздің қуатты видеокартадан тұратын 42 ядролық арнайы серверде оқытылады. Жинаған мәліметтерді бір рет оқытуға жібергенде, бір апта уақыт кетеді.

- Алда қандай жоспарыңыз бар? Ғылым үнемі жетілуді талап етеді дедіңіз. Бұл интеллектуалды жүйенің ақтық нәтижесі не болмақ?

- Біз қазіргі жасап жатқан қазақ тілінің сөйленісі және мәтінін тану интеллектуалды жүйесін соңына дейін жетілдіруді қолға алып отырмыз. Бұл дегеніміз не? Интеллектуалды жүйе құрылған тілдік корпус пен модельдің негізінде ірі-ірі міндеттерді шешуге қолданылады деген сөз. Мәселен, жоғарыда айтқанымдай, интеллектуалды жүйені әлеуметтік желі мен адамдардың тілдік қарым-қатынасынан криминалды белгілерді табуға, кибербуллинг ақпаратын тануға, сол арқылы тергеу жұмыстарына пайданалатын жүйе ретінде құрауды жоспарлап отырмыз.

Одан бөлек, тілдік морфологиялық және семантикалық мағынасын ажырата алатын деңгейге жеткізгіміз келеді. Сонда қазақ тілін тану мен зерттеудің жаңа көкжиегі ашылады. Одан бөлек, диктордың дауысын (немесе кез келген сөйлеушінің) идентификациялау мен верификациялауға (рас-өтірігін анықтау), яғни, сөйлеп тұрған адам ер ме әлде әйел ме – соны ажырататын, тіпті қандай тақырыпта сөйлесім жүргенін, онда криминалды ақпар бар-жоғын танитындай, эмоциясын (қуаныш-сүйініш, өкініш-қайғысын) ажырататындай күрделі жүйе құрастырамыз. Сөйлеушінің акценті мен диалектісін де анықтай алатын болмақ. Одан бөлек, болашақта балалардың сөйлеу тілі мен дауысын қоссақ деп отырмыз. Мұны сонда медицинада қолдануға болады. Баланың тіл кемістігін анықтауға мүмкіндік тумақ.

Мұның бәрі, әрине, күрделі есеп пен міндет. Қазір біз "Kazak ASR"-ды құру арқылы сол міндеттердің тек біреуін ғана шештік. Әлі қаншама есепті шешу алдымызда тұр.

Одан бөлек, түркі тілдес тілдердің мәліметтерін жинап, агглюнативті тілдерді бір-бірімен оқытып, салыстырғымыз келеді. Машиналы оқыту әдісін қолданып, бұл тілдердің бір-бірінен айырмашылығын, бір-бірімен ұқсастығын, бірін-бірін толықтыратын жерін танығымыз келеді. Соның негізінде бір-бірін жетілдіретін тұстарын тауып, басқа интеллектуалды жүйелерге қолдануға болады.

- Жасанды интеллектінің саласы әртүрлі. Медицина, инженерия, ауыл шаруашылығы, геомәлімет, тағы басқа. Бірақ Сіз дәл лингвистикалық жасанды интеллект саласын таңдап алған екенсіз, байқағанымыздай. Таңдау неге тілге түсті?

- Жоғарыда айтқанымдай, докторлық диссертациямның өзі тілге арналған. Компьютерлік лингвистика мен жасанды интеллект саласын қамтиды. Неге таңдауым тілге түсті? Өйткені тілдің өзін толық түсініп алайыншы деген ой болды. Тіл – үлкен бір бағдарлама. Өте ақылды бағдарлама. Жасанды интеллектіге сұранып тұрған мол қор, Big Data. Ендеше соған сай жасанды интеллект өнімін жасап шықсақ, ана тіліміз үшін алып прогресс болмақ.

- Жалпы, жасанды интеллект қазір «қайда кетіп барады»? Қазіргі даму тенденциясы қалай?

- Қазір жасанды интеллектінің адам өміріне араласпаған жері қалмады. Үш жылда ЖИ саласы қатты дамып кетті. Әлеуметтік желі, қолданып жүрген геолокация мен карта, ғаламтор, қызмет пен тауар айналымы, көңіл-көтеру, ақпарат толқыны – бәрі жасанды интеллектіге құрылған. Ал мұның соңы роботтандыруға, адамның қызметін толық алмастыруға апара жатыр. Google мен Amazon-ның қайда кетіп бара жатқанын бәріміз көріп отырмыз.

Жақында жасанды интеллект менеджер мен аналитиктердің орнын ауыстыру мүмкін. Ірі ақпаратпен жұмыс істей алатын деңгейге жетіп, мәселен, күнделікті қаржылық есеп пен ақпараттық аналитиканы жасап отыруы мүмкін. Қозғалыс жүйесін басқаруға қолы жетпек. Меніңше, жасанды интеллект адамды толық алмастырмас үшін оған шектеулер қою керек.

- Сұхбатыңызға рақмет! Ісіңіз сәтті болсын!