Қарапайым халық бұл мекенді ертеден махаббатың отанына балайды. Оның себебі, бүгінде ұлы сезімнің символына айналған қос ғашық, Қозы Көрпеш пен Баян сұлуға арналған кесене дәл осы өңірде, Аягөз өзенінің бойында орналасқан. Ұлдары батыр, қыздары қаракөз, махаббаттың отаны Аягөз деген екі ауыз тіркес сол себепті де жергілікті халық арасында жиі айтылады. Қозы Көрпеш Баян сұлу мазары Шығыс Қазақстан облысы, Аягөз ауданы, Таңсық теміржол бекетінен 10 шақырым қашықтықта орналасқан. Қабырғасы гранит қалақ тас пен сабан балшықтан қаланған мазардың биіктігі 11,65 метр. Бұл көне тарихи ескерткішке байланысты зерттеушілер түрлі болжам жасаған. Кейбірі бүл мазарат V-X ғасырдан тұрғызылған десе, екіншілері X-XI ғасырда қабырғасы қаланғанын алға тартады. Қазақтың көне мұралары, тарихи жәдігерлерін сақтап қалуды өз ғұмырында бір жолға қойып, қазақ даласының әр қиырындағы көз көрген көне естеліктерді қағазға жазумен, суретпен түсіріп отырған Шоқан Уәлиханов өз жазбаларында бұл тарихи нысан жайлы да деректер қалдырған. 1856 жылы кесенеге арнайы келген қазақтың жас ғалымы мазардың маңында 4 балбал тастың орналасқанын жазған. Жергілікті халық арасында жиі айтылатын аңызға сүйенер болсақ, бұл 4 балбалдың үшеуі әйел, біреуі ер адамның кейпінде бейнеленген. Үш әйелдің біреуі Баян сүлу, екіншісі сұлудың сіңлісі Айғыз, ал үшіншісі апасы Айтаңсық. Ер адам бейнесіндегі балбал басты кейіпкер Қозыға арналған. Өкінішке орай, бұл тас мүсіндердің біреуі де бүгінгі күнге дейін сақталмаған. Зерттеуші А.Н.Белослюдовтің мәліметтері бойынша, бұл тарихи маңызы бар тастардың екеуі Германияға жөнелтіліпті. Қалған екі балбалдың үшті-күйлі жоғалуы жайлы ақпарат мүлде жоқ. Ел аузында айтылып жүрген аңыз-әфсаналар бойынша, бұл кесенені Қозының әкесі Сарыбайдың інісі Тайлақ би салдырған. Аягөз өңірі қазақ тарихында үлкен маңызға ие оқиғалармен жатталып, қазақ-жоңғар арасындағы қақтығыстар өткен киелі топырақ. 1718 жылы дәл осы мекенде екі ел арасында үлкен шайқас болып, бұл оқиға кейіннен Аягөз шайқасы деп аталып кетті. Одан бөлек, 1754 жылы бүгінгі ауданға қарасты Мамырсу ауылында Абылай ханның басшылығымен қазақ-қытай арасында бейбітшілік бітімгершілікке қол қойылды. Аудан шекарасының ішінде 18 тарихи маңызы бар ескерткіш сақталған. Осы тізімнің көш басында әлемге танытар тарихи орын Қозы Көрпеш-Баян сұлу кесенесі тұр. Сонымен қатар, қазақ жеріндегі саздан жасалған ең биік кесене Балтабек қажы мен Барақ сұлтандарға арналған кесенелер өңір тарихынан сыр шертеді. Аягөз өзенінің бойында орналасқан бүгінгі аудан орталығы Аягөз қаласының іргетасы 1831 жылы қаланды. Түркістан-Сібір теміржолы Аягөздің ортасымен өткендіктен темір жолдың келуі қаланың дамуына, өркендеуіне себепші болды. Осылайша, 1939 жылы мекен қала статусына ие болып, Аягоз деп аталды. Еліміз Тәуелсіздік алғаннан кейін, қала атауы қазақшаланып Аягөзге ауысты. Тарбағатай тауынан Тоқсан сала қосылып, Тоғыз өзен түйісіп, Ақтың төмен жосылып. Ағының тасты ағызып, Арнаң қалды осылып. Күркіреген үніңнен Аңдар қашты шошынып. Қырға суың тарады, Ойға суың барады Тоғанменен тосылып. Дулат Бабатайұлының өлеңіндегі осы бір жолдар өзеннің айрықша мінезі барын, алдына келгенді жайпауға дайын қызба адамның кескінін елестетеді. Биылғы көктемде Аягөз өзені бір тулап, арнасынан асып өңірдегі 32 үйді толық шайып кетті. Су тасқынының салдарынан 159 үй зардап шегіп, 130-дан астам адам баспанасыз қалды. Өзен де табиғаттың заңына бағынады. Бірде арнасына сыймай көл болады, бірде шөл болады. Бүгінгі қазақ қоғамында махаббатың символына айналған қосылмай кеткен қос ғашық 10 ғасыр бұрын өмір сүрсе де, олардың кіршіксіз ұлы сезімге деген адалдығы күні бүгінге дейін жырланады. Арада 1000 жыл өтсе де олардың басынан өткен оқиғалары адамзатқа әрқашан әсерлі болып қала бермек.