Адамның бетін анықтау және тану
блог
әл-Фараби атындағы Қазақ Ұлттық университеті, Ақпараттық технологиялар факультеті, Жасанды интеллект және Big Data кафедрасының меңгерушісі Мансурова М.Е. және аға эдвайзер Сакыпбекова М.Ж. бастамасымен екі апталық стажировка өтті. Бизнес аналитика және Big Data мамандығының 2 курс магистранттары Нұраханова А.А. және Шілмағамбетова А.Ә. төмендегі құралдарды пайдаланып, лабораториялық жұмыс жасады. Raspberry Pi 4 мен Raspberry Pi Camera – ны пайдаланып, Python-да адамның бетін анықтау және тану.
Керекті құралдар:
- Raspberry Pi 4 Model B
- Raspberry Pi Camera
- HDMI
- SD card
- Монитор, тінтуір, клавитура
- Блок питания - 5А
Raspberry Pi-бұл ересек адамның алақанына оңай сәйкес келетін миниатюралық бір тақталы компьютер. Қарапайым мөлшеріне қарамастан, тақтаның жоғары өнімділігі бар, бұл оған тұрақты компьютерлермен бір деңгейге жетуге мүмкіндік береді.
1. Raspberry Pi 4 қондыру.
1.1. Raspberry Pi OS using Raspberry Pi Imager қондыру. Ссылкасы: https://www.raspberrypi.org/software/
1.2. Raspberry Pi Imager – ды ашып, керекті операциялық жүйені таңдап, SD картаға Write батырмасын басу арқылы жазу керек.
1.3. SD картаны Raspberry Pi 4 процессорына қондыру.
2. Камераны процессорға қосу. Raspberry Pi Configuration-да камера «enabled» болып тұруы қажет.
3. Python программалау тілін қондыру.
4. OpenCV –ді Raspberry Pi 4 процессорына қондыру. Қондыру сілтемесі: https://robotclass.ru/articles/raspberrypi-3-opencv-3-install/
OpenCV –дің дұрыс қондырылуын тексеру:
5. Бетті танудың толық жобасын құру үшін біз үш түрлі кезеңде жұмыс жасауымыз керек:
- Бетті анықтау және деректерді жинау
- Танушыларды оқыту
- Бетті тану
Төмендегі блок-схема қадамдарды көрсетеді:
6. Адамның бетін анықтау
Бетті танудың ең негізгі міндеті, әрине,"бетті анықтау". Ең алдымен, болашақта қолданатын жаңа адамның кескінімен салыстырғанда, оны тану үшін бетті "анықтау" керек.
Бетті (немесе кез-келген нысанды) анықтаудың ең көп таралған әдісі "Хаар каскадтарының классификаторын"қолданады.
"Хаар каскадтарының классификаторын" қолдана отырып, нысандарды анықтау - 2001 жылы Пол Виола мен Майкл Джонс өзінің "қарапайым функциялардың кеңейтілген каскадын қолдана отырып, нысандарды жылдам анықтау" мақаласында ұсынған нысандарды анықтаудың тиімді әдісі. Бұл оқыту механизміне негізделген тәсіл, каскадты функция көптеген оң және теріс бейнелерден үйренеді. Содан кейін ол басқа суреттердегі нысандарды анықтау үшін қолданылады.
Бастапқыда алгоритм классификаторды оқыту үшін көптеген оң кескіндерді (бет суреттері) және теріс кескіндерді (бет суреттері) қажет етеді. Содан кейін біз одан функцияларды алып тастауымыз керек. OpenCV жаттықтырушымен, сонымен қатар детектормен бірге келеді. Егер сіз өзіңіздің классификаторыңызды автомобиль, ұшақ және т.б. сияқты кез-келген объектіге үйреткіңіз келсе, оны жасау үшін OpenCV қолдана аласыз.
faceDetection.py:
|
import numpy as np import cv2 # multiple cascades: https://github.com/Itseez/opencv/tree/master/data/haarcascades faceCascade = cv2.CascadeClassifier('/home/pi/Downloads/opencv-master/data/haarcascades/haarcascade_frontalface_default.xml') cap = cv2.VideoCapture(0) cap.set(3,640) # set Width cap.set(4,480) # set Height while True: ret, img = cap.read() img = cv2.flip(img, -1) gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) faces = faceCascade.detectMultiScale( gray, scaleFactor=1.2, minNeighbors=5, minSize=(20, 20) ) for (x,y,w,h) in faces: cv2.rectangle(img,(x,y),(x+w,y+h),(255,0,0),2) roi_gray = gray[y:y+h, x:x+w] roi_color = img[y:y+h, x:x+w] cv2.imshow('video',img) #if cv2.waitKey(1) & 0xFF == ord('q'): k = cv2.waitKey(30) & 0xff if k == 27: # press 'ESC' to quit break cap.release() cv2.destroyAllWindows() |
7. Мәліметтерді жинау
Мұнда не істейтініміз соңғы қадамнан басталады (бетті анықтау), біз әр идентификатор үшін сақтайтын мәліметтер жиынтығын, бетті анықтау үшін пайдаланылған бөлігі бар сұр түсті фотосуреттер тобын жасаймыз.
Алдымен сіздің жобаңызды жасайтын каталог жасаңыз, мысалы, FacialRecognitionProject:
Бұл каталогта біздің жобамыз үшін жасайтын 3 python сценарийінен басқа, біз оған бет классификаторын сақтауымыз керек.
Содан кейін біз бет үлгілерін сақтайтын және оны "dataset" деп атайтын ішкі каталог жасаймыз:
01_face_dataset.py:
| import cv2 import os cam = cv2.VideoCapture(0) cam.set(3, 640) # set video width cam.set(4, 480) # set video height face_detector = cv2.CascadeClassifier('/home/pi/Downloads/opencv-master/data/haarcascades/haarcascade_frontalface_default.xml') # For each person, enter one numeric face id face_id = input('\n enter user id end press ==> ') print("\n [INFO] Initializing face capture. Look the camera and wait ...") # Initialize individual sampling face count count = 0 while(True): ret, img = cam.read() img = cv2.flip(img, -1) # flip video image vertically gray = cv2.cvtColor(img, cv2.COLOR_BGR2GRAY) faces = face_detector.detectMultiScale(gray, 1.3, 5) for (x,y,w,h) in faces: cv2.rectangle(img, (x,y), (x+w,y+h), (255,0,0), 2) count += 1 # Save the captured image into the datasets folder cv2.imwrite("/home/pi/python/dataset/User." + str(face_id) + '.' + str(count) + ".jpg", gray[y:y+h,x:x+w]) cv2.imshow('image', img) k = cv2.waitKey(100) & 0xff # Press 'ESC' for exiting video if k == 27: break elif count >= 30: # Take 30 face sample and stop video break # Do a bit of cleanup print("\n [INFO] Exiting Program and cleanup stuff") cam.release() cv2.destroyAllWindows() |
Пайдаланушы идентификаторын түсіруге арналған" енгізу пәрмені", ол бүтін сан болуы керек (1, 2, 3 және т. б.):
Түсірілген кадрлардың әрқайсысы үшін біз оны "dataset" каталогында файл ретінде сақтауымыз керек:
Жоғарыда аталған файлды сақтау үшін "os" кітапханасын импорттау қажет екенін ескеріңіз. Әр файлдың аты құрылымға сәйкес келеді:
Мысалы, face_id = 1 бар пайдаланушы үшін dataset / каталогындағы файлдың 4-ші мысалы келесідей болады:
Біздің кодта біз әр идентификатордан 30 үлгіні жинаймыз. Сіз оны соңғы "elif" - те өзгерте аласыз. Үлгілер саны бет үлгілері алынған циклды бұзу үшін қолданылады.
8. Жаттықтыру
Осы екінші кезеңде біз барлық пайдаланушы деректерін деректер жиынтығынан және OpenCV Recognizer-дегі "нұсқаушыдан" алуымыз керек. Бұл белгілі бір OpenCV функциясы арқылы тікелей жасалады. Нәтиже "trainer /" каталогында сақталатын .yml файлы болады.
Сонымен, дайындалған деректерді сақтайтын ішкі каталогты құруды бастайық:
02_face_training.py:
| import cv2 import numpy as np from PIL import Image import os path = '/home/pi/python/dataset' recognizer = cv2.face.LBPHFaceRecognizer_create() detector = cv2.CascadeClassifier('/home/pi/Downloads/opencv-master/data/haarcascades/haarcascade_frontalface_default.xml'); # function to get the images and label data def getImagesAndLabels(path): imagePaths = [os.path.join(path,f) for f in os.listdir(path)] faceSamples=[] ids = [] for imagePath in imagePaths: PIL_img = Image.open(imagePath).convert('L') # convert it to grayscale img_numpy = np.array(PIL_img,'uint8') id = int(os.path.split(imagePath)[-1].split(".")[1]) faces = detector.detectMultiScale(img_numpy) for (x,y,w,h) in faces: faceSamples.append(img_numpy[y:y+h,x:x+w]) ids.append(id) return faceSamples,ids print ("\n [INFO] Training faces. It will take a few seconds. Wait ...") faces,ids = getImagesAndLabels(path) recognizer.train(faces, np.array(ids)) # Save the model into trainer/trainer.yml recognizer.write('/home/pi/python/trainer/trainer.yml') # recognizer.save() worked on Mac, but not on Pi # Print the numer of faces trained and end program print("\n [INFO] {0} faces trained. Exiting Program".format(len(np.unique(ids)))) |
Біз OpenCV пакетіне кіретін LBPH (LOCAL BINARY PATTERNS HISTOGRAMS) Face Recognizer-ді танушы ретінде қолданамыз. Біз мұны келесі жолда жасаймыз:
"GetImagesAndLabels (path)" функциясы каталогтағы барлық фотосуреттерді қабылдайды: "dataset /", 2 массивті қайтарады: "идентификаторлар(lds)" және "беттер(Faces)". Осы массивтермен біз кіріс ретінде «біздің бетті анықтаушыны үйретеміз»:
Нәтижесінде "trainer.yml " біз бұрын жасаған жаттықтырушы каталогында сақталады.
9. Адамның бетін тану
Енді біз жобамыздың соңғы кезеңіне жеттік. Мұнда біз камерада бет-әлпетті көреміз, егер бұл адам бұрын суретке түсіп, оқытылса, біздің анықтаушы өзінің идентификаторы мен индексін қайтаратын "өңдеуді" жасайды, бұл белгінің қаншалықты сенімді екенін көрсетеді.
Біз мұнда жаңа массивті қосамыз, сондықтан нөмірленген идентификаторларды емес, "адамның есімдерін" көрсетеміз.
03_face_recognition.py:
| import cv2 import numpy as np import os recognizer = cv2.face.LBPHFaceRecognizer_create() recognizer.read('/home/pi/python/trainer/trainer.yml') cascadePath = '/home/pi/Downloads/opencv-master/data/haarcascades/haarcascade_frontalface_default.xml' faceCascade = cv2.CascadeClassifier(cascadePath); font = cv2.FONT_HERSHEY_SIMPLEX #iniciate id counter id = 0 # names related to ids: example ==> Marcelo: id=1, etc names = ['None', 'Azhar', 'Ayazhan', 'Omirbek', 'Aisha'] # Initialize and start realtime video capture cam = cv2.VideoCapture(0) cam.set(3, 640) # set video widht cam.set(4, 480) # set video height # Define min window size to be recognized as a face minW = 0.1*cam.get(3) minH = 0.1*cam.get(4) while True: ret, img =cam.read() img = cv2.flip(img, -1) # Flip vertically gray = cv2.cvtColor(img,cv2.COLOR_BGR2GRAY) faces = faceCascade.detectMultiScale( gray, scaleFactor = 1.2, minNeighbors = 5, minSize = (int(minW), int(minH)), ) for(x,y,w,h) in faces: cv2.rectangle(img, (x,y), (x+w,y+h), (0,255,0), 2) id, confidence = recognizer.predict(gray[y:y+h,x:x+w]) # Check if confidence is less them 100 ==> "0" is perfect match if (confidence < 100): id = names[id] confidence = " {0}%".format(round(100 - confidence)) else: id = "unknown" confidence = " {0}%".format(round(100 - confidence)) cv2.putText(img, str(id), (x+5,y-5), font, 1, (255,255,255), 2) cv2.putText(img, str(confidence), (x+5,y+h-5), font, 1, (255,255,0), 1) cv2.imshow('camera',img) k = cv2.waitKey(10) & 0xff # Press 'ESC' for exiting video if k == 27: break # Do a bit of cleanup print("\n [INFO] Exiting Program and cleanup stuff") cam.release() cv2.destroyAllWindows() |
Мысалы: Azhar id = 1 бар пайдаланушы болады; Ayazhan: id = 2 т. б.
Содан кейін біз haascascade классификаторын қолдана отырып, бұрынғыдай бетті табамыз. Анықталған тұлға арқылы біз жоғарыдағы кодтағы ең маңызды функцияны атай аламыз:
Ecognizer.predict() функциясы талданатын тұлғаның түсірілген бөлігін параметр ретінде қабылдайды және сәйкестендіргішті және осы сәйкестікке байланысты танушының сенімділік дәрежесін көрсете отырып, оның ықтимал иесін қайтарады.
Нәтижесі:
