OpenCV на python: поиск прямоугольников и эллипсов

Опубликовано: 24.08.2018

Разобравшись с выделением контуров объектов на видео, перейдем к более сложной задаче — обнаружению прямоугольников и эллипсов. Более того, мы не только научимся находить их в кадре, но еще и сможем определять угол их наклона!

Хорошим примером использования подобных алгоритмов может стать ситуация, когда роботу нужно правильно ухватиться за предмет. Прямо как на картинке.

Если смотреть на цилиндр сверху, то он превратится в прямоугольник. Зная его координаты в кадре и угол наклона можно рассчитать поворот схвата манипулятора, чтобы правильно ухватиться за предмет.

Сегодня на уроке:

Функция OpenCV для поиска прямоугольников minAreaRect Функция OpenCV для поиска эллипсов fitEllipse Отсечение лишних контуров по площади Вычисление угла поворота прямоугольника в OpenCV Определение угла поворота прямоугольника в видеопотоке

1. Функция OpenCV для поиска прямоугольников minAreaRect

В OpenCV имеется функция, которая пытается найти прямоугольник максимального размера, который может вписаться в заданный замкнутый контур. Надо заметить, что эта функция не определяет является ли контур прямоугольным, она пытается вписать в него прямоугольник оптимальным способом. Это важно!

minAreaRect( контур )

контур — это контур, в который мы собираемся вписать прямоугольник (тип аргумента — Nx2 массив NumPy).

Напишем программу, которая найдет на картинке все прямоугольники. За основу возьмем код из предыдущего урока про поиск контуров .

#!/usr/bin/env python import sys import numpy as np import cv2 as cv hsv_min = np.array((0, 54, 5), np.uint8) hsv_max = np.array((187, 255, 253), np.uint8) if __name__ == '__main__': fn = 'image2.jpg' # имя файла, который будем анализировать img = cv.imread(fn) hsv = cv.cvtColor( img, cv.COLOR_BGR2HSV ) # меняем цветовую модель с BGR на HSV thresh = cv.inRange( hsv, hsv_min, hsv_max ) # применяем цветовой фильтр _, contours0, hierarchy = cv.findContours( thresh.copy(), cv.RETR_TREE, cv.CHAIN_APPROX_SIMPLE) # перебираем все найденные контуры в цикле for cnt in contours0: rect = cv.minAreaRect(cnt) # пытаемся вписать прямоугольник box = cv.boxPoints(rect) # поиск четырех вершин прямоугольника box = np.int0(box) # округление координат cv.drawContours(img,[box],0,(255,0,0),2) # рисуем прямоугольник cv.imshow('contours', img) # вывод обработанного кадра в окно cv.waitKey() cv.destroyAllWindows()

Результат работы программы:

Видно, что алгоритм попытался вписать прямоугольники во вложенные мусорные контуры на самих объектах. Далее мы разберемся как с этим бороться.

Теперь попробуем тоже самое, но с эллипсами.

2. Функция OpenCV для поиска эллипсов fitEllipse

Как и в случае minAreaRect, функция поиска эллипсов не сможет отличить на картинке объект с действительно эллиптическим контуром от квадрата. Она лишь пытается эллипс вписать в любой контур с количеством точек >=5.

fitEllipse( контур )

контур  — это контур, в который мы собираемся вписать прямоугольник (тип аргумента — Nx2 массив NumPy).

Слегка изменим предыдущую программу, убрав из неё minAreaRect и добавив fitEllipse.

#!/usr/bin/env python import sys import numpy as np import cv2 as cv hsv_min = np.array((0, 77, 17), np.uint8) hsv_max = np.array((208, 255, 255), np.uint8) if __name__ == '__main__': fn = 'donuts.jpg' img = cv.imread(fn) hsv = cv.cvtColor( img, cv.COLOR_BGR2HSV ) thresh = cv.inRange( hsv, hsv_min, hsv_max ) _, contours0, hierarchy = cv.findContours( thresh.copy(), cv.RETR_TREE, cv.CHAIN_APPROX_SIMPLE) for cnt in contours0: if len(cnt)>4: ellipse = cv.fitEllipse(cnt) cv.ellipse(img,ellipse,(0,0,255),2) cv.imshow('contours', img) cv.waitKey() cv.destroyAllWindows()

Условие

if len(cnt)>4:

необходимо для того, чтобы отсечь контуры с контурами меньше 5 точек. Результат работы программы:

Надо заметить, что эллипсы лучше пытаться вписать в округлые объекты, а прямоугольники в прямоугольные:) В противном случае, алгоритм может выдать неадекватные результаты.

3. Отсечение лишних контуров по площади

Следующий шаг — разберемся с паразитными микроконтурами, которые мы обнаружили на объектах. Избавиться от них можно, вычислив площадь занимаемую этими контурами, а затем просто отсечь контуры с маленькой площадью.

Внесем в нашу программу модификацию:

box = np.int0(box) # округление координат area = int(rect[1][0]*rect[1][1]) # вычисление площади if area > 500: cv.drawContours(img,[box],0,(255,0,0),2)

Запускаем программу.

4. Вычисление угла поворота прямоугольника в OpenCV

Наконец, вычислим углы наклона всех прямоугольников относительно горизонта. Здесь нам не понадобятся специальные функции OpenCV, достаточно будет простой математики.

#!/usr/bin/env python import sys import numpy as np import cv2 as cv import math hsv_min = np.array((0, 54, 5), np.uint8) hsv_max = np.array((187, 255, 253), np.uint8) color_blue = (255,0,0) color_yellow = (0,255,255) if __name__ == '__main__': fn = 'image2.jpg' # имя файла, который будем анализировать img = cv.imread(fn) hsv = cv.cvtColor( img, cv.COLOR_BGR2HSV ) # меняем цветовую модель с BGR на HSV thresh = cv.inRange( hsv, hsv_min, hsv_max ) # применяем цветовой фильтр _, contours0, hierarchy = cv.findContours( thresh.copy(), cv.RETR_TREE, cv.CHAIN_APPROX_SIMPLE) # перебираем все найденные контуры в цикле for cnt in contours0: rect = cv.minAreaRect(cnt) # пытаемся вписать прямоугольник box = cv.boxPoints(rect) # поиск четырех вершин прямоугольника box = np.int0(box) # округление координат center = (int(rect[0][0]),int(rect[0][1])) area = int(rect[1][0]*rect[1][1]) # вычисление площади # вычисление координат двух векторов, являющихся сторонам прямоугольника edge1 = np.int0((box[1][0] - box[0][0],box[1][1] - box[0][1])) edge2 = np.int0((box[2][0] - box[1][0], box[2][1] - box[1][1])) # выясняем какой вектор больше usedEdge = edge1 if cv.norm(edge2) > cv.norm(edge1): usedEdge = edge2 reference = (1,0) # горизонтальный вектор, задающий горизонт # вычисляем угол между самой длинной стороной прямоугольника и горизонтом angle = 180.0/math.pi * math.acos((reference[0]*usedEdge[0] + reference[1]*usedEdge[1]) / (cv.norm(reference) *cv.norm(usedEdge))) if area > 500: cv.drawContours(img,[box],0,(255,0,0),2) # рисуем прямоугольник cv.circle(img, center, 5, color_yellow, 2) # рисуем маленький кружок в центре прямоугольника # выводим в кадр величину угла наклона cv.putText(img, "%d" % int(angle), (center[0]+20, center[1]-20), cv.FONT_HERSHEY_SIMPLEX, 1, color_yellow, 2) cv.imshow('contours', img) cv.waitKey() cv.destroyAllWindows()

Помним, что цветовые фильтры hsv_min и hsv_max нужно каждый раз настраивать под конкретный объект и освещение!

Запускаем программу, указав в ней в качестве исходного — изображение с макетными платами.

Ура! Работает. Ну и последний шаг — подключим видеопоток.

5. Определение угла поворота прямоугольника в видеопотоке

Здесь нам потребуется вспомнить урок про наложение текста и геометрических фигур на кадр в OpenCV .

#!/usr/bin/env python import cv2 as cv import numpy as np import video import math if __name__ == '__main__': cv.namedWindow( "result" ) cap = video.create_capture(0) hsv_min = np.array((0, 0, 255), np.uint8) hsv_max = np.array((72, 51, 255), np.uint8) color_blue = (255,0,0) color_red = (0,0,128) while True: flag, img = cap.read() img = cv.flip(img,1) try: hsv = cv.cvtColor(img, cv.COLOR_BGR2HSV ) thresh = cv.inRange(hsv, hsv_min, hsv_max) _, contours0, hierarchy = cv.findContours( thresh.copy(), cv.RETR_EXTERNAL, cv.CHAIN_APPROX_NONE) for cnt in contours0: rect = cv.minAreaRect(cnt) box = cv.boxPoints(rect) box = np.int0(box) center = (int(rect[0][0]),int(rect[0][1])) area = int(rect[1][0]*rect[1][1]) edge1 = np.int0((box[1][0] - box[0][0],box[1][1] - box[0][1])) edge2 = np.int0((box[2][0] - box[1][0], box[2][1] - box[1][1])) usedEdge = edge1 if cv.norm(edge2) > cv.norm(edge1): usedEdge = edge2 reference = (1,0) # horizontal edge angle = 180.0/math.pi * math.acos((reference[0]*usedEdge[0] + reference[1]*usedEdge[1]) / (cv.norm(reference) *cv.norm(usedEdge))) if area > 500: cv.drawContours(img,[box],0,color_blue,2) cv.circle(img, center, 5, color_red, 2) cv.putText(img, "%d" % int(angle), (center[0]+20, center[1]-20), cv.FONT_HERSHEY_SIMPLEX, 1, color_red, 2) cv.imshow('result', img) except: cap.release() raise ch = cv.waitKey(5) if ch == 27: break cap.release() cv.destroyAllWindows()

Помним про правильную настройку фильтров! Если всё сделано правильно, получится примерно это:

Your browser does not support the video tag.

Заключение

Итак, хорошая новость — мы умеем определять угол наклона прямоугольника. Плохая новость — мы не можем быть уверены, что в кадре именно прямоугольник! Та же ситуация с эллипсом. Попробуем разобраться с более продвинутыми методами детектирования геометрических объектов на следующих уроках!

 

IRC (Internet Relay Chat)
rss