OpenCV特征点检测匹配图像-----添加包围盒

最终效果：

其实这个小功能非常有用，甚至加上只有给人感觉好像人脸检测，目标检测直接成了demo了，主要代码如下：



// localize the object
	std::vector<Point2f> obj;
	std::vector<Point2f> scene;

	for (size_t i = 0; i < good_matches.size(); ++i)
	{
		// get the keypoints from the good matches
		obj.push_back(keyPoints_1[ good_matches[i].queryIdx ].pt);
		scene.push_back(keyPoints_2[ good_matches[i].trainIdx ].pt);
	}
	Mat H = findHomography( obj, scene, CV_RANSAC );

	// get the corners from the image_1
	std::vector<Point2f> obj_corners(4);
	obj_corners[0] = cvPoint(0,0);
	obj_corners[1] = cvPoint( img_1.cols, 0);
	obj_corners[2] = cvPoint( img_1.cols, img_1.rows);
	obj_corners[3] = cvPoint( 0, img_1.rows);
	std::vector<Point2f> scene_corners(4);

	perspectiveTransform( obj_corners, scene_corners, H);

	// draw lines between the corners (the mapped object in the scene - image_2)
	line( img_matches, scene_corners[0] + Point2f( img_1.cols, 0), scene_corners[1] + Point2f( img_1.cols, 0),Scalar(0,255,0));
	line( img_matches, scene_corners[1] + Point2f( img_1.cols, 0), scene_corners[2] + Point2f( img_1.cols, 0),Scalar(0,255,0));
	line( img_matches, scene_corners[2] + Point2f( img_1.cols, 0), scene_corners[3] + Point2f( img_1.cols, 0),Scalar(0,255,0));
	line( img_matches, scene_corners[3] + Point2f( img_1.cols, 0), scene_corners[0] + Point2f( img_1.cols, 0),Scalar(0,255,0));



    基本原理是利用函数：findHomography，该 函数是求两幅图像的单应性矩阵或者叫（单映射矩阵），它是一个3*3的矩阵。findHomography： 计算多个二维点对之间的最优单映射变换矩阵 H（3行x3列） ，使用最小均方误差或者RANSAC方法 。


    单应性矩阵算过后的投影点的偏移量 scene_corners[0]，就是在匹配图像中的点的位置，因为效果图像相当于增加了一个待匹配图像的宽度，所以每一个点都要加上Point2f( img_1.cols, 0)




两个重要函数的介绍：



findHomography


功能：在两个平面之间寻找单映射变换矩阵


结构：


Mat findHomography(InputArray srcPoints, InputArray dstPoints, int method=0, double ransacReprojThreshold=3, OutputArray mask=noArray() )


srcPoints ：在原平面上点的坐标，CV_32FC2 的矩阵或者vector<Point2f> 
dstPoints ：在目标平面上点的坐标，CV_32FC2 的矩阵或者 vector<Point2f> . 
method – 
用于计算单映射矩阵的方法.  
0 - 使用所有的点的常规方法 
CV_RANSAC - 基于 RANSAC 的方法
CV_LMEDS - 基于Least-Median 的方法


ransacReprojThreshold： 处理一组点对为内部点的最大容忍重投影误差（只在RANSAC方法中使用），其形式为： 




   如果     


那么点i则被考虑为内部点，如果srcPoints和dstPoints是以像素为单位，通常把参数设置为1-10范围内  


这个函数的作用是在原平面和目标平面之间返回一个单映射矩阵


 


因此反投影误差是最小的。


如果参数被设置为0，那么这个函数使用所有的点和一个简单的最小二乘算法来计算最初的单应性估计，但是，如果不是所有的点对都完全符合透视变换，那么这个初始的估计会很差，在这种情况下，你可以使用两个robust算法中的一个。 RANSAC 和LMeDS , 使用坐标点对生成了很多不同的随机组合子集（每四对一组），使用这些子集和一个简单的最小二乘法来估计变换矩阵，然后计算出单应性的质量，最好的子集被用来产生初始单应性的估计和掩码。 
RANSAC方法几乎可以处理任何异常，但是需要一个阈值， LMeDS 方法不需要任何阈值，但是只有在inliers大于50%时才能计算正确，最后，如果没有outliers和噪音非常小，则可以使用默认的方法。


PerspectiveTransform


功能：向量数组的透视变换 


结构：


void perspectiveTransform(InputArray src, OutputArray dst, InputArray m)


src ：输入两通道或三通道的浮点数组，每一个元素是一个2D/3D 的矢量转换
dst ：输出和src同样的size和type 
m ：3x3 或者4x4浮点转换矩阵 
转换方法为：


 


文档官方介绍：




 


实现代码：


// OpenCV_sift.cpp : 定义控制台应用程序的入口点。
//

#include "stdafx.h"
#include <iostream>

#include <vector>
#include "opencv2/core/core.hpp"
#include "opencv2/features2d/features2d.hpp"
#include "opencv2/highgui/highgui.hpp"
#include "opencv2/legacy/legacy.hpp"
#include "opencv2/calib3d/calib3d.hpp"

using namespace cv;
using namespace std;

#pragma comment(lib,"opencv_core2410d.lib")
#pragma comment(lib,"opencv_highgui2410d.lib")
#pragma comment(lib,"opencv_objdetect2410d.lib")
#pragma comment(lib,"opencv_imgproc2410d.lib")
#pragma comment(lib,"opencv_features2d2410d.lib")
#pragma comment(lib,"opencv_legacy2410d.lib")
#pragma comment(lib,"opencv_calib3d2410d.lib")

int main()
{
    Mat img_1 = imread("1.jpg");
    Mat img_2 = imread("2.jpg");
    if (!img_1.data || !img_2.data)
    {
        cout << "error reading images " << endl;
        return -1;
    }

    ORB orb;
    vector<KeyPoint> keyPoints_1, keyPoints_2;
    Mat descriptors_1, descriptors_2;

    orb(img_1, Mat(), keyPoints_1, descriptors_1);
    orb(img_2, Mat(), keyPoints_2, descriptors_2);

    BruteForceMatcher<HammingLUT> matcher;
    vector<DMatch> matches;
    matcher.match(descriptors_1, descriptors_2, matches);

    double max_dist = 0; double min_dist = 100;
    //-- Quick calculation of max and min distances between keypoints
    for( int i = 0; i < descriptors_1.rows; i++ )
    {
        double dist = matches[i].distance;
        if( dist < min_dist ) min_dist = dist;
        if( dist > max_dist ) max_dist = dist;
    }
    printf("-- Max dist : %f \n", max_dist );
    printf("-- Min dist : %f \n", min_dist );
    //-- Draw only "good" matches (i.e. whose distance is less than 0.6*max_dist )
    //-- PS.- radiusMatch can also be used here.
    std::vector< DMatch > good_matches;
    for( int i = 0; i < descriptors_1.rows; i++ )
    {
        if( matches[i].distance < 0.6*max_dist )
        {
            good_matches.push_back( matches[i]);
        }
    }

    Mat img_matches;
    drawMatches(img_1, keyPoints_1, img_2, keyPoints_2,
        good_matches, img_matches, Scalar::all(-1), Scalar::all(-1),
        vector<char>(), DrawMatchesFlags::NOT_DRAW_SINGLE_POINTS);

    // localize the object
    std::vector<Point2f> obj;
    std::vector<Point2f> scene;

    for (size_t i = 0; i < good_matches.size(); ++i)
    {
        // get the keypoints from the good matches
        obj.push_back(keyPoints_1[ good_matches[i].queryIdx ].pt);
        scene.push_back(keyPoints_2[ good_matches[i].trainIdx ].pt);
    }
    Mat H = findHomography( obj, scene, CV_RANSAC );

    // get the corners from the image_1
    std::vector<Point2f> obj_corners(4);
    obj_corners[0] = cvPoint(0,0);
    obj_corners[1] = cvPoint( img_1.cols, 0);
    obj_corners[2] = cvPoint( img_1.cols, img_1.rows);
    obj_corners[3] = cvPoint( 0, img_1.rows);
    std::vector<Point2f> scene_corners(4);

    perspectiveTransform( obj_corners, scene_corners, H);

    // draw lines between the corners (the mapped object in the scene - image_2)
    line( img_matches, scene_corners[0] + Point2f( img_1.cols, 0), scene_corners[1] + Point2f( img_1.cols, 0),Scalar(0,255,0));
    line( img_matches, scene_corners[1] + Point2f( img_1.cols, 0), scene_corners[2] + Point2f( img_1.cols, 0),Scalar(0,255,0));
    line( img_matches, scene_corners[2] + Point2f( img_1.cols, 0), scene_corners[3] + Point2f( img_1.cols, 0),Scalar(0,255,0));
    line( img_matches, scene_corners[3] + Point2f( img_1.cols, 0), scene_corners[0] + Point2f( img_1.cols, 0),Scalar(0,255,0));

    imshow( "Match", img_matches);
    cvWaitKey();
    return 0;
}


当然也可以用其他特征点检测的算法来做：


/*
SIFT sift;
sift(img_1, Mat(), keyPoints_1, descriptors_1);
sift(img_2, Mat(), keyPoints_2, descriptors_2);
BruteForceMatcher<L2<float> >  matcher;
*/

/*
SURF surf;
surf(img_1, Mat(), keyPoints_1);
surf(img_2, Mat(), keyPoints_2);
SurfDescriptorExtractor extrator;
extrator.compute(img_1, keyPoints_1, descriptors_1);
extrator.compute(img_2, keyPoints_2, descriptors_2);
BruteForceMatcher<L2<float> >  matcher;
*/



图片：






参考文献：


ORB特征


早在，OpenCV2.3RC中已经有了实现


OpenCV中ORB特征这个是之前系列中转载整理的文章


1.http://blog.csdn.net/wangyaninglm/article/details/44805709


2.http://docs.opencv.org/2.4.10/modules/calib3d/doc/camera_calibration_and_3d_reconstruction.html?highlight=findhomography#cv.FindHomography


3.http://www.360doc.com/content/14/0410/14/10724725_367760906.shtml


4.http://blog.csdn.net/chenjiazhou12/article/details/22825487?utm_source=tuicool&utm_medium=referral


5.http://blog.csdn.net/merlin_q/article/details/7026375

				


				
时间： 2024-04-15 23:04:59

		
		


		


	

	
	

		


		
OpenCV特征点检测匹配图像-----添加包围盒的相关文章


								

		

			

                python+OpenCV 特征点检测
			

		

		

									

				1.Harris角点检测 Harris角点检测算法是一个极为简单的角点检测算法,该算法在1988年就被发明了,算法的主要思想是如果像素周围显示存在多于一个方向的边,我们认为该点为兴趣点.基本原理是根据公式: 化简为求解矩阵,最后根据矩阵的特征值判断是否为角点 实现效果: 代码(不用OpenCV): # -*- coding: utf-8 -*- from pylab import * from PIL import Image from numpy import * from scipy.ndi			

		

	

				

		

			

                OpenCV特征点检测------Surf（特征点篇）
			

		

		

									

				Surf(Speed Up Robust Feature) Surf算法的原理                                                                           1.构建Hessian矩阵构造高斯金字塔尺度空间 其实surf构造的金字塔图像与sift有很大不同,就是因为这些不同才加快了其检测的速度.Sift采用的是DOG图像,而surf采用的是Hessian矩阵行列式近似值图像.Hessian矩阵是Surf算法的核心,为了方便运算			

		

	

				

		

			

                OpenCV特征点检测------ORB特征
			

		

		

									

				        ORB算法 ORB是是ORiented Brief的简称.ORB的描述在下面文章中: Ethan Rublee and Vincent Rabaud and Kurt Konolige and Gary Bradski, ORB: an efcient alternative to SIFT or SURF, ICCV 2011 没有加上链接是因为作者确实还没有放出论文,不过OpenCV2.3RC中已经有了实现,WillowGarage有一个talk也提到了这个算法,因此我不揣浅			

		

	

				

		

			

                OpenCV特征点检测算法对比
			

		

		

									

				识别算法概述: SIFT/SURF基于灰度图, 一.首先建立图像金字塔,形成三维的图像空间,通过Hessian矩阵获取每一层的局部极大值,然后进行在极值点周围26个点进行NMS,从而得到粗略的特征点,再使用二次插值法得到精确特征点所在的层(尺度),即完成了尺度不变.   二.在特征点选取一个与尺度相应的邻域,求出主方向,其中SIFT采用在一个正方形邻域内统计所有点的梯度方向,找到占80%以上的方向作为主方向:而SURF则选择圆形邻域,并且使用活动扇形的方法求出特征点主方向,以主方向对齐即完成旋转			

		

	

				

		

			

                匹配识别-在opencv中提取出特征点并匹配后如何知道特征等大小两幅图中特征点的相对位置
			

		

		

									

				问题描述 在opencv中提取出特征点并匹配后如何知道特征等大小两幅图中特征点的相对位置 在opencv中用sift/surf算法提取出特征点并匹配后如何知道特征等大小两幅图中特征点的相对位置 解决方案 http://www.opencv.org.cn/forum.php?mod=viewthread&tid=34214&extra=page%3D1 解决方案二: OpenCV中特征点提取和匹配的通用方-			

		

	

				

		

			

                opencv自带的Harr-like特征人脸检测
			

		

		

									

				问题描述 opencv自带的Harr-like特征人脸检测 如图是opencv自带的训练好的分类器文件haarcascade_frontalface_alt.xml,stage是级联层数,下面tree下面各结点代表的弱分类器的各参数值是什么意思啊?我知道这是弱分类器的组合,弱分类器是单层决策树吧?怎么有两个Rect和这么多阈值?多谢帮助 解决方案 [特征检测]Harr-like特征算法 解决方案二: 你可以参考 http://blog.csdn.net/hujingshuang/article/			

		

	

				

		

			

                opencv   区域检测-如何利用opencv对ycbcr格式的图像求重心
			

		

		

									

				问题描述 如何利用opencv对ycbcr格式的图像求重心 如题,在opencv中将普通格式的图像转化为ycbcr用以检测肤色后,如何对图像求重心?是利用cvmoments吗?但是这个函数好像只能用于二值化图像,程序运行到一半会报错求大神解答 解决方案 利用opencv求图像重心 解决方案二: 重心这种计算,一般都是针对二值图或者单通道进行的,你可以对Y通道进行二值化,然后再计算重心!还有,计算重心的算法很简单,没必要非要用opencv,自己写一个都可以! 解决方案三: 一般某个核心的研究成果,			

		

	

				

		

			

                目标检测的图像特征提取之（二）LBP特征
			

		

		

									

				原文地址:http://blog.csdn.net/zouxy09/article/details/7929531        LBP(Local Binary Pattern,局部二值模式)是一种用来描述图像局部纹理特征的算子:它具有旋转不变性和灰度不变性等显著的优点.它是首先由T. Ojala, M.Pietikäinen, 和D. Harwood 在1994年提出,用于纹理特征提取.而且,提取的特征是图像的局部的纹理特征: 1.LBP特征的描述        原始的LBP算子定义为在3*			

		

	

				

		

			

                OpenCV特征点提取----Fast特征
			

		

		

									

				1.FAST(featuresfrom accelerated segment test)算法   http://blog.csdn.net/yang_xian521/article/details/7411438   特征点检测和匹配是计算机视觉中一个很有用的技术.在物体检测,视觉跟踪,三维常年关键等领域都有很广泛的应用.很多传统的算法都很耗时,而且特征点检测算法只是很多复杂图像处理里中的第一步,得不偿失.FAST特征点检测是公认的比较快速的特征点检测方法,只利用周围像素比较的信息就可以得到特