OpenCV在Android上的应用示例

OpenCV在Android上的应用示例

一. OpenCV 介绍

OpenCV是一个基于BSD许可（开源）发行的跨平台计算机视觉库，可以运行在linux、Windows、android和Mac OS操作系统上。它轻量级而且高效——由一系列 C 函数和少量 C++ 类构成，同时提供了python、Ruby、MATLAB等语言的接口，实现了图像处理和计算机视觉方面的很多通用算法。

在移动端上使用 OpenCV 可以完成一系列图像处理的工作。

二. OpenCV 在 Android 上的配置

我在项目中使用的 OpenCV 版本是 4.x。

在 Android Studio 中创建一个 Library，将官网-的 OpenCV 导入后，就可以直接调用 OpenCV 中 java 类的方法。

如果想调用 C++ 的类，也可以使用 CMake 创建环境，然后通过 include 文件放入指定路径。

下面是项目中使用的 CMakeLists.txt

cmake_minimum_required(VERSION 3.6.0)

include_directories(

${CMAKE_SOURCE_DIR}/src/main/cpp/include

)

add_library(libopencv_java4 SHARED IMPORTED)

set_target_properties(

libopencv_java4

PROPERTIES IMPORTED_LOCATION

${CMAKE_SOURCE_DIR}/src/main/jniLibs/libs/${ANDROID_ABI}/libopencv_java4.so)

add_library(libc++_shared SHARED IMPORTED)

set_target_properties(

libc++_shared

PROPERTIES IMPORTED_LOCATION

${CMAKE_SOURCE_DIR}/src/main/jniLibs/libs/${ANDROID_ABI}/libc++_shared.so)

add_library(

detect

SHARED

src/main/cpp/detect-lib.cpp

src/main/cpp/detect-phone.cpp

)

find_library(

log-lib

log

)

target_link_libraries(

detect libopencv_java4 libc++_shared jnigraphics

${log-lib}

)

其中，detect-lib.cpp 和 detect-phone.cpp 是我创建的 C++ 类。打成 so 文件时，会包含这2个类。

三. 例子两则

3.1 作为二维码识别的兜底方案

在 Android 原生开发中，二维码识别有老牌的 zxing 等开源库。为何还要使用 OpenCV 呢？

因为 OpenCV 有自己的优势，借助它可以定位到二维码的位置，一般识别不到二维码的内容大多是因为找不到它的位置。要是能够找到位置，就可以快速识别二维码的内容。

这样一来，识别二维码时需要先拍一张照，从图像中找出二维码的位置。当然，还可以对图像进行预处理，以便能够更好地找到二维码的位置。

下面的代码，展示了在应用层拍完照之后，将图片的路径传到 jni 层将其转换成对应的 Mat 对象，再转换成灰度图像，然后找出二维码的位置，要是能够找到的话就识别出二维码的内容。

extern "C"

JNIEXPORT jstring JNICALL

Java_com_xxx_sdk_utils_DetectUtils_qrDetect(JNIEnv *env, jclass jc,jstring filePath) {

const char *file_path_str = env->GetStringUTFChars(filePath, 0);

string path = file_path_str;

Mat src = imread(path);

Mat gray, qrcode_roi;

cvtColor(src, gray, COLOR_BGR2GRAY);

QRCodeDetector qrcode_detector;

vector pts;

string detect_info;

bool det_result = qrcode_detector.detect(gray, pts);

if (det_result) {

detect_info = qrcode_detector.decode(gray, pts, qrcode_roi);

return env->NewStringUTF(detect_info.c_str());

} else {

detect_info = "";

return env->NewStringUTF(detect_info.c_str());

}

}

对应的 Java 代码，方便应用层调用 jni 层的 qrDetect()

public class DetectUtils {

static {

System.loadLibrary("detect");

}

/**

* 识别二维码

* @param filePath

* @return

*/

public static native String qrDetect(String filePath);

......

}

最后是应用层的调用

// 使用 OpenCV 进行二维码识别

val result = DetectUtils.qrDetect(filePath)

L.d("opencvs识别二维码: $result")

3.2 比对图像的差异

在我们的实际开发中遇到一个应用场景：需要判断我们的手机回收机里面是否存放了物体。(手机回收机是一个触摸屏设备，可以通过 Android 系统来操作内部的硬件设备。)

我们事先拍一张回收机内没有物体的图作为基准图像，等到需要判断是否存在物体时再拍一张图片。两幅图片对比看比例，比列超过阈值则认为回收机内存在着物体。

下面的代码，展示了在应用层拍完照之后，跟基准图片进行比对，并返回结果。

extern "C"

JNIEXPORT jboolean JNICALL

Java_com_xxx_sdk_utils_DetectUtils_checkPhoneInMTA(JNIEnv *env, jclass jc,jstring baseImgPath,jstring filePath) {

jboolean tRet = false;

const char *file_path_str = env->GetStringUTFChars(filePath, 0);

string path = file_path_str;

Mat src = imread(path);

const char *base_img_path_str = env->GetStringUTFChars(baseImgPath, 0);

string basePath = base_img_path_str;

Mat baseImg = imread(basePath);

int result = checkPhoneInBox(baseImg,src,40,0.1);

LOGI("checkPhoneInBox result = %d",result);

if (result == 0http://) {

tRet = true;

}

return tRet;

}

两张图片真正的比对是在 checkPhoneInBox() 中完成的。其中，maxFilter() 是为了处理彩色的情况，然后使用高斯滤波进行降噪处理，再进行二值化处理，最后判断灰度差异区域占总图像的比列是否超过预先设定的阈值。

int checkPhoneInBox(cv::Mat baseImg, cv::Mat snapImg, int diffThresh, double threshRatio) {

cv::Mat baseMaxImg, snapMaxImg,baseGausImg, snapGausImg;

if (baseImg.empty()|| snapImg.empty())

{

return -1;

}

try {

maxFilter(baseImg, baseMaxImg);

maxFilter(snapImg, snapMaxImg);

} catch (...) {

return -1;

}

cv::GaussianBlur(baseMaxImg, baseGausImg, cv::Size(5, 5),0);

cv::GaussianBlur(snapMaxImg, snapGausImg, cv::Size(5, 5),0);

cv::Mat diff,diffBin;

cv::Mat noMax;

cv::absdiff(baseGausImg, snapGausImg, diff);

cv::threshold(diff, diffBin, diffThresh, 255, cv::THRESH_BINARY);

float ratio = (float)cv::countNonZero(diffBin) / (long)diffBin.total();

LOGI("ratio = %f,%d,%ld",ratio,cv::countNonZero(diffBin),(long)diffBin.total());

if (ratio > threshRatio)

{

return 0;

}

else

{

return 1;

}

}

int maxFilter(cv::Mat baseImg, cv::Mat &maxImg)

{

if (baseImg.channels() <3)

{

maxImg = baseImg.clone();

}

else

{

maxImg.create(baseImg.size(), CV_8UC1);

for (int r=0;r

{

for (int c = 0; c < baseImg.cols; c++)

{

uchar maxTmp=0;

cv::Vec3b s = baseImg.at(r, c);

maxTmp = (std::max)(s[0],s[1]);

maxTmp = (std::max)(maxTmp,s[2]);

maxImg.at(r, c) = maxTmp;

}

}

}

return 0;

}

对应的 Java 代码，方便应用层调用 jni 层的 checkPhoneInMTA()

public class DetectUtils {

static {

System.loadLibrary("detect");

}

/**

* 判断MTA中是否有手机

* @param baseImageFilePath 基准的图片

* @param filePath 拍摄的图片

* @return

*/

public static native boolean checkPhoneInMTA(String baseImageFilePath, String filePath);

......

}

最后是应用层的调用

val result = DetectUtils.checkPhoneInMTA(Constants.OPENCV_PHOTO_PATH, it.absolutePath)

四. 总结

OpenCV 是一款功能强大的图像处理库。但是它本身体积也较大，在移动端使用至少会增加 Android Apk 包 10 M+ 的体积(主要取决于 App 要支持多少个 CPU 架构)。如果很介意的话，可以考虑自行裁剪 OpenCV，然后再进行编译。

我所在的部门隶属于中台部门，主要输出接口和 SDK。在 SDK 中使用 OpenCV 的确会给业务方造成困扰，未来也会考虑如何减少 SDK 的体积，以及把 SDK 做成模块化。

{

for (int c = 0; c < baseImg.cols; c++)

{

uchar maxTmp=0;

cv::Vec3b s = baseImg.at(r, c);

maxTmp = (std::max)(s[0],s[1]);

maxTmp = (std::max)(maxTmp,s[2]);

maxImg.at(r, c) = maxTmp;

}

}

}

return 0;

}

对应的 Java 代码，方便应用层调用 jni 层的 checkPhoneInMTA()

public class DetectUtils {

static {

System.loadLibrary("detect");

}

/**

* 判断MTA中是否有手机

* @param baseImageFilePath 基准的图片

* @param filePath 拍摄的图片

* @return

*/

public static native boolean checkPhoneInMTA(String baseImageFilePath, String filePath);

......

}

最后是应用层的调用

val result = DetectUtils.checkPhoneInMTA(Constants.OPENCV_PHOTO_PATH, it.absolutePath)

四. 总结

OpenCV 是一款功能强大的图像处理库。但是它本身体积也较大，在移动端使用至少会增加 Android Apk 包 10 M+ 的体积(主要取决于 App 要支持多少个 CPU 架构)。如果很介意的话，可以考虑自行裁剪 OpenCV，然后再进行编译。

我所在的部门隶属于中台部门，主要输出接口和 SDK。在 SDK 中使用 OpenCV 的确会给业务方造成困扰，未来也会考虑如何减少 SDK 的体积，以及把 SDK 做成模块化。

版权声明：本文内容由网络用户投稿，版权归原作者所有，本站不拥有其著作权，亦不承担相应法律责任。如果您发现本站中有涉嫌抄袭或描述失实的内容，请联系我们jiasou666@gmail.com 处理，核实后本网站将在24小时内删除侵权内容。