【懒人精灵】跨分辨率找透明图，自动建模测试工作流。提供配套图色工具+安卓插件

本文使用小飞侠桌面端图色工具和安卓插件，建立一套完整的截图+建模+训练+识别工作流。
实现透明图的全分辨率查找。

截图

在手机上安装懒人精灵高级版，将设备和电脑连接到同一个局域网。
打开小飞侠桌面端图色工具（跨平台，支持Mac/Windows系统），进入图片采集。
支持USB连接和懒人精灵无线连接等方式截图。

在右侧设置区，设置保存目录。
截图方式，选择“懒人精灵高级版”。程序会扫描内网的懒人精灵应用，并自动建立通信连接。

扫描到可用设备后，点击设备列表中的设备，建立连接。然后就可以截图。

在某腾讯游戏的引导界面，截取三张样图。
接下来要实现的，就是使用脚本来寻找右上角的“跳过”按钮。

可以看到，图片的背景是一个视频，一直在不停的变换。
使用懒人精灵内置的api接口，是很难识别这个特征的。

梯度训练

进入图色工具区，先在左侧的大图数据集列表，导入刚才的截图文件目录。
截取好的图片，就会加载到数据集列表。

按键盘上的F键，可以进入全屏的禅模式。

接下来对“跳过”按钮进行建模。
先采集特征，然后再建模测试。

程序支持拉框采集和SAM点选分割采集两种建模方式。

当前这个特征，我们先使用普通拉框的方式，在文字上，拉出一个矩形框。
样图要求背景简单，没有复杂图案的背景干扰。

设置一个模板名称和工作目录。验证方式选择“当前”。
点击“建模测试”。
程序会执行：采集——建模——自动测试，并反馈结果和得分。

建模测试完成后，会在找到的目标位置显示标注框和相似度得分。
并将测试结果，显示到右下角的测试结果列表中。

画布的左下角模板区，会显示抠图建模结果。

小图模板区，会显示模板小图的原图、透明图、掩膜图。

下面是自动抠像的透明图效果，可以在画布上预览。
如果抠像效果或者测试结果不满意，可以更换原始大图重新建模测试。

本次建模测试的匹配度是0.91，完美找到目标位置。
接下来，切换大图数据集的图片，对不同的图片进行测试。

按快捷键“A/D”可以切换图片。
选择“切图自动测试”，切换图片后，就会自动在图片上匹配刚才的训练结果。
可以看到，我们换了一张图片。这一张背景复杂一些，但是还是能顺利找到目标，得分为0.89，结果非常理想。

本轮建模训练，得到的yaml特征文件，位于工作目录的“C:\Users\Administrator\Desktop\自动化建模测试\跳过_20260828_110504\跳过.yaml”。

将文件导入到懒人精灵高级版的rc资源目录（或者导入到SD卡自定义路径），再配合小飞侠插件的梯度匹配接口，就可以在安卓设备上进行匹配查找了。

小飞侠插件调用

下面是懒人精灵侧的查找和识别例子，支持全分辨率。

import('com.nx.assist.lua.LuaEngine')
local loader = LuaEngine.loadApk('xfxPlugin-release.apk'); assert(loader)
local UtilsMain = loader.loadClass('com.xfx.plugin.UtilsMain'); assert(UtilsMain)
UtilsMain.init(LuaEngine.getContext())

-- 加载图像处理类
local opcvOps = UtilsMain.opencvOps(); assert(opcvOps)

-- 屏幕截图，转为Mat资源
local bmp = LuaEngine.snapShot(0, 0, 0, 0)
local matId = opcvOps.bitmapToMat(bmp)

-- 加载模板文件
opcvOps.loadYaml('/sdcard/opcvTest/跳过.yaml')

-- 全分辨率梯度形状匹配，支持透明图
local result = opcvOps.matchGradientShape(matId, '跳过.yaml', 0, 0, 0, 0, 0.6, 10, '4,8', 0.3)
printEx(result)

-- 释放资源
opcvOps.recycle(matId)
opcvOps.releaseYaml('')

XFX Plugin – 安卓工具类插件

XFX Plugin（小飞侠插件） 是一个免费的专为安卓脚本开发框架设计的功能丰富的工具类插件，提供了超过 400+ 的 API 接口，方便安卓脚本开发者使用。

支持Auto.js及变种(AutoX.js)、Aiwork、AirsSript、Cheese、Easyclick、懒人精灵、按键精灵、触动精灵、自动化编辑器等安卓脚本框架调用。

主要特性

• 🚀 丰富的工具类：提供了大量常用工具类
• 📡 实时通信：集成 MQTT 客户端，支持实时消息通信
• ❤️ 悬浮窗日志：由雪落大神提供的源码改进而来，支持在屏幕上实时输出运行日志
• 🗣️ 文本转语音：支持 TTS 文本转语音功能
• 🎬 视频处理：集成 FFMPEG，支持视频处理、转换等操作
• 📱 设备操作：提供设备信息获取、屏幕操作、音量控制等功能
• 🔐 加密解密：支持多种加密算法，保障数据安全
• 🖼️ 图像处理：支持图片压缩、二维码生成与识别等功能