执行动作

模拟人工操作的指令

一:触摸

touch(xy,action=1,pressure=0,finger=1) 无返回值

参数:

1,xy:此为必填参数,代表坐标,类型为一个列表,左为横坐标,右为纵坐标

示例:

2,action 动作, 0代表滑动,1代表按下,2代表抬起

3,pressure 压力,取值范围0-1

4,finger 手指编号,1-10分别代表10个手指

注意事项:touch和touch之间应该至少要休息1毫秒,0.001秒,这样即能模拟真人,还能保证不会因为发送太快,手机处理不过来出现丢包现象。

 

 

 

二:休息

rest(duration) 无返回值

这个用python自带的time.sleep也可以,rest内部就是使用的time.sleep,因为这个非常常用,用python自带的还得导包,多写一行代码,所以【scrcpy-rpa】提供了这个函数。

参数:

1,duration:必填,代表休息多长时间,单位为秒,类型为数值,可以是整数也可以是浮点数

示例:

 

 

三:点击

click(xy) 无返回值

1,xy:此为必填参数,代表坐标,类型为一个列表,左为横坐标,右为纵坐标

示例:

click内部是通过touch实现的,源码如下,如果您不想用我的源码,也可以自己写,或者对我写的源码再改动一下

注意事项,我只写了click,滑动没有写,因为click可以通用,所以写了,而滑动没有办法通用,所以没写,这个只能根据实际情况脚本作者自己自己编写了。

 

 

四:按键

参数:keyCode,类型字符串, 代表按下设备某个键。

示例

 

五:app管理

appManage(package,action='open') 无返回值

参数:

1,package:必填,填写app的包名路径,类型为字符串,如果不知道具体app的包名路径,可在 设备管理/设置查询下查询。

2,action:必填,默认为open,可以为close,install,uninstall

示例:

注意:如果app使用了双开,则无法打开和关闭。

 

六:打字

typing(text) 无返回值

参数:

1,text:必填,类型为字符串,

示例:

注意事项,一次输入汉字最多333个字符,英文一次最多可以输入1000个字符,如果超过了会自动删除后面多余的。如果是汉字和英文组合一次可输入的个数是333-1000个字符。

 

 

视觉识别

使用的opencv+rapadOcr库

 

一:固位匹配

fixed(by)

像素级别的匹配,固定坐标的固定像素之间的匹配

返回值为置信度,范围是0-1

参数:

1,by:必填,图像对象或颜色列表

示例:

 

注意:fixed指令用的图像,必须是样本工具生成的名称,类似这种5l9f662-1894-749-1948',不能自己定义名称。

 

二:扫描查找

一:oneFind(by,roi=None) 查找一个目标

返回值为一个字典{'xy':[700,800],'cf':0.99} ,xy代表匹配项的中心点坐标,cf代表置信度。

参数:

1,by:必填,与fixed是一样的

2:roi,选填,区域,默认为None,代表全屏查询,类型为矩形坐标二维列表,前一个是左上角坐标,后一个是右下角坐标,代表只在本区域内查找。

示例:

 

二:moreFind(by,roi=Nonecf=0.8) 查找多个目标

返回值为字典列表[{'xy':[700,800],'cf':0.89} ,{'xy':[700,800],'cf':0.89}]。

前二个参数by,roi与oneFind是一样的。

3:cf,选填,置信度,默认为0.8,代表只查询置信度大于0.8的匹配项。

 

注意事项:这个扫描查找,使用颜色匹配最少要选择4个,否则会出现误判。图像的名称可以使用样本工具生成的,也可以使用自己任意定义的。

 

三:ocr识别

ocrText(roi):

只识别中文,英文,数字,标点符号,如果识别其他语言请用图色来替代,在实际使用中一般只用于识别数字,识别其他尽量不要用,因为比较耗资源。

如果是群控使用情况下,比如一台电脑控制几十台手机,使用频率不要太高,至少要间隔2秒钟。

返回值为一个一个字典{'txt': '99877', 'cf': 0.99},共两个值,txt为识别的字符,cf为置信度。

参数:

1,roi:必填,类型矩形坐标的数组,第一个是图像左上角坐标,第二个是图像右下角坐标。

示例:

 

 

四:动画处理

动画处理比较复杂,但实际当中用的比较少,但由于scrcpy-rpa是固定分辨和和DPI,这样处理起来相对比较简单。

共四条指令,再结合程序逻辑或者时序逻辑,分别控制这四条指令,即可完成判断。

1:getColor(xy)

根据坐标获取rgb颜色值,返回的是rgb列表。

示例:

2:getImage(roi)

根据roi获取局部图像

示例:

3:compareImage(img1,img2)

比较两张图像的相似度,返回值为0-1

示例:

4:colorTotal(color,image,err=[10,10,10])

判断某种颜色在某张图像中存在的个数

color是颜色,image是图像,err是颜色可允许波动的公差

示例:

 

视觉识别注意事项,当横竖屏切换的时候,给的坐标或者roi可能不存在,如果不存在,上面的几个指令都会执行异常返回,fixed异常返回0,oneFine异常返回{'xy':[-1,-1],'cf':0},moreFind异常返回[],ocrText异常返回{'txt':'','cf':0} ,colorTotal返回0,compareImage返回0,这几个指令因为使用大于或者列表长度做判断,无论如何不会出现异常,所以不需要特殊处理。需要特殊处理的是getColor和getImage,因为这两条指令返回的是None,所以使用这两条指令的时候,要么加try-except或者做is not None判断。

 

 

扩展指令

用的相对比较少的指令

 

一:自定存储

1:setCustomStore(id,val):

以字典的形式保存到电脑磁盘中,可进行查询,设置,这个是可以永久保存的。不需要人为标识手机id,系统自动标识手机id。

参数:id: 类型为字符串,必须唯一。val值,可以为任何类型

示例:

2:getCustomStore(id)

参数:id,必须为setCustomStore设置过的,如果未设置过的,则返回None

示例:

 

二,写入统计

setStat(name,val) 无返回值,统计完成之后会自动在 运行状态/数据日志 中显示。

一般跟ocr识别联合使用。最多显示100条,如果超过100条,则删除最后一条,再加入最新一条。

参数:

1,name: 必填,类型字符串,val,必填,类型为任意非对象类型

示例:

 

 

三:打印日志

plog(text) 无返回值,也可以使用python自带的print(),如果使用print()函数,则在cmd控制台中显示plog则是在网页中显示。

参数:

1,text:必填,类型为可以转换为字符串的任意类型。

示例:

 

四,当前时间

currentTime()

这个功能用python自带的也可以,由于常用就写了一个函数。获取的是2025-01-22 15:01:34这种格式的字符串,时,分,秒

示例:

 

五,比较时间

compareTime(aTime,bTime) ,返回值是aTime-bTime,单位是秒,如果aTime比bTime比则返回负数

这个功能用python自带的也可以,由于常用就写了这样一个函数,比较两个时间的时间差(aTime-bTime),aTime和bTime要求都是2025-01-22 15:01:34这种格式的字符串

示例:

 

六:自由页与全局内存

这个除了棋牌游戏会用到,大型网游一般用不到。搞大型网游的可以不学这个。有的时候我们需要一个实时提供信息的界面,比如扑克牌的记牌器,这个界面为自由页,可以自由任意编写html css js代码

有了自由页,我们还需要 有一个跟python脚本通信的桥梁。

【scrcpy-rpa】在内存中开辟了一块0.1M的全局内存,在这块内存空间上,自由页和任何python脚本进程都可以进行读写,格式js为json,python为字典

1:web对全局内存读取

2:web对自全局内存写操作

3:python脚本对全局内存读取操作

4:python脚本对全局内存写操作,无返回值

 

5:自由如果没有favicon图标会在浏览器控制台报错,虽然报错,但不影响使用,但最好给加上。直接用框架自带的即可。

自由页逻辑部分建议使用原生js或者使用jquery,因为非常小,尽量不要使用那些复杂框架。

 

七:扩展库

 

1:opencv库展

这个基本用不到,如果遇到特殊情况,【scrcpy-rpa】提供的opencv图像识别无法满意您的需求,您可以自行导入opencv。

 

由于有些参数或者指令使用频率很低,在上面的视觉识别中没有写,实际上

 

1:moreFind的完整参数是moreFind(by,roi=None,cf=0.8,nms=None,screen=None)

多出nms=None,screen=None两个参数

screen 当为None的时候,代码函数内部自行截屏,当不为None的时候,使用参数提供的截屏。

nms,选填,去除重复,默认为None,这个一般使用默认即可,不需要学习。如遇到特殊情况可学习,专业术语叫做非极大值抑制,作用就是去除重复匹配,当为None使用的是,横向去除重复区域为:模板图像宽度除2,纵向去除重复区域为模板图像高度除2,除非有特殊情况可自行填写,单位为像素。

 

2:另外,fixed,oneFind,ocrText,getColor,getImage,都有screen=None参数,使用方法跟上面一样,位置也是在最后一个。只有colorTotal和compareImage没有screen=None参数。

 

2:其他扩展库

 

使用 python- m pip install 安装库

使用 import导入库即可

但不建议自行安装,因为能想到的库都已经提供了。

上面框架提供的接口使用的包已经全部导入了,所以写脚本的时候,不需要再import 导入。

使用其他python内置库,或者自己安装的库,则需要import导入。

 

八:获取self目录

selfDirectory为全局变量

 

 

进程通信

是主进程也子进程通信,主进程指的是中控,子进程指的是脚本进程。

一:监听停止

二:监听暂停

 

三:主动业务异常

 

四:工程配置

projectConfig(id)

返回值是用户在单选框或复选框或输入框输入的数据,作用是可根据用户的选择和输入去执行不同的程序。

需要自己定义json配置文件,可以自动生成ui界面,供用户输入。

参数:

1,id:项目id号 类型为字符串。

示例:

2:定义ui界面,需要自己编写json文件,系统会根据json文件自动生成ui界面,本地在self/project/config.json。

 

 

非指令常识

 

关于异常处理

没有必要的情况下,不要乱用的使用try excepy会增加程序的复杂度,除非以下两种情况

 

脚本的架构

所有脚本都是独立的,不要试图import 自己写的脚本。但有一个例外就是share.py,share.py是工程中所有脚本共用的,这样理解即可,当one.py执行的时候,执行前框架会把share.py的代码复制到one.py的前面,同理two.py执行的时候也会把share.py的代码复制到two.py的前面。

 

 

更新

(1):每次更新要清理浏览器缓存,浏览器缓存默认保留30天, 否则后端更新前端没有更新会出现程序错误。

(2):如果框架里面没有自己重要的东西,直接删除,再下载就可以,这种方式最简单

(3):如果框架里面有自己重要的数据,则将evn/libs/app.db文件复制到新下载的【scrcpy-rpa】中相同位置即可。

 

本地投屏快捷键

与scrcpy原生是一样的没有做任何改动,下面这段文字也是在scrcpy官网中复制的。

MOD在windows上面是ALT键

常用:

Home键 ALT+H

Back键 ALT+B

SWITCH键 ALT+S

电源键 ALT+P

安装或者复制文件,直接拖动到窗口即可

详细快捷键

https://github.com/Genymobile/scrcpy/blob/master/doc/shortcuts.md

 

样本提取工具

生成的数据,只需要单击即可以复制,不需要选择再鼠标右键复制。

 

python编程工具

ctrl+s是保存,ctrl+d是删除一行。ctrl+f是查找,ctrl+h是替换,ctrl+z是撤销,ctrl+/是注释和取消注释。

工程文件,需要手动在,self/project目录下创建,创建完成后,单点左上角工程文件这四个字,即可以刷新看到。

 

cmd控制台

(1):启动.bay运行的时候,默认关闭了QuickEdit (鼠标点击选择文本),因为当不小心鼠标触碰一下cmd控制台,cmd控制台会进入标记模式,进入标记模式print会阻塞,导致程序卡死。

(2):尽量不要手动选择莱单 编辑-标记或者快捷键ctrl+m,这样依然会进入标记模式,导致print阻塞,程序卡死。如果非要使用,使用完了,一定要关闭,否则当程序print的时候程序会卡死。