模拟人工操作的指令
touch(xy,action=1,pressure=0,finger=1) 无返回值
参数:
1,xy:此为必填参数,代表坐标,类型为一个列表,左为横坐标,右为纵坐标
示例:
x
touch([973,1069])2,action 动作, 0代表滑动,1代表按下,2代表抬起
xxxxxxxxxx#按下touch([973,1069],action=1)#滑动touch([666,666],action=0)#抬起touch([666,666],action=2)3,pressure 压力,取值范围0-1
xxxxxxxxxx#这个压力值可以使用蓝叠模拟器测试出来#按下touch([973,1069],action=1,pressure=0.5)#滑动touch([666,666],action=0,pressure=0.8)#抬起touch([666,666],action=2,pressure=0)4,finger 手指编号,1-10分别代表10个手指
x
#模拟一个简单双手捏合操作touch([68,402],action=1,pressure=0,finger=1)touch([62,798],action=1,pressure=0,finger=2)rest(0.5)touch([66,594],action=0,pressure=0,finger=1)touch([65,625],action=0,pressure=0,finger=2)rest(0.5)touch([66,594],action=2,pressure=0,finger=1)touch([65,625],action=2,pressure=0,finger=2)注意事项:touch和touch之间应该至少要休息1毫秒,0.001秒,这样即能模拟真人,还能保证不会因为发送太快,手机处理不过来出现丢包现象。
rest(duration) 无返回值
这个用python自带的time.sleep也可以,rest内部就是使用的time.sleep,因为这个非常常用,用python自带的还得导包,多写一行代码,所以【scrcpy-rpa】提供了这个函数。
参数:
1,duration:必填,代表休息多长时间,单位为秒,类型为数值,可以是整数也可以是浮点数
示例:
xxxxxxxxxx#休息5秒rest(5)#休息0.5秒rest(0.5)#休息0.01秒rest(0.01)
click(xy) 无返回值
1,xy:此为必填参数,代表坐标,类型为一个列表,左为横坐标,右为纵坐标
示例:
xxxxxxxxxxclick([973,1069])click内部是通过touch实现的,源码如下,如果您不想用我的源码,也可以自己写,或者对我写的源码再改动一下
x
def click(xyList): # 1. 坐标轻微随机(真人落点偏移) realX = xyList[0] + random.randint(-3, 3) realY = xyList[1] + random.randint(-3, 3) # 2. 压力随机(0.01 ~ 0.9) press = random.randint(1, 90)/100 # 3. 按下 touch([realX, realY], 1, press, 1) # 4. 微小抖动(防风控核心) rest(random.randint(8, 25) / 1000) # 转成秒 #方向随机 direX = random.randint(-1, 1) direY = random.randint(-1, 1) for _ in range(random.randint(1, 5)): press = press + random.randint(1, 10)/100 realX = realX+direX realY = realY+direY touch([realX, realY], 0, press, 1) rest(random.randint(1, 18) / 1000) # 6. 抬起,压力为0 touch([realX, realY], 2, 0, 1)注意事项,我只写了click,滑动没有写,因为click可以通用,所以写了,而滑动没有办法通用,所以没写,这个只能根据实际情况脚本作者自己自己编写了。
参数:keyCode,类型字符串, 代表按下设备某个键。
示例
x
#按下home键pressKey('HOME')# 按下back键pressKey('BACK')# 按下app_switch键pressKey('SWITCH')# 按下电源键pressKey('POWER')# 按下声音增大键pressKey('V_UP')# 按下声音减小键pressKey('V_DOWN')#按下回车键pressKey('KEYCODE_ENTER')#用回车键的时候,即使按下了用户界面不一定起作用,这是因为用户app界面设计的时候控件未必监听回车键,如果监听了按下回车键起作用,如果没有监听按下回车键无效。
appManage(package,action='open') 无返回值
参数:
1,package:必填,填写app的包名路径,类型为字符串,如果不知道具体app的包名路径,可在 设备管理/设置查询下查询。
2,action:必填,默认为open,可以为close,install,uninstall
示例:
x#打开抖音appManage('com.ss.android.ugc.aweme','open')#关闭抖音appManage('com.ss.android.ugc.aweme','close')#安装抖音,注意安装要填写windows下的路径appManage('d:/douyin.apk','install')#卸载抖音appManage('com.ss.android.ugc.aweme','uninstall')
注意:如果app使用了双开,则无法打开和关闭。
typing(text) 无返回值
参数:
1,text:必填,类型为字符串,
示例:
x
typing('hello')typing('你好')注意事项,一次输入汉字最多333个字符,英文一次最多可以输入1000个字符,如果超过了会自动删除后面多余的。如果是汉字和英文组合一次可输入的个数是333-1000个字符。
使用的opencv+rapadOcr库
fixed(by)
像素级别的匹配,固定坐标的固定像素之间的匹配
返回值为置信度,范围是0-1
参数:
1,by:必填,图像对象或颜色列表
示例:
#图像对象,图像路径中包含了坐标信息,(各种图像坐标颜色等信息都会有工具生成)。byImg = loadImage('dingjidong/5l9f662-1894-749-1948')if fixed(byImg)>0.8: print('存在')else: print('不存在')#颜色坐标集合,这些数据会有图色工具识取,集合中前面的一维列表[680,1379]代表坐标,后面的[252,93,147]代表rgb颜色byColor = [[[680,1379],[252,93,147]],[[783,1433],[240,254,250]],[[700,1484],[255,93,144]],[[743,1409],[237,94,135]]]if fixed(byColor)>0.8: print('存在')else: print('不存在') #使用颜色坐标集合时,即使只有一个也要使用集合,比如[[[680,1379],[252,93,147]]]正确,[[680,1379],[252,93,147]]错误
注意:fixed指令用的图像,必须是样本工具生成的名称,类似这种5l9f662-1894-749-1948',不能自己定义名称。
一:oneFind(by,roi=None) 查找一个目标
返回值为一个字典{'xy':[700,800],'cf':0.99} ,xy代表匹配项的中心点坐标,cf代表置信度。
参数:
1,by:必填,与fixed是一样的
xxxxxxxxxx#全屏扫描查找图像,此图像路径虽然包含坐标信息,但实际并不起作用,可任意自定名称,这是跟fixedMatch的区别byImg = loadImage('dingjidong/5l9f662-1894-749-1948')aa = oneFind(byImg)if aa['cf']>0.8: click(aa['xy'])#全屏扫描查找颜色,程序内部通过掩码的方式,将aa组成一张图像,没有坐标的部分用掩码填充aa = [[[680,1379],[252,93,147]],[[783,1433],[240,254,250]],[[700,1484],[255,93,144]],[[743,1409],[237,94,135]]]sf = oneFind(aa)print(sf)2:roi,选填,区域,默认为None,代表全屏查询,类型为矩形坐标二维列表,前一个是左上角坐标,后一个是右下角坐标,代表只在本区域内查找。
示例:
xxxxxxxxxx#只在[[593,1129],[817,1306]]这个区域查找 ,前两个代表左上角坐标,后两个右下角坐标#扫描查找可以使用自己命名的图像名称,比如这个是22byImg = loadImage('dingjidong/22')aa = oneFind(byImg,roi=[[593,1129],[817,1306]])if aa['cf']>0.88: click(aa['xy'])
二:moreFind(by,roi=Nonecf=0.8) 查找多个目标
返回值为字典列表[{'xy':[700,800],'cf':0.89} ,{'xy':[700,800],'cf':0.89}]。
前二个参数by,roi与oneFind是一样的。
3:cf,选填,置信度,默认为0.8,代表只查询置信度大于0.8的匹配项。
xxxxxxxxxx#查找所有置信度大于0.9的匹配项by = loadImage('dingjidong/s5qj1650-775-1703-847')aa = moreFind(by,roi=None,cf=0.9)plog(aa)
注意事项:这个扫描查找,使用颜色匹配最少要选择4个,否则会出现误判。图像的名称可以使用样本工具生成的,也可以使用自己任意定义的。
ocrText(roi):
只识别中文,英文,数字,标点符号,如果识别其他语言请用图色来替代,在实际使用中一般只用于识别数字,识别其他尽量不要用,因为比较耗资源。
如果是群控使用情况下,比如一台电脑控制几十台手机,使用频率不要太高,至少要间隔2秒钟。
返回值为一个一个字典{'txt': '99877', 'cf': 0.99},共两个值,txt为识别的字符,cf为置信度。
参数:
1,roi:必填,类型矩形坐标的数组,第一个是图像左上角坐标,第二个是图像右下角坐标。
示例:
xxxxxxxxxx#只能识别一行,如果识别多行,就多次识别,这样是为了简单,如果一次多行识别,还得写数据提取算法,增加了复杂度aa = ocrText([[693,599],[841,670]])plog(aa)
动画处理比较复杂,但实际当中用的比较少,但由于scrcpy-rpa是固定分辨和和DPI,这样处理起来相对比较简单。
共四条指令,再结合程序逻辑或者时序逻辑,分别控制这四条指令,即可完成判断。
1:getColor(xy)
根据坐标获取rgb颜色值,返回的是rgb列表。
示例:
xxxxxxxxxxaa = getColor([216,497])plog(aa)#返回[50, 52, 35]2:getImage(roi)
根据roi获取局部图像
示例:
xxxxxxxxxximport cv2img = getImage([[184,467],[259,539]])cv2.imshow('this is my images', img)cv2.waitKey(0)#停止按任意键继续3:compareImage(img1,img2)
比较两张图像的相似度,返回值为0-1
示例:
xxxxxxxxxx#注意,两张图像大小必须一样,否则会报错img1 = getImage([[184,467],[259,539]])rest(1)img2 = getImage([[184,467],[259,539]])cf = compareImage(img1,img2)plog(cf)4:colorTotal(color,image,err=[10,10,10])
判断某种颜色在某张图像中存在的个数
color是颜色,image是图像,err是颜色可允许波动的公差
示例:
xxxxxxxxxxcolor = [22,118,254]image = getImage([[36,358],[86,409]])aa = colorTotal(color,image,err=[10,10,10])plog(aa)
视觉识别注意事项,当横竖屏切换的时候,给的坐标或者roi可能不存在,如果不存在,上面的几个指令都会执行异常返回,fixed异常返回0,oneFine异常返回{'xy':[-1,-1],'cf':0},moreFind异常返回[],ocrText异常返回{'txt':'','cf':0} ,colorTotal返回0,compareImage返回0,这几个指令因为使用大于或者列表长度做判断,无论如何不会出现异常,所以不需要特殊处理。需要特殊处理的是getColor和getImage,因为这两条指令返回的是None,所以使用这两条指令的时候,要么加try-except或者做is not None判断。
用的相对比较少的指令
1:setCustomStore(id,val):
以字典的形式保存到电脑磁盘中,可进行查询,设置,这个是可以永久保存的。不需要人为标识手机id,系统自动标识手机id。
参数:id: 类型为字符串,必须唯一。val值,可以为任何类型
示例:
x
#将id为a1的项目设置值为100setCustomStore('a1',100)#bool类型setCustomStore('a1',True)#字符串类型setCustomStore('a1','qqqqq')2:getCustomStore(id)
参数:id,必须为setCustomStore设置过的,如果未设置过的,则返回None
示例:
xxxxxxxxxx#获取id为a1的值a1 = getCustomStore('a1')print(a1)
setStat(name,val) 无返回值,统计完成之后会自动在 运行状态/数据日志 中显示。
一般跟ocr识别联合使用。最多显示100条,如果超过100条,则删除最后一条,再加入最新一条。
参数:
1,name: 必填,类型字符串,val,必填,类型为任意非对象类型
示例:
xxxxxxxxxx#设置金币和钻石各100,系统会自动加上当前时间setStat('金币',100)setStat('钻石',200)
plog(text) 无返回值,也可以使用python自带的print(),如果使用print()函数,则在cmd控制台中显示plog则是在网页中显示。
参数:
1,text:必填,类型为可以转换为字符串的任意类型。
示例:
xxxxxxxxxx#在代码编辑器中,在右侧运行日志中显示,在控制总台运行,则在统计日志下的日志中显示。plog('hello')plog(23.6)plog(True)
currentTime()
这个功能用python自带的也可以,由于常用就写了一个函数。获取的是2025-01-22 15:01:34这种格式的字符串,时,分,秒
示例:
#最终打印出2025-01-22 15:01:34aa = currentTime()plog(aa)
compareTime(aTime,bTime) ,返回值是aTime-bTime,单位是秒,如果aTime比bTime比则返回负数
这个功能用python自带的也可以,由于常用就写了这样一个函数,比较两个时间的时间差(aTime-bTime),aTime和bTime要求都是2025-01-22 15:01:34这种格式的字符串
示例:
xxxxxxxxxxaa = currentTime()bb = '2025-01-22 10:01:12'cc = compareTime(aa,bb)plog(cc)
这个除了棋牌游戏会用到,大型网游一般用不到。搞大型网游的可以不学这个。有的时候我们需要一个实时提供信息的界面,比如扑克牌的记牌器,这个界面为自由页,可以自由任意编写html css js代码
有了自由页,我们还需要 有一个跟python脚本通信的桥梁。
【scrcpy-rpa】在内存中开辟了一块0.1M的全局内存,在这块内存空间上,自由页和任何python脚本进程都可以进行读写,格式js为json,python为字典
1:web对全局内存读取
xxxxxxxxxx//读取使用get请求 如果全局内存没有任何数据则返回空{}const freeUrl = window.location.origin+ "/freeJson";async function getFreeJson() { const response = await fetch(freeUrl); const data = await response.json(); console.log('返回数据:', data); //这里做页面渲染的工作 }2:web对自全局内存写操作
xxxxxxxxxx//写操作使用post请求,成功返回yes,失败返回noasync function setFreeJson(data) { const response = await fetch(freeUrl, { method: 'POST', // 指定请求方法为 POST headers: { 'Content-Type': 'application/json', // 告诉服务器请求体是 JSON 格式 }, body: JSON.stringify(data) // 将数据转为 JSON 字符串 }); console.log(await response.text()) //打印返回数据 }3:python脚本对全局内存读取操作
xxxxxxxxxx#如果全局内存没有任何数据则返回空字典{}aa = getFreeJson()print(aa)4:python脚本对全局内存写操作,无返回值
xxxxxxxxxxmyDict = {"cc":11,"dd":22}setFreeJson(myDict)
5:自由如果没有favicon图标会在浏览器控制台报错,虽然报错,但不影响使用,但最好给加上。直接用框架自带的即可。
自由页逻辑部分建议使用原生js或者使用jquery,因为非常小,尽量不要使用那些复杂框架。
xxxxxxxxxx<link rel="icon" href="/static/images/favicon.png" type="image/png"><!-- 如使用jquery可如下导入--><script src="/static/lib/jquery/jquery.min.js"></script>
1:opencv库展
这个基本用不到,如果遇到特殊情况,【scrcpy-rpa】提供的opencv图像识别无法满意您的需求,您可以自行导入opencv。
xxxxxxxxxx#导入opencvimport numpy as npimport cv2#获取设备截屏img = getScreen()#有了opencv和截屏您就可以自行处特殊需求了#或者从磁盘中获取一张图像做实验img = cv2.imread("E:/demo.png")#比如在桌面显示图像cv2.imshow('this is my images', img)cv2.waitKey(0)#获取图像高度宽度等,h为高度,w为宽度,c为通道数量img = getScreen()h,w,c = img.shape
由于有些参数或者指令使用频率很低,在上面的视觉识别中没有写,实际上
1:moreFind的完整参数是moreFind(by,roi=None,cf=0.8,nms=None,screen=None)
多出nms=None,screen=None两个参数
screen 当为None的时候,代码函数内部自行截屏,当不为None的时候,使用参数提供的截屏。
nms,选填,去除重复,默认为None,这个一般使用默认即可,不需要学习。如遇到特殊情况可学习,专业术语叫做非极大值抑制,作用就是去除重复匹配,当为None使用的是,横向去除重复区域为:模板图像宽度除2,纵向去除重复区域为模板图像高度除2,除非有特殊情况可自行填写,单位为像素。
xxxxxxxxxx#背景:因为在扫描查找过程当中存在匹配位置有多个匹配,这些多个匹配只有一个是有效的,所以需要去除无效的匹配#查找所有置信度大于0.8的匹配项,去除重复横向为10像素,纵向去除重复区域为20像素by = loadImage('dingjidong/s5qj1650-775-1703-847')img = getScreen()aa = moreFind(by,roi=None,cf=0.8,nms=(10,20),screen=img)plog(aa)
2:另外,fixed,oneFind,ocrText,getColor,getImage,都有screen=None参数,使用方法跟上面一样,位置也是在最后一个。只有colorTotal和compareImage没有screen=None参数。
2:其他扩展库
使用 python- m pip install 安装库
使用 import导入库即可
但不建议自行安装,因为能想到的库都已经提供了。
上面框架提供的接口使用的包已经全部导入了,所以写脚本的时候,不需要再import 导入。
使用其他python内置库,或者自己安装的库,则需要import导入。
selfDirectory为全局变量
xxxxxxxxxx#打印self目录的路径,有的时候可能会使用到自己定义的json文件,这个json文件要优先放在self目录下。这时候我们就需要获取这个目录#使用selfDirectory即可print(selfDirectory)
是主进程也子进程通信,主进程指的是中控,子进程指的是脚本进程。
x
#监听用户点击停止的通用写法,一般这个if放在永久循环里面,使用的时候直接复制即可。
if processMsg.value==30: processMsg.value = 1 sys.exit(0)#这些状态了解即可,大部分都是框架自动控制的,除了停止,暂停继续需要脚本手写,还有5业务异常也需要自己手写#None 空#0:初始化#1:结束:停止#2:结束:强关#3:结束:执行完成#4:结束:程序异常#5:结束:业务异常#10:运行中#11:请求运行#20:暂停#21:请求暂停#30:请求停止#40:请求强关#注意,写sys.exit(0)是想退出进程,但实际上sys.exit()是抛出SystemExit异常,如果程序没有捕获此异常,则抛出python解释器,然后优雅退出进程,如果捕获了,则执行捕获的程序不会退出进程,所以说如果您程序捕获了SystemExit或者更大范围的BaseException以及裸except,则需要在捕获代码里面继续sys.exit(0)才可退出进程。#x
#监听用户点击暂停和继续的通用写法,一般这个if放在永久循环里面,使用的时候直接复制即可。if processMsg.value==21: processMsg.value = 20 while True: if processMsg.value==11: processMsg.value = 10 break if processMsg.value==30: processMsg.value = 1 sys.exit(0) rest(1)
x
#当发现游戏界面已经变化,脚本无法使用的时候,可主动结束进程,并通知用户。processMsg.value = 5plog('游戏界面已更新,脚本无法继续使用,等待更新脚本再使用')sys.exit(0)
projectConfig(id)
返回值是用户在单选框或复选框或输入框输入的数据,作用是可根据用户的选择和输入去执行不同的程序。
需要自己定义json配置文件,可以自动生成ui界面,供用户输入。
参数:
1,id:项目id号 类型为字符串。
示例:
x
#一共五种,单选框,复选框,文本框,数值框,时间框#获取单选框 ,返回类型为数值,用户选择单选框组的第几个aa = projectConfig('aa')plog(aa)#获取复选框,返回类型为一个列表,列表中1代表选中,0代表没选中bb = projectConfig('bb')plog(bb)#获取文本框的值,返回类型是一个列表,cc = projectConfig('cc')plog(cc)#获取数值框的值,返回类型也是一个列表,数值框只能是数值dd = projectConfig('dd')plog(dd)#获取时间框的值,返回类型也是一个列表ee = projectConfig('ee')plog(ee)2:定义ui界面,需要自己编写json文件,系统会根据json文件自动生成ui界面,本地在self/project/config.json。
xxxxxxxxxx{ "aa": { "name": "单选框", "type":"radio", "lab": ["单1", "单2", "单3"], "val": 0 },
"bb":{ "name":"复选框", "type":"checkbox", "lab":["复1","复2","复3"], "val":[0,1,0] }, "cc":{ "name":"文本框", "type":"text", "lab":["文本1","文本2"], "val":["aa","bb"] }, "dd":{ "name":"数值框", "type":"number", "lab":["数值1","数值2"], "val":[23,55] }, "ee":{ "name":"时间框", "type":"time", "lab":["开始","结束"], "val":["",""] }}//注意这个时间框,一般默认都是空字符串,如果给默认值的话,需要这种格式:2026-09-08T14:30,这是html5的标准格式//而当projectConfig('ee')获取这个时间时,得到的格式是:2026-09-08 14:30:00,这种格式在python中可直接使用。
没有必要的情况下,不要乱用的使用try excepy会增加程序的复杂度,除非以下两种情况
x
#1:异常必须解决,否则程序无法使用,这时使用raisetry: #代码except Exception as e: raise Exception('直接抛给框架,由框架来处理,框架会优雅退出进程,并给出错误信息')#2:异常属于正常逻辑,这里不要使用raise,要写自己的正常逻辑
所有脚本都是独立的,不要试图import 自己写的脚本。但有一个例外就是share.py,share.py是工程中所有脚本共用的,这样理解即可,当one.py执行的时候,执行前框架会把share.py的代码复制到one.py的前面,同理two.py执行的时候也会把share.py的代码复制到two.py的前面。
(1):每次更新要清理浏览器缓存,浏览器缓存默认保留30天, 否则后端更新前端没有更新会出现程序错误。
(2):如果框架里面没有自己重要的东西,直接删除,再下载就可以,这种方式最简单
(3):如果框架里面有自己重要的数据,则将evn/libs/app.db文件复制到新下载的【scrcpy-rpa】中相同位置即可。
与scrcpy原生是一样的没有做任何改动,下面这段文字也是在scrcpy官网中复制的。
MOD在windows上面是ALT键
常用:
Home键 ALT+H
Back键 ALT+B
SWITCH键 ALT+S
电源键 ALT+P
安装或者复制文件,直接拖动到窗口即可
详细快捷键
https://github.com/Genymobile/scrcpy/blob/master/doc/shortcuts.md
生成的数据,只需要单击即可以复制,不需要选择再鼠标右键复制。
ctrl+s是保存,ctrl+d是删除一行。ctrl+f是查找,ctrl+h是替换,ctrl+z是撤销,ctrl+/是注释和取消注释。
工程文件,需要手动在,self/project目录下创建,创建完成后,单点左上角工程文件这四个字,即可以刷新看到。
(1):启动.bay运行的时候,默认关闭了QuickEdit (鼠标点击选择文本),因为当不小心鼠标触碰一下cmd控制台,cmd控制台会进入标记模式,进入标记模式print会阻塞,导致程序卡死。
(2):尽量不要手动选择莱单 编辑-标记或者快捷键ctrl+m,这样依然会进入标记模式,导致print阻塞,程序卡死。如果非要使用,使用完了,一定要关闭,否则当程序print的时候程序会卡死。