最近沉迷于机器学习打游戏，发现py没有比较方便的抓图抓色识字的函数成为输入模型参数的x手脚，发现触动精灵这个比较好用当作action(其他自动化项目有点阴间)。可惜是lua写的，对于机器学习固定py来说调试并不友善，所以我就研究了这个。目前暂时没加机器学习模块，因为机器学习环境麻烦我暂时去掉了，改天有空在update，圣诞了祝大家快乐。
pyAutomated
项目设计目的是在windows系统上模拟键鼠点击安卓虚拟机(我使用夜神模拟器6.6.1.2)实现自动化.
此代码重新实现了触动精灵核心功能,分别是找色函数findMultiColorInRegionFuzzy与识字函数Ocrtext,可以和官网上的找色工具与识字工具配合开发
两个函数的关键使用与触动精灵差别不大，如果你有什么更好的想法或者问题，请联系我的邮箱ljl260435988@gmail.com
运行环境:
python运行环境：
conda安装tesserocr:
识字函数比较喜欢基于采用tesseract-ocr来进行识字需要安装conda以及其环境tesserocr,(采用conda安装的tesserocr自带tesseract-ocr环境)并把chi_sim.traineddata模型包放入tessdata文件夹中(此文件夹是程序tesseract字库的路径)
C:\Users(用户名)\.conda\envs\(你的环境名)\Library\bin\tessdata
复制成功后以管理员cmd启动验证方式
使用说明
首先初始化对象并获取窗口句柄
接下来可以使用部分功能了，还有很多其他方式的实现就不一一说明
识字函数(可以和触动精灵字库使用):
tesseract版本识字效果识别图片只有一行字的效果比较理想
识字函数1(tesseract版):
识字函数2(tesseract版,查找关键字并返回坐标):
找色函数(可以和触动精灵官网的找色工具配合):
模拟虚拟机鼠标点击:
已知问题:
1.findMultiColorInRegionFuzzy 参数2不能为空字符串 "" ,也就是说找色必须要有两个点以上才行,待优化
最后于 2020-12-23 04:39
