批量截图任务
作为一个软件工程师,不只是做好自己的本职工作(iOS),而是需要解决项目中的技术问题。这次就是解决自动截图的问题
早期公司的数据工程师利用 phantomjs 来截图,后期不断发现截图效率低,加之开发者团队不再维护,因此决定将截图这部分跟你剥离开来,以后方便开发维护。我就承担了这个工作
puppeteer
Puppeteer is a Node library which provides a high-level API to control Chrome or Chromium over the DevTools Protocol. Puppeteer runs headless by default, but can be configured to run full (non-headless) Chrome or Chromium.
安装问题
一开始按照往常的套路(npm install --save puppeteer
) 好几次都卡住了,后期查找资料发现切换到国内的镜像就可以顺利下载
PUPPETEER_DOWNLOAD_HOST=https://storage.googleapis.com.cnpmjs.org npm i --save puppeteer
- To use Puppeteer in your project, run:
PUPPETEER_DOWNLOAD_HOST=https://storage.googleapis.com.cnpmjs.org npm i --save puppeteer
- Install some basic packages
npm install
Usage
const puppeteer = require('puppeteer'), fs = require('fs'), path = require('path'), request = require('request') function mkdirsSync(dirname) { if (fs.existsSync(dirname)) { return true } else { if (mkdirsSync(path.dirname(dirname))) { fs.mkdirSync(dirname) return true } } } var snapShotFolerPath = path.join(__dirname, '../snspshot/') mkdirsSync(snapShotFolerPath) function snapShot (taskInfo) { return new Promise(function (resolve, reject) { (async function(){ // 启动Chromium const browser = await puppeteer.launch({ignoreHTTPSErrors: true, headless:true, args: ['--no-sandbox']}) // 打开新页面 const page = await browser.newPage() // 设置页面分辨率 await page.setViewport({width: 1920, height: 1080}) // 访问 await page.goto(taskInfo.websiteUrl, {waitUntil: 'domcontentloaded'}).catch(err => console.log(err)) await page.waitFor(1000) try { // 截图 await page.screenshot({path: snapShotFolerPath + taskInfo.imageName, fullPage:true}).catch(err => { console.log('截图失败: ' + err) }); await page.waitFor(6000) } catch (e) { console.log('failed ' + e) } finally { await browser.close() fs.stat(snapShotFolerPath + taskInfo.imageName, function(err,stats){ if (err) { reject('fail') } else { if (stats.isFile()) { resolve('success') } } }) } })() }) } module.exports = snapShot
如何安装 (Linux 、Unix 操作系统)
如果你有翻墙环境
- 执行 npm install
- 执行 npm start
如果你没有翻墙环境
- 打开 package.json 文件,检查 dependencies 项目,如果 key 为 puppeteer 的条目,先删除该条目。
- 进入工程命令行,输入 PUPPETEER_DOWNLOAD_HOST=https://storage.googleapis.co... npm i --save puppeteer
- 执行 npm install 命令
- 执行 npm start
流程说明
while 循环去调用接口去获取当前的截图任务
- 在有截图任务情况下继续截图
- 没有截任务的情况下,为了避免浪费资源,程序休眠10分钟后继续下一次的获取截图任务
- 如果遇到调用截图任务接口500错误,则强制停止截图任务,相应的服务端工程师去查询失败原因
如果有截图任务那么就去截图
- 截图后将截图图片保存到文件夹,命令为当前日期 yyyy-MM-dd-hh-mm-ss-S 格式。然后将结果上传到服务端
- 截图失败将当前任务结果保存到本地 failedTasks.json 文件夹一份,然后上传到服务端
截图成功不管失败还是成功都去通知服务端。如果失败将当前任务告诉服务端,如果成功将当前任务信息和截图成功的绝对路径告诉服务端
一些说明
Demo 中执行 npm start 真正执行的是 quickStart.js 中的代码。完整的“获取截图任务、截图、截图上传到OSS、失败则将失败任务上传到服务”逻辑在 index.js 文件中
- 工程是在没有提供真正的接口获取任务,而是采用随机数获取截图任务
- 截图成功后将结果上传到OSS这一个步骤是没有的,采用 log 出来
- 失败的上传也是不存在的,log 打印而已
todoList
- 多线程高效率的去截图
- 一些写法暂时比较粗糙,不优雅,待改进
- puppeteer 很强大,大家可以去研究下
代码地址 (本地下载)
总结
以上就是这篇文章的全部内容了,希望本文的内容对大家的学习或者工作具有一定的参考学习价值,如果有疑问大家可以留言交流,谢谢大家对的支持。
《魔兽世界》大逃杀!60人新游玩模式《强袭风暴》3月21日上线
暴雪近日发布了《魔兽世界》10.2.6 更新内容,新游玩模式《强袭风暴》即将于3月21 日在亚服上线,届时玩家将前往阿拉希高地展开一场 60 人大逃杀对战。
艾泽拉斯的冒险者已经征服了艾泽拉斯的大地及遥远的彼岸。他们在对抗世界上最致命的敌人时展现出过人的手腕,并且成功阻止终结宇宙等级的威胁。当他们在为即将于《魔兽世界》资料片《地心之战》中来袭的萨拉塔斯势力做战斗准备时,他们还需要在熟悉的阿拉希高地面对一个全新的敌人──那就是彼此。在《巨龙崛起》10.2.6 更新的《强袭风暴》中,玩家将会进入一个全新的海盗主题大逃杀式限时活动,其中包含极高的风险和史诗级的奖励。
《强袭风暴》不是普通的战场,作为一个独立于主游戏之外的活动,玩家可以用大逃杀的风格来体验《魔兽世界》,不分职业、不分装备(除了你在赛局中捡到的),光是技巧和战略的强弱之分就能决定出谁才是能坚持到最后的赢家。本次活动将会开放单人和双人模式,玩家在加入海盗主题的预赛大厅区域前,可以从强袭风暴角色画面新增好友。游玩游戏将可以累计名望轨迹,《巨龙崛起》和《魔兽世界:巫妖王之怒 经典版》的玩家都可以获得奖励。
更新日志
- 群星《继续微笑致敬许冠杰》[低速原抓WAV+CUE]
- 潘秀琼.2003-国语难忘金曲珍藏集【皇星全音】【WAV+CUE】
- 林东松.1997-2039玫瑰事件【宝丽金】【WAV+CUE】
- 谭咏麟.2022-倾·听【环球】【WAV+CUE】
- 4complete《丛生》[320K/MP3][85.26MB]
- 4complete《丛生》[FLAC/分轨][218.01MB]
- 羽泉《给未来的你&天黑天亮》[WAV+CUE][968M]
- 庄心妍《我也许在等候》[低速原抓WAV+CUE]
- 王雅洁《小调歌后2》[原抓WAV+CUE]
- 中国武警男声合唱团《辉煌之声1天路》[DTS-WAV分轨]
- 紫薇《旧曲新韵》[320K/MP3][175.29MB]
- 紫薇《旧曲新韵》[FLAC/分轨][550.18MB]
- 周深《反深代词》[先听版][320K/MP3][72.71MB]
- 李佳薇.2024-会发光的【黑籁音乐】【FLAC分轨】
- 后弦.2012-很有爱【天浩盛世】【WAV+CUE】