用Python在工作中“偷懒”

发布于 2019-11-14 00:16:43 8430 举报 文章被收录于专栏:数据森麟

作者:吴小鹏

来源:数据札记馆

偷懒还能干完活,才是本事。

帅张发了一篇《工作要学会偷懒》,深感赞同。

有些事情既然定期都要处理,就没有更好的处理方式?能自动化么? 工作要学会偷懒,尤其对于一些大量重复的工作,第一感觉就要想到如何偷懒。 怎么偷懒呢? 做一点简单的编程工作就可以了。 我总结了一些在工作中非常常见的例子,将源码整理好供参考。 这类工作大部分是重复性工作,但占据了你比较多的时间,有时候用蛮力做的事情,可以有更省时省力的办法。 作为一名优秀的社会主义接班人,肯定都会有将工作任务自动化的意识,于是我去了解了一下身边不同岗位(HR、产品、运营、市场、数据分析师等)每天需要面对的重复性劳动(肯定会有不全,各位大佬不要喷我~) 今天我来分享一下在工作是实际会遇到的情况,其实我们不用吭哧吭哧地埋头干表格,也不用拼死平活地理数据,更不用机械式地点击各个启动和确认按钮,掌握一些自动化程序会让你的工作更加高效。

那么如何将这些统统实现呢?

我将这些分为以下几类,大家可以自行评估,各取所需:

数据管理eg - 图1

如果你喜欢的话,点个在看让更多的人看到~

系统录入自动化

由于你经常需要不断的将一些信息录入系统,每一次录入的过程中你可能需要不断的点击一些按钮,面对这种情况,完全可以写一个自动脚本,每次代替你来执行这些点击的行为。

数据管理eg - 图2

这里我们需要用到splinter:

代码语言:javascript

复制

  1. pip install splinter
这里写了一个自动登录邮箱的脚本,可以实现文本输入和网页点击:

代码语言:javascript

复制

  1. #coding=utf-8
  2. import time
  3. from splinter import Browser
  4. def splinter(url):
  5. browser = Browser()
  6. #login 126 email websize
  7. browser.visit(url)
  8. #wait web element loading
  9. time.sleep(5)
  10. #fill in account and password
  11. browser.find_by_id('idInput').fill('xxxxxx')
  12. browser.find_by_id('pwdInput').fill('xxxxx')
  13. #click the button of login
  14. browser.find_by_id('loginBtn').click()
  15. time.sleep(8)
  16. #close the window of brower
  17. browser.quit()
  18. if __name__ == '__main__':
  19. websize = 'https://mail.163.com/'
  20. splinter(websize)
同理可以写一个简单的游戏挂机脚本,游戏挂机脚本,无非就是自动移动鼠标,自动点击,进行重复操作,所以,第一步就是如何控制鼠标。

代码语言:javascript

复制

  1. import win32api
  2. import time
  3. def move_click(x, y, t=0): # 移动鼠标并点击左键
  4. win32api.SetCursorPos((x, y)) # 设置鼠标位置(x, y)
  5. win32api.mouse_event(win32con.MOUSEEVENTF_LEFTDOWN |
  6. win32con.MOUSEEVENTF_LEFTUP, x, y, 0, 0) # 点击鼠标左键
  7. if t == 0:
  8. time.sleep(random.random()*2+1) # sleep一下
  9. else:
  10. time.sleep(t)
  11. return 0
  12. # 测试
  13. move_click(30, 30)
  14. def resolution(): # 获取屏幕分辨率
  15. return win32api.GetSystemMetrics(0), win32api.GetSystemMetrics(1)
值得注意的是,一定要在管理员权限下的cmd中运行,否则点击无效。 这个时候,你已经可以写个循环,不停地点击屏幕上不同的几个点,最基础的挂机脚本就实现了。 不是在犯罪的道路上越走越远,就是在成长的道路上越走越远 更高级的游戏外挂:

https://github.com/JamesRaynor67/jump

Excel自动化处理

Excel合并

在实际应用中可能会有不同月份的数据或者不同周的报告等等的Excel数据,都是单个独立的文件,如果想要整体使用的话就需要合并一下,那么如何利用python把指定目录下的所有Excel数据合并成一个文件呢?

数据管理eg - 图3

思路:利用python xlrd包读取excle文件,然后将文件内容存入一个列表中,再利用xlsxwriter将内容写入到一个新的excel文件中。

代码语言:javascript

复制

  1. # -*- coding: utf-8 -*-
  2. #将多个Excel文件合并成一个
  3. import xlrd
  4. import xlsxwriter
  5. #获取excel中所有的sheet
  6. def getsheet(fh):
  7. return fh.sheets()
  8. #获取sheet表的行数
  9. def getnrows(fh,sheet):
  10. table=fh.sheets()[sheet]
  11. return table.nrows
  12. #读取文件内容并返回行内容
  13. def getFilect(file,shnum):
  14. fh=open_xls(file)
  15. table=fh.sheets()[shnum]
  16. num=table.nrows
  17. for row in range(num):
  18. rdata=table.row_values(row)
  19. datavalue.append(rdata)
  20. return datavalue
或者直接用concat+一个循环来实现:

代码语言:javascript

复制

  1. for i in var_list:
  2. df_0 = data[['var_1','var_2','var_3','var_4',i]][data[i]=='信息']
  3. df_0['month'] = date_replace(i)
  4. df_0 = df_0[['var_1','var_2','var_3','var_4','var_5']]
  5. li.append(df_0)
  6. writer = pd.ExcelWriter(r'C:\Users\mapping.xlsx')
  7. df = pd.concat(li)
  8. df.to_excel(writer,'Sheet1',index=False,header = None)
  9. df

Excel中添加数据图表

整理好excel文件后下一步需要做的是处理文件里的数据,根据数据来生成一些自己需要的图表:

代码语言:javascript

复制

  1. import xlsxwriter
  2. #设置一个例子
  3. data = [20, 45, 26, 18, 45]
  4. #创建表格
  5. workbook = xlsxwriter.Workbook("temp.xlsx")
  6. worksheet = workbook.add_worksheet("data")
  7. #添加数据
  8. worksheet.write_column('A1', data)
  9. #创建图表
  10. chart = workbook.add_chart({'type': 'line'})
  11. #图表添加数据
  12. chart.add_series({
  13. 'values': '=data!$A1:$A6',
  14. 'name': '图表名称',
  15. 'marker': {
  16. 'type': 'circle',
  17. 'size': 8,
  18. 'border': {'color': 'black'},
  19. 'fill': {'color': 'red'}
  20. } ,
  21. 'data_labels': {'values': True},
  22. 'trendline': {
  23. 'type': 'polynomial',
  24. 'order': 2,
  25. 'name': '趋势线',
  26. 'forward': 0.5,
  27. 'backward': 0.5,
  28. 'display_equation':True,
  29. 'line': {'color': 'red', 'width':1, 'dash_type': 'long_dash'}
  30. }
  31. })
  32. worksheet.insert_chart('c1', chart)
  33. workbook.close()
实现效果:

数据管理eg - 图4

这部分图文来自网络,侵删。

word关键信息提取

假设你收到1万份简历,你想先根据学校做一些筛选,这时候利用python将大量的简历进行信息汇总,只提取关键信息用excel查看起来更加方便。

数据管理eg - 图5

docx文件自己本身是压缩文件,打开压缩包之后竟然发现里面有个专门存储word里面文本的文件。 那么步骤就变得简单了: 1. 打开docx的压缩包 2. 获取word里面的正文信息 3. 利用正则表达式匹配出我们想要的信息 4. 将信息存储到txt中(txt可以用excel打开) 5. 批量调用上述过程,完成一万份简历的提取工作 利用正则匹配获取关键信息:

代码语言:javascript

复制

  1. import re
  2. def get_field_value(text):
  3. value_list = []
  4. m = re.findall(r"姓 名(.*?)性 别", table)
  5. value_list.append(m)
  6. m = re.findall(r"性 别(.*?)学 历", table)
  7. value_list.append(m)
  8. m = re.findall(r"民 族(.*?)健康状况", table)
  9. value_list.append(m)
  10. '''
  11. 此处省略其他字段匹配
  12. '''
  13. return value_list
后台回复简历获取完整代码,参考资料:

https://blog.csdn.net/geoker/article/details/80149463

自动化运营监控

在平时的工作中,一定会有对运营情况的监控,假设你管理一家店铺,那么一些关键指标肯定是你需要每天查看到的,比如店铺访问数,商品浏览数,下单数等等,这个时候不用每天重复地去统计这些数据,这需要写一个自动化程序,每天将数据保存在固定的文件夹下就可以实现报表的实时监控。

数据管理eg - 图6

如果你的数据来源是线下文件: 那么可以利用python操作线下文件将其载入数据库 然后通过数据库对数据进行处理 再利用python输出结果

代码语言:javascript

复制

  1. from impala.dbapi import connect
  2. from impala.util import as_pandas
  3. import datetime
  4. conn = connect(host='host',port=21050,auth_mechanism='PLAIN',user='user',password='password')
  5. #host:数据库域名
  6. #user:数据库用户名
  7. #password:数据库密码
  8. df_data = pd.read_excel('temp.xlsx')
  9. rows =[]
  10. for index, row in df_data.iterrows():
  11. rows.append('('+'"'+str(row['case_id']).replace('nan','null')+'"'+','+'"'+str(row['birth_date'])+'"'+')'+',')
  12. a= '''
  13. INSERT into table
  14. (case_id, birth_date)
  15. values '''
  16. for i in rows:
  17. a += i
  18. a = a[:-1]
  19. cursor1 = conn.cursor()
  20. cursor1.execute(a)
  21. cursor1.close()
  22. conn.close()
  23. print('成功导入数据至数据库...')
  24. del a
  25. del rows
如果你的数据来源是线上文件(存在数据库) 那可以直接利用python链接数据库进行一些列的操作 然后导出你所需要的结果

代码语言:javascript

复制

  1. import sql #sql是封装的sql文件
  2. sql_end = sql.sql_end
  3. cursor1 = conn.cursor()
  4. for i in sql_end.split(';'):
  5. print(i)
  6. cursor1.execute(i)
  7. cursor1.close()
  8. conn.close()
  9. print('程序运行结束,请执行下一步。')
python连接数据库: https://blog.csdn.net/weixin_42213622/article/details/86523400

自动发送邮件

使用Python实现自动化邮件发送,可以让你摆脱繁琐的重复性业务,节省非常多的时间。 数据分析师经常会遇到一些取数需求,有些数据需求是每天都需要的,有些数据需求是每周一次的。对于这些周期性的数据需求,每次都重复性地手动导出这些数据,并回传给需求方,是很繁琐且浪费时间的。所以完全可以设置自动邮件来解决。

“Talk is cheap, show you the code”

常见的邮件肯定有三部分: 1、正文 2、图片 3、附件 OK 导入我们需要用到的包

代码语言:javascript

复制

  1. from email.mime.text import MIMEText
  2. from email.mime.multipart import MIMEMultipart
  3. from email.mime.image import MIMEImage
  4. import smtplib
  5. msg = MIMEMultipart()
在邮件中插入正文:

代码语言:javascript

复制

  1. ##在邮件中插入文本信息
  2. df_text='''<html>
  3. <body>
  4. <p> Hi all ,</p>
  5. <p> 这是一个测试邮件,详情请参考附件 </p>
  6. <p> 情况如下图: </p>
  7. </body></html>'''
  8. msgtext = MIMEText(df_text, 'html', 'utf-8')
  9. msg.attach(msgtext)
如果你需要插入图片,利用同样的方法,在邮件中插入图片:

代码语言:javascript

复制

  1. ##在邮件中插入图片信息
  2. image = open('temp.jpg','rb')
  3. msgimage = MIMEImage(image.read())
  4. msg.attach(msgimage)
在邮件中插入附件:

代码语言:javascript

复制

  1. ##在邮件添加附件
  2. msgfile = MIMEText(open('temp.xlsx', 'rb').read(), 'base64', 'utf-8')
  3. msgfile["Content-Disposition"] = 'attachment; filename="temp.xlsx"'
  4. msg.attach(msgfile)
剩下的就是设置一些邮件参数来发送邮件:

代码语言:javascript

复制

  1. #设置邮件信息常量
  2. email_host= '' # 服务器地址
  3. sender = '' # 发件人
  4. password ='' # 密码,如果是授权码就填授权码
  5. receiver = '' # 收件人
发送邮件:

代码语言:javascript

复制

  1. try:
  2. smtp = smtplib.SMTP(host=email_host)
  3. smtp.connect(email_host)
  4. smtp.starttls()
  5. smtp.login(sender, password)
  6. smtp.sendmail(sender, receiver.split(',') , msg.as_string())
  7. smtp.quit()
  8. print('发送成功')
  9. except Exception:
  10. print('发送失败')
然后将你的任务设置定时执行就可以轻松实现啦

实现效果:

数据管理eg - 图7

平时的工作中,真的有太多可以去自动化的任务,由于经验受限这里不能一一举例说明,只能尽量分享一些我遇到过或者听说过的例子。 希望大家都越来越高效,边偷懒边完成工作~ 大家如果有特别想要了解或者实现的功能,在文末留言或者私信,我可以针对一个点写得更详细,将完整实现方式分享给大家。

留言打卡第二季 DAY 50

今日的留言话题是聊聊你在工作或者学习中一些“偷懒”的技巧,关于留言打卡的规则可以参考数据森麟公众号留言打卡第二季开启!,请按照昵称+天数(请以自己实际打卡的天数为准,如day1 or day2 or day3)+ 留言内容(不少于15字)的方式留言,超过50天的朋友可以坐等奖品了,不够的后面还会有几次机会哈

本文参与 腾讯云自媒体同步曝光计划,分享自微信公众号。