怎样解决运行较大excel文件openpyxl变慢问题

　　平时打开小文件的时候没有注意，当偶尔有较大的excel需要运行，就会出现openpyxl变慢问题 。今天小编就教大家解决运行较大excel文件时openpyxl变慢的问题 。

　　运行以下代码：

　　1

　　2

　　3

　　4

　　5

　　6

　　7

　　8

　　9

　　10

　　11

　　12

　　13

　　14

　　15

　　16

　　17

　　18

　　19

　　20

　　21

　　22

　　23

　　24

　　25

　　26

　　

from openpyxl import Workbook

　　from openpyxl.utils import get_column_letter

　　from openpyxl import load_workbook

　　import time

　　wb = load_workbook("E:/a.xlsx", read_only=True)

　　sh = wb["Sheet"]

　　# rowItem = {}

　　# for j in range(1,2000):

　　# for i in range(1, 30):

　　# rowItem[get_column_letter(i)] = i

　　# sh.append(rowItem)

　　# wb.save("E:/a.xlsx")

　　t0 = time.time()

　　print(sh['V500'].value)

　　t1 = time.time()

　　print("openpyxl所用时间：", str(t1-t0))

　　import xlrd

　　xlsPath = "E:/a.xlsx"

　　WorkBook = xlrd.open_workbook(xlsPath)

　　sh = WorkBook.sheet_by_name("Sheet")

　　t0 = time.time()

　　print(sh.cell(499,22).value)

　　t1 = time.time()

　　print("xlrd所用时间：", str(t1-t0))

　　测试结果：

　　1

　　2

　　3

　　4

　　

22

　　openpyxl所用时间： 0.44217610359191895

　　23.0

　　xlrd所用时间： 0.0010063648223876953

　　结论

　　openpyxl的慢是读取慢，可以选择xlrd代替，详细测试下面继续。

　　不直接使用xlwt+xlrd是因为xlwt仅支持2003及以下版本，最大行数限制在65536，不够用，而openpyxl大概在一百多万。

　　主要的说完了，下面详细说了：在写工具的时候遇到的这个问题，开始是用的xlwt+xlrd，然后行数超标了，没办法换成openpyxl使用excel2007的版本，原本测试不到三万行的数据，只要三四秒，换成openpyxl以后，花了好几分钟，具体没看多少了，然后加上函数运行时间的监视器以后，才看到是读取的时候出的问题。

　　推测原因：

　　推测的话，openpyxl的根据行号列号读取的时候，是从第 一行第 一列开始遍历，直到行号等于指定行号，列号等于指定列号，所以要读取的行号列号越多就越慢，(也可能是从第 一个有数据的行或列)，而xlrd则是类似与数组一样，我们要取第几个元素，直接根据下标找到内存中对应地址的元素即可，所以无论excel总量多少，速度基本都是不变的。

　　知识拓展：

　　xlwt写入仅支持65536行，那xlrd的读取很可能也是，也就是超过这么多的数据可能也会出错。

　　我这里因为是读多表数据生成单表数据，生成方式大概是Na*Nb这样，所以实际读取的不会太多，但生成的很多，所以基本可以用考虑这个问题。

　　另外，据说xlrd读取xlsx格式的偶尔会出现问题，具体没测试，暂时用还没毛病。

　　最后，顺带上一下监控函数运行时间的装饰器吧：

　　1

　　2

　　3

　　4

　　5

　　6

　　7

　　8

　　9

　　10

　　11

　　12

　　13

　　14

　　

import time

　　from functools import wraps

　　def fn_timer(function):

　　@wraps(function)

　　def function_timer(*args, **kwargs):

　　t0 = time.time()

　　result = function(*args, **kwargs)

　　t1 = time.time()

　　print ("Total time running %s: %s seconds" %

　　(function.__name__, str(t1-t0))

　　)

　　return result

　　return function_timer

　　使用方式的话，就是在要监控的函数定义上面加上 @fn_timer 就行了。

　　相信下次用openpyxl打开大的excel文件后，小伙伴们不需要慢慢等待了。