提问者:小点点

从包含非常大数值的字典创建数据帧时发生溢出错误


直接将表放入数据帧时出现错误“OverflowerError:long int太大,无法转换”。这似乎是由于表中包含了大量的数字,但尝试使用时没有错误https://www.pythonanywhere.com/try-ipython/.我添加了一个变通方法,将值转换为float,然后创建了数据帧。

import pandas as pd
table = [{'two': 2, 'one': 1}, {'two': 22, 'one': 11}, 
    {'two': 222, 'one': 1111111111111111111111111111111111111111111111111111111111111111111111}]

# workaround for overflow error
for x, i in enumerate(table):
    table[x]['one']=float(table[x]['one'])

df = pd.DataFrame(table)

有更好的方法吗?其他人指出,他们没有得到任何溢出错误。这是Python2.7


共1个答案

匿名用户

默认情况下,pandas尝试读取和理解数据,并将其转换为适当的数据类型。在您的例子中,它试图将数据加载到np中。浮动64对象。但是,您的数据显然太大了。

一种解决方法是在创建数据帧时指定dtype=object

df = pd.DataFrame(table, dtype='object')    
df
                                                 one  two
0                                                  1    2
1                                                 11   22
2  1111111111111111111111111111111111111111111111...  222 

请注意,这样做会降低速度和效率的所有可能性,因为objects的处理速度非常慢。我想你已经准备好了,处理这种性质的数据。