直接将表放入数据帧时出现错误“OverflowerError:long int太大,无法转换”。这似乎是由于表中包含了大量的数字,但尝试使用时没有错误https://www.pythonanywhere.com/try-ipython/.我添加了一个变通方法,将值转换为float,然后创建了数据帧。
import pandas as pd
table = [{'two': 2, 'one': 1}, {'two': 22, 'one': 11},
{'two': 222, 'one': 1111111111111111111111111111111111111111111111111111111111111111111111}]
# workaround for overflow error
for x, i in enumerate(table):
table[x]['one']=float(table[x]['one'])
df = pd.DataFrame(table)
有更好的方法吗?其他人指出,他们没有得到任何溢出错误。这是Python2.7
默认情况下,pandas尝试读取和理解数据,并将其转换为适当的数据类型。在您的例子中,它试图将数据加载到np中。浮动64
对象。但是,您的数据显然太大了。
一种解决方法是在创建数据帧时指定dtype=object
。
df = pd.DataFrame(table, dtype='object')
df
one two
0 1 2
1 11 22
2 1111111111111111111111111111111111111111111111... 222
请注意,这样做会降低速度和效率的所有可能性,因为object
s的处理速度非常慢。我想你已经准备好了,处理这种性质的数据。