提问者:小点点

有没有办法在 Pig 中仅读取 CSV 中的必填列?


我有一个CSV文件,其中大约有50列。我想只读取其中的特定列。有什么办法可以做到这一点吗?

例:

CSV有,col1,col2,col3,col4,col5,col6,。。。。。。,第50列

我要装货

load 'path to file' as (col1, col18, col47); 

我想做这样的事情。


共1个答案

匿名用户

加载它而不是投影它:

REGISTER 'piggybank.jar'
DEFINE CSVLoader org.apache.pig.piggybank.storage.CSVLoader();
A = LOAD 'data.csv' USING CSVLoader();
B = FOREACH A GENERATE 
    $0 AS col1,
    $17 AS col18,
    $46 AS col47;
...