У меня есть корневой каталог, который содержит сотни подпапок. Теперь я хочу прочитать файлы csv в каждой подпапке, их имена одинаковы, скажем, study.csv
После прочтения CSV-файлов я хочу создать фрейм данных для хранения части данных из этих CSV-файлов. Новый фрейм данных будет содержать 3 столбца. Один столбец — это столбец, который мы недавно создали для обозначения идентификатора CSV-файла, а два других столбца — это два столбца CSV-файла.
Например: Структура исходного CSV-файла:
row1....
row2....
row3....
row4: column1 column2 column3 column14 column5
row5: 1 2 3 4 5
row6: 2 4 2 1 10
row7: 3 8 9 11 23
...
Ожидаемый кадр данных, который я хочу:
New column column3 column4
1 3 4
1 2 1
1 2 1
1 9 11
Таким образом, мы будем читать файлы csv, начиная с строки 4, для столбца New в этом фрейме данных значение будет одинаковым, если строки взяты из одних и тех же файлов csv. Мы можем рассматривать этот новый столбец как идентификатор CSV-файла.
Я обнаружил, что os.walk
может помочь мне пройти по каталогу дерева, но как я могу просто прочитать два конкретных столбца в csv при создании нового столбца с соответствующим идентификатором?