Как удалить последние созданные файлы в нескольких каталогах HDFS?

Как упоминалось в вашем ответе, у вас есть список файлов, которые необходимо удалить. Создайте простой скрипт, перенаправьте вывод во временный файл

нравится

hdfs dfs -ls /tmp | sort -k6,7 > files.txt

Обратите внимание, что sort -k6,7 даст все файлы, но в отсортированном порядке отметок времени. Я уверен, что вы не хотите удалять все, поэтому вы можете выбрать первые n файлов, которые необходимо удалить, скажем, 100

тогда вы можете обновить свою команду до

hdfs dfs -ls /tmp | sort -k6,7 | head -100 |  awk '{print $8}' > files.txt

или если вы знаете конкретную временную метку ваших новых файлов, вы можете попробовать команду ниже

hdfs dfs -ls /tmp | sort -k6,7 | grep "<exact_time_stamp>" |  awk '{print $8}' > files.txt

Затем прочтите этот файл и удалите все файлы один за другим.

while read file; do
  hdfs -rm $file
  echo "Deleted $file" >> deleted_files.txt #this is to track which files have been deleted

done <files.txt

Таким образом, ваш полный сценарий может быть похож на

#!/bin/bash

 hdfs dfs -ls /tmp | sort -k6,7 | grep "<exact_time_stamp>" |  awk '{print $8}' > files.txt

 while read file; do
     hdfs -rm $file
     echo "Deleted $file" >> deleted_files.txt #this is to track which files have been deleted

   done <files.txt