Автоматическое копирование папок до достижения определенного предела

Это очень наивное и плохо закодированное решение, но оно работает. Мой bash-fu не силен, но сценарий оболочки кажется лучшим способом решить эту проблему.

#!/bin/bash
dirnum=1
for i in *
    do
    if [ `du -b -s "$i" | cut -f 1` -gt 700000000 ]
        then
        echo "$i is too big for a single folder, skipping"
        continue
    fi
    if [ ! -d "CD_$dirnum" ]
        then
        echo "creating directory CD_$dirnum"
        mkdir "CD_$dirnum"
    fi
    echo "moving $i to CD_$dirnum"
    mv "$i" "CD_$dirnum"
    if [ `du -b -s "CD_$dirnum" | cut -f 1` -gt 700000000 ]
        then
        echo "CD_$dirnum is too big now"
        mv "CD_$dirnum/$i" .
        let "dirnum += 1"
        if [ ! -d "CD_$dirnum" ]
            then
            echo "creating directory CD_$dirnum"
            mkdir "CD_$dirnum"
        fi
        echo "moving $i to CD_$dirnum"
        mv "$i" "CD_$dirnum"
    fi
done

В конечном счете, вы ищете решение проблемы с рюкзаком, которое приходит во многих формах.

Простой подход будет соответствовать следующему псевдокоду, но он не даст оптимальные решения для всех входных данных (см. статьи выше).

while (there are unallocated files) {
    create a new, empty directory
    set remaining space to 700,000,000
    while (the size of the smallest unallocated is at most (<=) the remaining space) {
        copy into the current the largest unallocated file with size at most the remaining space
        subtract that file's size from the remaining space
        remove that file from the set of unallocated files
    }
    burn the current directory
}

(Конечно, это предполагает, что ни один файл не будет иметь размер более 700 МБ. Если это возможно, обязательно удалите все такие файлы из нераспределенного списка, иначе приведенное выше приведет к бесконечному количеству пустых каталогов! ;-)

Если вы работаете в UNIX (включая Mac OSX), вы можете написать что-то вроде

tar cvzf allfolders.tgz ./allfolders
split allfolders.tgz -b 700m

Это создаст (сжатый) архив всех папок, а затем разделит его на куски размером 700M. Однако вам нужно будет повторно объединить все части, а затем снова извлечь их с помощью tar, если вы хотите восстановить исходный набор папок.

Если вы хотите сохранить их как отдельные папки ОС на компакт-диске, это довольно сложно (на самом деле, я думаю, что это своего рода проблема с рюкзаком, которая является NP-сложной).

Есть инструменты, которые сделают это - аналогично ответу Франкодвайера, WinZip возьмет ваши 100 ГБ, заархивирует их и разделите его на «куски» любого размера, которые вы хотите, т.е. ~ 700 МБ

Вот страница функции разделения WinZip

Я немного опоздал на вечеринку, но вот как я решил проблему:

#!/usr/bin/env bash

sourcedir="$1"
destdir_prefix="./disk_"
destdir_suffix=""
mblimit=4100
# bytelimit=$(( mblimit * 1024 * 1024 )) # MB as measured by OS (MiB)
bytelimit=$(( mblimit * 1000 * 1000 )) # MB as measured by marketeers
disk=() # empty array
dir_size=0
find "${sourcedir}" -type f |
  while read file; do

    file_size="$( stat --printf="%s" "${file}" )"
    disk_number=0
    stored=false
    while [[ "${stored}" == "false" ]]; do

      if [[ "${disk[$disk_number]}" == "" ]]; then
        disk[$disk_number]=0
      fi

      if [[ $(( disk[disk_number] + file_size )) -lt ${bytelimit} ]]; then
        dir="${destdir_prefix}${disk_number}${destdir_suffix}"
        mkdir -p "${dir}"
        filedir="$(echo ${file} | sed 's|[^/]*$||g')"
        mkdir -p "${dir}/${filedir}"
        disk[$disk_number]=$(( disk[disk_number] + file_size ))
        echo "${disk[$disk_number]} ${dir}/${file}"
        cp "${file}" "${dir}/${file}"
        stored=true
      else
        disk_number=$(( disk_number + 1 ))
      fi
    done
  done

Это создаст папки с именами disk_0, disk_1 и т. д. Для каждого файла он пытается поместить файл в disk_0, а если он не помещается, он пробует disk_1 и т. д.