как удалить огромное количество файлов в windows
Быстрое удаление объёмных папок на Windows
Когда вы удаляете огромные папки в Windows, вы заметите, что для завершения процесса требуется довольно много времени.
Я держу резервные папки локально на диске, и эти папки приближаются к 30 гигабайтам размером более 140 000 файлов и 350 папок.
Когда мне нужно удалить их снова, это займет много времени, если я запустил операцию удаления в Проводнике Windows. Первое, что происходит, — это то, что Windows запускает вычисления, которые сами по себе могут занять очень много времени.
Затем, когда происходит фактическое удаление, Windows анализирует процесс и публикует обновления в окне операции с файлом.
Для удаления большой папки с помощью проводника на устройствах Windows может потребоваться десять или двадцать минут или даже больше.
Если вы запустите команды удаления из командной строки, вы заметите, что операция выполняется намного быстрее. Вы можете заметить, что для выполнения этой операции требуется всего лишь часть времени, требуемое той же операцией при ее запуске в проводнике.
Мэтт Пилц, который писал об этом еще в 2015 году, сократил с 11 до 29 секунд, что сделало операцию командной строки более чем в 20 раз быстрее, чем удаление через «Проводник».
Недостатком этого является то, что он требует использования командной строки. Мэтт предложил добавить команды в контекстное меню Проводника, чтобы пользователи могли запускать их непосредственно в Проводнике.
Две команды, которые требуются пользователям, — это Del, для удаления файлов и Rmdir, для удаления каталогов.
DEL /F/Q/S *.* > NUL
RMDIR /Q/S имя_папки
Создание командного файла и добавление его в контекстное меню Проводника
Если вам не нужно часто запускать команду, вы можете отлично выполнять команды непосредственно из командной строки.
Однако, если вы часто используете его, вы можете оптимизировать процесс. Вы можете добавить команду в контекстное меню Проводника, чтобы вы могли запускать ее непосредственно там.
Первое, что вам нужно сделать, это создать пакетный файл. Создайте новый текстовый документ в Windows и вставьте в него следующие строки кода.
В пакетном файле содержится запрос безопасности. Это дает вам возможность остановить процесс, что важно, если вы случайно выбрали пункт контекстного меню. Вы можете использовать CTRL-C или щелкнуть по x окна, чтобы остановить процесс. Если вы нажмете любую другую клавишу, все папки и файлы будут удалены без какой-либо опции, чтобы остановить процесс.
Вам нужно добавить командный файл в место, которое является переменной окружения PATH. Хотя вы можете создать свою собственную переменную, вы также можете перенести ее в папку, которая уже поддерживается, например C:\Windows.
Выполните следующие действия, чтобы добавить новый пакетный файл для быстрого удаления папок в контекстном меню Проводника Windows.
Expert Users
Иногда мне требуется удалять очень много файлов и папок с компьютера, размером в несколько гигабайт и количеством файлов в несколько сотен тысяч. И если использовать обычный метод удаления, то это может занять очень много времени. Поэтому в данной заметке я расскажу вам об основных способах удаления файлов и сравню их быстродействие.
Медленные способы удаления
a. Самый медленный способ удаления с использованием корзины. При этом вам придется удалять файлы еще раз, из самой корзины.
b. Следующий по скорости способ – удаление файлов через проводник Windows, используя комбинацию клавиш Shift+Delete (т.е. файлы будут удаляться сразу, минуя корзину). Но этот способ тратит очень много времени на перечисление и проверку всех файлов. Поэтому этот способ тоже не годится.
Быстрые способы удаления
Чтобы действительно быстро удалить много файлов в Windows, придется воспользоваться командной строкой.
1. Этот метод удаляет все файлы и вложенные папки за один проход
2. Во втором методе сначала удаляются все файлы, минуя вывод текстовой информации на экран (что также значительно экономит время). На следующем этапе удаляются все оставшиеся пустые папки.
Несмотря на то, что во втором методе используется две команды, он работает почти в три раза быстрее первого. Поэтому если вам постоянно требуется удалять очень много файлов, то вы можете создать bat файл и уже запускать его как одну команду.
Вывод
И метод 1, и метод 2 удаляют файлы гораздо быстрее, чем если это делать через проводник Windows. Поэтому если вам важна скорость, то смело запускайте командную строку cmd.exe и вперед, удалять файлы!
Похожие записи:
Комментарии к записи “ Как быстро удалить много файлов в Windows ”
Але в команда DEL не працює, коли шлях до файлу довгий.
Так как же удалить миллионы файлов из одной папки?
Феерическая расстановка точек над i в вопросе удаления файлов из переполненной директории.
Прочитал статью Необычное переполнение жесткого диска или как удалить миллионы файлов из одной папки и очень удивился. Неужели в стандартном инструментарии Linux нет простых средств для работы с переполненными директориями и необходимо прибегать к столь низкоуровневым способам, как вызов getdents() напрямую.
Для тех, кто не в курсе проблемы, краткое описание: если вы случайно создали в одной директории огромное количество файлов без иерархии — т.е. от 5 млн файлов, лежащих в одной единственной плоской директории, то быстро удалить их не получится. Кроме того, не все утилиты в linux могут это сделать в принципе — либо будут сильно нагружать процессор/HDD, либо займут очень много памяти.
Так что я выделил время, организовал тестовый полигон и попробовал различные средства, как предложенные в комментариях, так и найденные в различных статьях и свои собственные.
Подготовка
Так как создавать переполненную директорию на своём HDD рабочего компьютера, потом мучиться с её удалением ну никак не хочется, создадим виртуальную ФС в отдельном файле и примонтируем её через loop-устройство. К счастью, в Linux с этим всё просто.
Создаём пустой файл размером 200Гб
Форматируем файл в ext4 и монтируем его как файловую систему
Создаем множество пустых файлов (будет работать несколько часов)
Кстати, если в начале файлы создавались достаточно быстро, то последующие добавлялись всё медленнее и медленнее, появлялись рандомные паузы, росло использование памяти ядром. Так что хранение большого числа файлов в плоской директории само по себе плохая идея.
Проверяем, что все айноды на ФС исчерпаны.
Размер файла директории
Теперь попробуем удалить эту директорию со всем её содержимым различными способами.
Тесты
Удаление через perl readdir
Получается, что использование readdir вполне возможно?
Удаление через программу на C readdir + unlink
Опять — же, убеждаемся, что использовать readdir — вполне нормально, если не накапливать результаты в памяти, а удалять файлы сразу.
Каков самый быстрый способ удаления большой папки в Windows?
Я хочу удалить папку, содержащую тысячи файлов и папок. Если я использую Проводник Windows для удаления папки, это может занять 10-15 минут (не всегда, но часто). Есть ли более быстрый способ удаления папок в Windows?
6 ответов
Используйте Командную Строку Windows:
худший способ-отправить в корзину: вам все равно нужно удалить их. Следующее Худшее-shift + delete с помощью Проводника Windows: он тратит массу времени на проверку содержимого перед началом удаления.
далее лучше всего использовать rmdir /s/q foldername из командной строки. del /f/s/q foldername тоже хорошо, но он оставляет позади структуру каталогов.
лучшее, что я нашел, это двухстрочный пакетный файл с первым проходом для удаления файлов и выходов в nul, чтобы избежать накладных расходов писать для каждого файла подпалить. Второй проход затем очищает оставшуюся структуру каталогов:
это почти в три раза быстрее, чем один rmdir, основанный на тестах времени с зашифрованным диском Windows XP, удаление
30GB / 1,000,000 файлов / 15,000 папок: rmdir занимает
2,5 часа, del+rmdir занимает
53 минуты. Дополнительная информация на Супер Пользователя.
это обычная задача для меня, поэтому я обычно перемещаю материал, который мне нужно удалить C:\stufftodelete и у тех del+rmdir команды в deletestuff.пакетный файл bat. Это планируется запустить ночью, но иногда мне нужно запустить его в течение дня, так что чем быстрее, тем лучше.
документация Technet для можно найти здесь. Дополнительная информация о параметрах, используемых выше:
документация rmdir здесь. Параметры:
Как удалить огромное количество файлов в Windows
У меня есть каталог, который содержит миллионы подкаталогов и триллионы файлов. И теперь я должен это очистить. Говоря триллион, я говорю не о размере файла, а о количестве файлов.
Я пытался удалить его с del/s помощью и с помощью проводника Windows. Никто не может выполнить задачу. Я попытался удалить некоторые из подкаталогов один за другим, и это заняло у меня несколько дней. Проблема, с которой я столкнулся, заключалась в том, что каждый раз, независимо от того, используете del ли вы проводник или проводник, я вижу в диспетчере задач, что экземпляр проводника потребляет неимоверную память и постепенно приводит к сбою системы.
Осталось удалить несколько сотен миллионов файлов. Есть ли возможность достичь одной (или несколькими) командами / действиями?
Если в какой-то момент, прежде чем система выйдет из строя, процесс будет закрыт (с помощью сочетания клавиш CTRL + C или чего-либо еще), окно продолжит работать в обычном режиме. Однако вся используемая память НЕ будет освобождена. Скажем, я остановил процесс, пока системная память достигает 91%, диспетчер задач сообщает: 4 ГБ ОЗУ всего, кэш-память 329 МБ и доступно 335 МБ. Тогда использование памяти останется на этом уровне, пока я не перезагружу машину. Если я остановлю экземпляр проводника в диспетчере задач, экран погаснет при включенном индикаторе жесткого диска и больше не вернется. Обычно, когда я останавливаю экземпляр проводника в диспетчере задач, я могу повторно вызвать его, нажав Win + E, или он был перезапущен автоматически.
Ну очень хорошее управление памятью!
[ИЗМЕНИТЬ СНОВА] Кажется, что некоторая часть использованной памяти действительно освободилась через некоторое время, но не все. Некоторая часть кэшированной и доступной памяти вернулась в диспетчере задач. Я больше не ждал, не уверен, что будет потом.
Техническое объяснение
Предположим, у вас есть «только» 100 000 000 файлов, и Windows использует простую структуру, подобную этой, для хранения каждого файла вместе с его путем (таким образом вы избегаете хранения каждого каталога по отдельности, тем самым сохраняя некоторые издержки):
В зависимости от того, использует ли он 8-разрядные символы или символы Unicode (он использует Unicode) и является ли ваша система 32-разрядной или 64-разрядной, для хранения списка потребуется от 25 до 49 ГБ памяти (и это очень упрощенная структура).
Причина, по которой Windows пытается перечислить файлы и папки перед их удалением, варьируется в зависимости от метода, который вы используете для их удаления, но это делают как Проводник, так и интерпретатор команд (вы можете увидеть задержку при запуске команды). Вы также можете увидеть, как мигает индикатор активности диска (HDD), когда он читает дерево каталогов с диска.
Решение
Лучше всего справляться с подобной ситуацией, используя инструмент удаления, который удаляет файлы и папки по отдельности, по одному за раз. Я не знаю, есть ли какие-либо готовые инструменты для этого, но это должно быть возможно сделать с помощью простого пакетного файла.
Далее он удаляет все файлы в текущем каталоге. В этом режиме он не должен ничего перечислять и просто удалять файлы, не занимая много, если таковые имеются, памяти.
Затем он перечисляет папки в текущем каталоге и вызывает себя, передавая каждую папку ему (себе) для рекурсии вниз.
Анализ
Вы можете задаться вопросом об использовании /r ключа вместо (ручной) рекурсии. Это не сработает, потому что, хотя /r коммутатор выполняет рекурсию, он предварительно перечисляет все дерево каталогов, чего мы и хотим избежать; мы хотим удалить, как мы идем, не отслеживая.
сравнение
Давайте сравним этот метод с методом полного перечисления.
Поскольку мы не перечисляем файлы, нам нужно отслеживать не более 100 имен каталогов на уровень, для максимального количества 4 × 100 = 400 каталогов в любой момент времени.
Следовательно, требования к памяти должны составлять
206,25 КБ, что находится в пределах любой современной (или иной) системы.
Тестовое задание
К сожалению (?) У меня нет системы с триллионами файлов в миллионах папок, поэтому я не могу ее протестировать (я считаю, по последним подсчетам, у меня было около
800 КБ файлов), поэтому кому-то еще придется попробовать Это.