yakov_a_jerkov: (Default)
yakov_a_jerkov ([personal profile] yakov_a_jerkov) wrote2018-03-24 07:19 pm

Другой технический вопрос

Есть в этом какая-то проблема, если на Windows в одном folder миллион (один миллион, буквально) файлов?

У меня сейчас в одном фолдере триста тысяч -- небольшие jpg-файлы, общий размер всего 4 GB -- вроде, никаких проблем нет. Но я не знаю, какой-то предел должен быть, наверное.

Поясню, зачем мне это нужно. Я с ноября пытаюсь научиться разному в области machine learning, и, в частности, neural networks. Сейчас пытаюсь сделать что-то с этой задачей на Kaggle.com, и там training set как раз имеет 1.1 миллиона картинок.

[identity profile] ign.livejournal.com 2018-03-25 12:42 am (UTC)(link)
По спецификации, NTFS поддерживает 4,294,967,295 файлов на диске. В принципе, все 4 миллиарда могут быть в одном фолдере, файловой системе все равно.

Но, конечно, некоторым аппликациям, которые недостаточно хорошо оптимизированы, может быть не все равно. Поэтому обычно их все же разносят по сабфолдерам, по какому-нибудь хешу, например, или по первой паре букв в названии если они достаточно рандомизированы, и.т.п.

[identity profile] ordinary-joe-1.livejournal.com 2018-03-25 01:24 am (UTC)(link)
Maximum number of files in a single folder: 4,294,967,295

но, это будет медленно :) убрать фолдер из windows search indexer стоит.

[identity profile] evlasov.livejournal.com 2018-03-25 01:42 am (UTC)(link)
Я работал с овер 1000000 файлов в R и питоне, проблем не заметил. Если что, каждый файл представлял из себя шесть двузначных цифр, разделённых пробелами. В питоне я вместо базы данных строки из краулера в отдельные файлы сохранял. Некогда учиться было, надо было делать ;)
ext_605364: geg MOPO4 (Default)

[identity profile] gegmopo4.livejournal.com 2018-03-25 06:37 am (UTC)(link)
А попробуйте-ка удалить их.

[identity profile] vasja-iz-aa.livejournal.com 2018-03-25 11:45 am (UTC)(link)
к верно сказаному выше про проблемы с отдельными приложениями добавлю, что еще могут быть неприятности с размером списка имен файлов, особенно если они у Вас лежат где то в Документах и сам путь до того фолдера -- достаточно длинная строка

[identity profile] nefedor.livejournal.com 2018-03-25 02:18 pm (UTC)(link)

Файловая система ОС - плохая база данных ;)