yakov_a_jerkov (
yakov_a_jerkov) wrote2018-03-24 07:19 pm
![[personal profile]](https://www.dreamwidth.org/img/silk/identity/user.png)
Другой технический вопрос
Есть в этом какая-то проблема, если на Windows в одном folder миллион (один миллион, буквально) файлов?
У меня сейчас в одном фолдере триста тысяч -- небольшие jpg-файлы, общий размер всего 4 GB -- вроде, никаких проблем нет. Но я не знаю, какой-то предел должен быть, наверное.
Поясню, зачем мне это нужно. Я с ноября пытаюсь научиться разному в области machine learning, и, в частности, neural networks. Сейчас пытаюсь сделать что-то с этой задачей на Kaggle.com, и там training set как раз имеет 1.1 миллиона картинок.
У меня сейчас в одном фолдере триста тысяч -- небольшие jpg-файлы, общий размер всего 4 GB -- вроде, никаких проблем нет. Но я не знаю, какой-то предел должен быть, наверное.
Поясню, зачем мне это нужно. Я с ноября пытаюсь научиться разному в области machine learning, и, в частности, neural networks. Сейчас пытаюсь сделать что-то с этой задачей на Kaggle.com, и там training set как раз имеет 1.1 миллиона картинок.
no subject
Но, конечно, некоторым аппликациям, которые недостаточно хорошо оптимизированы, может быть не все равно. Поэтому обычно их все же разносят по сабфолдерам, по какому-нибудь хешу, например, или по первой паре букв в названии если они достаточно рандомизированы, и.т.п.
(no subject)
no subject
но, это будет медленно :) убрать фолдер из windows search indexer стоит.
(no subject)
(no subject)
no subject
(no subject)
no subject
(no subject)
(no subject)
(no subject)
no subject
(no subject)
no subject
Файловая система ОС - плохая база данных ;)
(no subject)
(no subject)
(no subject)
(no subject)
(no subject)
(no subject)
(no subject)
(no subject)
(no subject)
(no subject)