yakov_a_jerkov: (Default)
yakov_a_jerkov ([personal profile] yakov_a_jerkov) wrote2018-03-24 07:19 pm

Другой технический вопрос

Есть в этом какая-то проблема, если на Windows в одном folder миллион (один миллион, буквально) файлов?

У меня сейчас в одном фолдере триста тысяч -- небольшие jpg-файлы, общий размер всего 4 GB -- вроде, никаких проблем нет. Но я не знаю, какой-то предел должен быть, наверное.

Поясню, зачем мне это нужно. Я с ноября пытаюсь научиться разному в области machine learning, и, в частности, neural networks. Сейчас пытаюсь сделать что-то с этой задачей на Kaggle.com, и там training set как раз имеет 1.1 миллиона картинок.

[identity profile] nefedor.livejournal.com 2018-03-26 04:51 pm (UTC)(link)

Но конечно, это все относится к большим масштабам. В небольших масштабах можно и с файлами, но эти не очень хорошо scalable.

[identity profile] vasja-iz-aa.livejournal.com 2018-03-27 02:19 am (UTC)(link)
если Вам показалось, будто бы я предлагал решить все информационные проблемы в индустрии масштаба "только айтишников полтыщи" с помошью одной карточки за восемьдесят долларов, то оно Вам совершенно напрасно так показалось