Ознакомившись с требованиями заказчика я понял, что через один аккаунт много данных достать не получится, то есть каким-то образом необходимо разбивать процесс добычи данных на группу аккаунтов - добытчиков. Именно с этой мысли и начинается моё увлекательное приключение.
Да, как вы ещё не раз убедитесь в процессе чтения, я люблю всё структурировать, поэтому ниже список разделов этой статьи:
Принцип майнинга данных из инстаграмма с помощью одного аккаунта, какие ограничения на это есть.
Каким образом можно распаралелить процесс извлечения данных на несколько исполнителей (Vanilla подход).
Как распаралелить процесс, но уже по-крупному. Переход от локальных баз данных к облачным.
