Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Срезала старую ветку смородины, а внутри вместо нормальной светлой сердцевины оказалась чёрная пустота.
2. Яблок много - вроде радоваться надо.
3. Всю зиму не могла нарадоваться этими огурчиками: маринованные огурцы по-фински.
4. Устала, что на самом деле нет никакого сервиса, чтобы оставить детей под присмотром хотя бы на день.
5. Тщательно охраняемые исправительные учреждения ради полной изоляции преступников создаются.
6. Работаю в банке.
7. Чернобыльская катастрофа скрывала множество деталей, о которых не пишут в учебниках.
8. В Японии открылся уникальный музей для всех ценителей женских ног.
9. Лиcтья свернулись и побелели после высадки в теплицу.
10. Зачерствевший хлеб - отличное решение для подкормки огородных культур, служащее основой для питательного удобрения.
11. С детства занимаюсь армейским рукопашным боем - что-то вроде семейной традиции, да и почему бы не заниматься, когда тренер - отец.
12. Когда высаживать рассаду в теплицу в 2026 году (по лунному календарю).
13. Брак с разницей в возрасте и роскошные подарки вызвали обсуждения в соцсетях.
14. Как буддийские монахи вышли на протест и столкнулись с полицией.
15. Сибирские охотники создавали костюмы, способные противостоять атакам медведей.
16. Путешествие любви, которое пересекло континенты, началось в отдалённой деревне Индии.
17. Когда вид на озеро главным элементом проекта дома становится.
18. Как посадить перец, чтобы он взошёл за 2-3 дня и дал ранний урожай.
19. Дepeвья - осушители: что посадить рядом с выгребной ямой, чтобы не откачивать её.
20. В 2005 году на склоне итальянской горы коллето - фава появился 60-метровый розовый кролик.
21. Пpoбовали caжать лук китaйским спocoбом?
22. После вторых родов вес подскочил до 81 кг, и многие вещи в шкафу напоминали, как сильно тело изменилось.
23. Пиpoжки: зaбытый стapый мaмин рeцепт.
24. Приехал, посмотрел - старая печка трескается, швы осыпаются, тяга уже не та.
25. Яблоки очень уникальный продукт.
26. Стильное оформление квартиры.
27. Замечательный закусочный торт из нежной куриной грудки!
28. Оформить грин-карту по лотерее больше нельзя - США приостановили действие программы.
29. Салат "Кремлёвский": когда хочется почувствовать себя особой королевских кровей!
30. Врачи из Калифорнии предупреждают: Chatgpt может усугублять психические расстройства и довести до серьёзных проблем с психикой.
31. Девушка создала мини - шкафчик своими руками, идеально подходящий для книг и разных мелочей.
32. Нaучилась применять перекись + уксус для огурцов во второй половине летa.
33. Лучший способ хранения чеснока.
34. Какао - настоящее спасение для тех, кто работает на удалёнке или в офисе.
35. Это лучшее, что я когда-либо ела!
36. Мошенники запустили новую опасную схему с аккаунтами на маркетплейсах - под удар попали уже сотни пользователей.
37. Учёные разработали крем, который действительно убирает морщины - и в этот раз речь не о рекламе, а о подтверждённых клинических испытаниях.
38. Как правильно подготовить малинник к новому сезону.
39. Самодельный светильник - маленькое чудо для спальни.
40. Врачи предупреждают: привычка откладывать будильник может способствовать набору лишнего веса.
41. Быстро, красиво и почти без усилий - именно так была создана её настенная подставка.
42. Чем мульчировать малину осенью для защиты корней?
43. Учёные выяснили, что качки сильнее других страдают от укусов комаров.
44. Кто занимается розами, тот знает, насколько тяжела бывает борьба с различными пятнистостями.
45. Исследование морей с помощью субмарин стало популярным не только среди учёных, но и как часть туристических развлечений на курортах.
46. Арбузы и смородина помогут разбудить "Мозг" в это дождливое лето.
47. Лучший инструмент для скрапинга сайтов в 2025 году
48. Топ-10 инструментов для веб-скраппинга 2025: Ускорьте извлечение данных
49. 10 июня 2023 года легендарная гонка "24 часа Ле - Мана" началась с настоящей драмы, которая сразу вошла в историю автоспорта.
50. Топ-10 лучших прокси-серверов 2025 года: рейтинг и обзор