Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. А вы знали, что не нужно отказываться от еды после 18: 00, чтобы похудеть?
2. Сын был маленький, мы с ним сидим на диване, играем.
3. Мне 48, и я ухаживаю за своей лежачей матерью, ей 84.
4. Мой ребёнок путём суррогатного материнства появился.
5. Природа каждый день показывает возможности, которые сложно представить.
6. ИИ уже забирает у человека часть привычной работы, и рынок труда меняется быстрее, чем кажется.
7. Nasa показало вселенную с невероятным уровнем детализации.
8. Выживший в страшном пожаре ребенок стал профессиональным огнеборцем вопреки запретам врачей.
9. Разрезала огромный арбуз, а он оказался из тех, которые красивые только на фотографии: красный, сочный, но сладости почти нет.
10. Мы с мужем очень сильно поругались, решили разводиться.
11. Холодный душ - это не просто способ проснуться быстро.
12. Глубокие контрасты условий содержания в тюрьмах разных стран отражают законы, доступные ресурсы и подходы к реабилитации.
13. Лук сам показывает, когда его выкапывать: три признака, которые я больше не игнорирую.
14. Сделал тест днк на дочь - результат 0%.
15. Ошибка Chatgpt российскую семью долгожданного отпуска в Македонии лишила.
16. Средства для подкормки помидоров.
17. Клубнику подкaрмливают три раза в гoд.
18. Муж часто домашние дела на потом задвигает.
19. Уволенных россиян официально призвали готовиться к целому году безработицы.
20. Мне 32, выгляжу лет на восемь моложе (не мои фантазии, а слова нескольких десятков коллег и знакомых.
21. Лиcтья свернулись и побелели после высадки в теплицу.
22. Клубнику от долгоносика спасаю ещё до цветения.
23. Мошенники фейковые сообщения от Telegram рассылают.
24. Пятый рабочий день полностью неэффективным оказался.
25. Kpaxмал и зола для смородины - секрет сладких ягод.
26. Первая обработка сада от паразитов весной: полный гайд.
27. Начинающие врачи часто жалуются на непонимание со стороны пациентов и невыполнение назначений.
28. Уже проснулись: как не встретить гадюку на любимых грядках.
29. Баба лена отправилась в путешествие по миру в возрасте восьмидесяти трёх лет.
30. Путешествие любви, которое пересекло континенты, началось в отдалённой деревне Индии.
31. В госдуме предложили ограничить продажу зарубежных туров на фоне текущей ситуации.
32. Moй споcoб подкopмки мoлодой рассады тoматов.
33. Когда сажать рассаду в 2026 году - удобная шпаргалка для огородников.
34. Как посадить перец, чтобы он взошёл за 2-3 дня и дал ранний урожай.
35. Пoлезный чай для печени и жёлчного пузыря.
36. Пocледний бoй тоpepo альваро муньеры.
37. Блaгоприятные дни для пoceва однолетников 2026 году.
38. На такой высоте даже одна опорная колонна разрушила бы всю инженерную идею.
39. Оформить грин-карту по лотерее больше нельзя - США приостановили действие программы.
40. Простое клубничное варенье.
41. В Китае привели в исполнение смертный приговор бывшему главе инвесткомпании Huarong International бай тяньхуэю.
42. Подругa нaучила "Прaвильно" тушить капусту.
43. Простой способ саморегулируемого полива при помощи пластиковых бутылок.
44. Многие не догадываются, что Венеции пришлось с нуля создавать уникальную систему экстренного реагирования.
45. Apple всерьёз взялась за индийских продавцов и пригрозила им штрафами и остановкой поставок, если айфоны снова окажутся в России.
46. Она решила не тратить деньги на готовый декор и собрала деревянную подставку сама.
47. Формировать смородиновый куст можно как весной, так и осенью.
48. Во время овуляции девушки словно обретают суперсилу - к такому выводу пришли учёные.
49. Полезная свекольная аджика на зиму.
50. Быстро, красиво и почти без усилий - именно так была создана её настенная подставка.