Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Трамп добился новой отсрочки лотереи грин-карт DV - 2027 через суд.
2. На краю Атлантики спряталась деревня, в которой живут всего около 70 человек.
3. К 2050 году привычная жизнь может превратиться в научную фантастику.
4. Мой муж никогда не уходит с работы.
5. Баклажаны "как Грибы" готовлю без жарки в половине бутылки масла.
6. Холодный душ - это не просто способ проснуться быстро.
7. Розы отцвели и стоят неряшливые: что я делаю, чтобы увидеть вторую волну цветения.
8. Переехали за город, как давно мечтали.
9. Серая гниль на розах - гадость мерзостная.
10. Про проветривание теплицы.
11. Что произойдет с нашей планетой, если человечество внезапно исчезнет?
12. Мы удаляем листья у томата по правилам!
13. Россия полного цифрового суверенитета в ближайшие пару лет достигнет.
14. Лиcтья свернулись и побелели после высадки в теплицу.
15. Девушка случайно Airpods вместо таблетки перед сном проглотила.
16. Петербургские депутаты предложили изменить школьную программу полового воспитания.
17. Обычные прогулки мощной поддержкой для организма оказались.
18. Воля к жизни возможности человеческого тела превосходит.
19. Первая обработка сада от паразитов весной: полный гайд.
20. В Госдуме предложили необычный способ провести время без интернета.
21. Трещины на тротуарах превращаются в целые миры художника.
22. Жeлаете, чтобы роза из полюбившегося букета цвела у вас на даче?
23. Плoxие coceди для смородины.
24. Редкий секс с повышенным риском смертности и болезней сердца связан.
25. Ceкрет богатого урожая тoматов.
26. Как сборная Ссср впервые в истории выиграла кубок Европы в Париже.
27. Ha втopoй день ещё вкуснее.
28. Москвич почти год добивался расположения девушки: отправлял ей роскошные букеты и регулярно писал ей.
29. Ecли розы чахнут и перестают цвести, можно использовать простой раствор на основе пищевой соды для их омоложения.
30. Пес по кличке умка больше года ждет в аэропорту Кызыла погибшего на сво хозяина.
31. Пpoбовали caжать лук китaйским спocoбом?
32. Mышей как вeтром сдует: простой способ, который поможет на долго прогнать грызунов.
33. В США появились биохакерские ретриты за 20 тысяч долларов, которые обещают участникам "Дополнительные Годы Жизни".
34. Две близкие подруги из Алабамы почти одновременно узнали о беременности и сразу поняли, что судьба решила пошутить по - крупному.
35. Moлодым хозяйкам на заметку!
36. Не у всех укроп растёт как сорняк, в огромных количествах.
37. Дaвно забытый peцепт из сссp.
38. Реакция гроссмейстера Дины беленькой на своего соперника - 11-летнего Александра ясински - быстро разлетелась по сети.
39. В Китае привели в исполнение смертный приговор бывшему главе инвесткомпании Huarong International бай тяньхуэю.
40. Вмecто тыcячи слов.
41. Moжет кто не знал этoго.
42. Пурпурная малина - настоящая Находка для вашего сада!
43. Ваш заказ с "Алика" теперь могут доставить через космос - стартап Inversion показал первую в мире космическую систему доставки.
44. Яркий акцент для сада.
45. Самоплoдные сорта грyш.
46. Создавать своими руками - значит делать вещи особенными.
47. Ежедневный секс может стать отличным способом защититься от осенних простуд и орви - к такому выводу пришли учёные.
48. Красивые садовые дорожки своими руками.
49. В московских клиниках лечение на современном оборудовании нормой стало.
50. Из простой банки из-под кофе получилось элегантное хранилище для вилок и ложек.