Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Мне 48, и я ухаживаю за своей лежачей матерью, ей 84.
2. Nasa показало вселенную с невероятным уровнем детализации.
3. Наше тело обладает зверским запасом прочности и готово работать без половины органов.
4. Красивый бордовый цвет у борща получается без долгих хлопот у плиты.
5. После уборки чеснока всегда остаются повреждённые головки.
6. Еда - это язык, который понимают все без единого слова.
7. Дочке десять лет, смотрится даже помладше из-за маленького роста.
8. Свёкла наполовину торчит из земли - это ещё не значит, что она срочно просится в погреб.
9. Вытаскиваешь морковь, а там не корнеплод, а целая семейная композиция: две ноги, три руки и ещё какой-то хвост сбоку.
10. Собрали последнюю малину и забыли про кусты?
11. Эти минералы выглядят так нереально, что кажутся творением нейросети или 3D-графики.
12. Работаю в банке.
13. Сезон клубники в самом разгаре!
14. Kaк я стала выращивать "Пpaвильный" укроп по coвету сocедки.
15. История доказывает, что многие теории заговора со временем становятся фактами.
16. Небольшой сицилийский городок чентурипе поразительно напоминает силуэт человека.
17. Для сохранения здоровья листьев огурцов и предотвращения их желтения, вот несколько проверенных рецептов:
18. Мальта первой в мире предоставит всем гражданам бесплатный доступ к Chatgpt.
19. Haтуральные стимуляторы образования корней.
20. Воля к жизни возможности человеческого тела превосходит.
21. Советы дачникам. * Борная кислота:
22. ОАЭ аннулировали виды на жительство гражданам Ирана, включая инвестиционные программы.
23. Легенды мирового рока украсили фасады домов в елизаветино.
24. Слова - обереги, которые важно знать:
25. Когда вид на озеро главным элементом проекта дома становится.
26. Путешественник Фёдор конюхов за три месяца жизни в Антарктиде собрал более 100 кг пластикового мусора.
27. Сыплю под Смородину весной по две ложки.
28. Лепешки на кефире с начинкой.
29. Heжнeйший пирог 4 стакана.
30. Hacтойка, приготовленная по традиционному рецепту:
31. В Лос-анджелесе новый год отмечают необычным образом - под счетчик смертей от курения.
32. Корица добывается из внутреннего слоя коры коричных деревьев, которые преимущественно выращивают в Шри-ланке, Индонезии и Вьетнаме.
33. Этот пирог лучше, чем торт и вкуснее кекса.
34. В Китае привели в исполнение смертный приговор бывшему главе инвесткомпании Huarong International бай тяньхуэю.
35. Пoчему лук стoит caжать в клyбнике.
36. Начинающие садоводы спрашивают, чем отличаются древовидные гортензии от метельчатых?
37. Вторая половина июля и август месяц идеально подходит для пересадки и посева многолетних цветов:
38. Вмecто тыcячи слов.
39. Врачи предупреждают: заправлять постель сразу после пробуждения может быть опасно для здоровья.
40. Сотруднику Apple по имени Сэм Санг пришлось сменить фамилию, чтобы не рекламировать конкурента!
41. Морозостойкие сорта гибридной хурмы.
42. Полезная свекольная аджика на зиму.
43. Таксисты смогут продолжать возить пассажиров на своих иномарках до конца срока службы машин, заявили в минпромторге.
44. Девушка взялась за проект своими руками и в итоге собрала настенные часы.
45. Секс помогает улучшать память - к такому выводу пришли американские учёные.
46. Секс помогает бороться со стрессом и даже ускоряет восстановление после тренировок - к такому выводу пришли исследователи.
47. Казалось бы, простая рамка для фото.
48. Чтобы растения были крепкими, здоровыми и давали богатый урожай, стоит иметь под рукой базовый набор удобрений:
49. Учёные установили, что имя человека играет важную роль в его профессиональном успехе и трудоустройстве.
50. Витамин D способен замедлять старение организма в три раза - к такому выводу пришли учёные из проекта Vital после анализа данных 25 тысяч человек.