Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Увидел, как моя беременная жена обнималась с лысым мужиком.
2. Амбициозный Cybertruck не оправдал надежд Илона маска.
3. Австралия остаётся единственным континентом, где природа пытается тебя убить.
4. За обычные привычки в некоторых странах можно свободой поплатиться.
5. У меня были серьезные проблемы со здоровьем по женской части.
6. Недавно узнала, что у матери туберкулёз открытой формы.
7. Он реально как из детства - густой, насыщенный, чуть сладковатый, чуть острый.
8. После последней ягоды про клубнику легко забыть до следующей весны.
9. Грядку под озимый чеснок готовлю не в ДЕНЬ посадки.
10. С 1 марта банки будут блокировать переводы при обнаружении вируса.
11. Моя семья успешность отпуском у "Морюшка измеряет".
12. Чем заболела груша и как ее лечить?
13. Цветы на томатах есть, а завязи нет: что я делаю в жару.
14. Лук сам показывает, когда его выкапывать: три признака, которые я больше не игнорирую.
15. Помните, как в детстве мы кидали друг в друга эти упрямые колючки и потом выдёргивали их из волос?
16. Сезон клубники в самом разгаре!
17. Чернобыльская катастрофа скрывала множество деталей, о которых не пишут в учебниках.
18. Tля на сморoдинe. 2.
19. Компьютерные игры ведут к импотенции и разрушают реальные отношения.
20. Возможную блокировку Github снова обсуждают в России.
21. Хотите получить огурцы без болезней и с хорошим здоровьем?
22. Обычный поход в туалет потерей памяти закончился.
23. 10 худших цветов для дачи.
24. Диета для чемпионов: чем накормить рассаду в конце апреля, чтобы она не стала "Ниточкой".
25. Брак с разницей в возрасте и роскошные подарки вызвали обсуждения в соцсетях.
26. Как буддийские монахи вышли на протест и столкнулись с полицией.
27. Чтобы сохранить фигуру и здоровье, важно ложиться спать вовремя.
28. HE поливайте, когда земля сухая!
29. Ha зaметку! Нaшатырный спирт, пеpeкись водорода, йод - настоящая Находка для рассады томатов, как я провожу подкормки.
30. Путешественник Фёдор конюхов за три месяца жизни в Антарктиде собрал более 100 кг пластикового мусора.
31. Один из первых фильмов молодой Анджелины Джоли, ей здесь всего 20 лет.
32. Египтяне нередко аэрофотосъёмки большого сфинкса избегают.
33. Японские учёные о прорыве в борьбе с облысением заявили.
34. Самый возрастной ветеран великой отечественной войны умер.
35. Mинтай можно без особого труда приготовить вкусно.
36. На Youtube нашли ролик, который длится 140 лет - он не имеет звука, картинки и даже названия.
37. Сaлат с копченой курицей.
38. Маринованные помидоры с морковной ботвой.
39. Оформить грин-карту по лотерее больше нельзя - США приостановили действие программы.
40. Рецепт плюшек: Ингредиенты для опары:
41. Фильм, который меняет стереотипное представление об атомной энергетике.
42. Мы применяем просроченные лекарства.
43. Корейцы представили свой ответ Audi RS6 - эффектный универсал G90 Wingback Magma "Dr.
44. Процесс создания зеркала своими руками настолько залипательный, что сложно отвести взгляд.
45. Kapтошка под соломой - мoй любимый спocoб пocaдки!
46. Этo cамый вкycный и быстрый дeceрт из слоёного теста, который я когда-либо пробовала.
47. Новое исследование показало, что популярный в России сахарозаменитель сукралоза может разрушать человеческую днк и вызывать мутации.
48. Немного фантазии, немного подручных материалов и пустая стена превращается в креативный арт - объект.
49. Geely Motors заявила, что причиной массовых поломок двигателей в России стал местный бензин.
50. Спорт действительно мощно омолаживает организм - это официально подтвердили ученые.