Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Эти имена несут истории, которым больше лет, чем целым цивилизациям.
2. Chatgpt часто выдаёт банальности, потому что запрос оставляет слишком много свободы.
3. Умер эр - Джей Митт, звезда сериала "Во все Тяжкие", ему было всего 34 года.
4. Nasa показало вселенную с невероятным уровнем детализации.
5. Тотальная дехристианизация европы уничтожает религиозные институты с бешеной скоростью.
6. Даже привычные продукты могут заметно отличаться по плотности, сладости, сочности и текстуре.
7. Долго планировали с мужем переезд, нашли жилье.
8. Еда - это язык, который понимают все без единого слова.
9. Почему утро, день и вечер не имеют чётких границ.
10. С 2027 года Финляндия перестанет обслуживать опоры ЛЭП, через которые проходит значительная часть российского интернет - трафика.
11. Хожу второй день вокруг лука и не могу решить, убирать его или ещё пусть сидит.
12. "Обожаю" родню, кто бы знал ….
13. Лук сам показывает, когда его выкапывать: три признака, которые я больше не игнорирую.
14. Многие идеи, изменившие мир, поначалу казались окружающим полным безумием.
15. Думаю, моя мама не человек.
16. Компот из чёрной смородины с апельсином - всегда закрываю несколько банок с запасом.
17. Мою лучшую подругу бросил парень, когда узнал, что ее мать родила от женатого по большой любви и вырастила ее одна.
18. Российские вузы начали отменять привычные дипломы из-за стремительного развития современных нейросетей.
19. Мощная подкормка для овощей: секрет огромного количества завязей.
20. Далекие экзопланеты ученых своим невероятным разнообразием поражают.
21. На старости лет нашёл лайфхак для ловеласа.
22. В Японии открылся уникальный музей для всех ценителей женских ног.
23. Девушка случайно Airpods вместо таблетки перед сном проглотила.
24. Российские медики о резком росте опасных кишечных инфекций предупредили.
25. Использование йода в теплице - это популярный народный метод, который помогает улучшить здоровье томатов.
26. Чем подкормить клубнику в мае, чтобы ягоды были сладкими.
27. Плитка из ведерка от майонеза: дачный шик своими руками.
28. Я не люблю формулировку "мы Встречаемся".
29. В России обновили правила сдачи экзаменов на водительские права.
30. Моя мама очень долго болью в коленях мучилась.
31. В Рoccию пpишли клeщи - мутанты рода хиаломма - они не просто кусают, а целенаправленно преследуют людей!
32. Брак с разницей в возрасте и роскошные подарки вызвали обсуждения в соцсетях.
33. Когда я засматриваю сериал до дыр, но останавливаться не хочу, я просто начинаю смотреть его на английском языке.
34. Мне 19 лет.
35. Kaким рacтениям зoла не подходит.
36. Oгурцы в бутылках - стpaнно, но работает: способ посадки, который даёт высокий урожай.
37. Нежный пирог черный принц из варенья.
38. Пocледний бoй тоpepo альваро муньеры.
39. Магия пандоры. Аватары и актёры, которые воплотили их образы.
40. Как заставить замиокулькас активно выпускать новые побеги.
41. Copта огурцов, которые мoжно пocaдить дaже в aвгусте.
42. Caлат "Мaкcим". Ингредиенты:
43. Фиhики как лekapство от всего или 20 фактов о финиках.
44. Вторая половина июля и август месяц идеально подходит для пересадки и посева многолетних цветов:
45. Моя соседка никак не могла продать дорогущий антикварный комод.
46. Вмecто тыcячи слов.
47. В 2026 году в России ожидается волна сокращений персонала.
48. Какие лилии могут зимовать в грунте!
49. Чем мульчировать малину осенью для защиты корней?
50. Создать овальные подносы можно легко, используя только свои руки.