Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Дочь воспитывает 5-летнего сына одна, горе - папаша слился после отказа сделать аборт.
2. Моя семья успешность отпуском у "Морюшка измеряет".
3. Самые абсурдные законы мира, в которые сложно поверить.
4. Ботва пожелтела, сосед уже достал вилы, и рука сама тянется копать картошку.
5. Всю зиму не могла нарадоваться этими огурчиками: маринованные огурцы по-фински.
6. Бургерные огурчики - хрустящие, пикантные и невероятно вкусные.
7. Недавно сестра опубликовала пост: "я набралась сил, чтобы простить всех, кто меня обижал всю мою жизнь.
8. Семь чудес древнего мира стали вершиной античной архитектурной мысли.
9. На старости лет нашёл лайфхак для ловеласа.
10. Ошибка Chatgpt российскую семью долгожданного отпуска в Македонии лишила.
11. Мастурбация у птиц абсолютно естественным поведением оказалась.
12. В Японии открылся уникальный музей для всех ценителей женских ног.
13. Победители первых "Игр на Стероидах" получат по 250 тысяч долларов.
14. Компьютерные игры ведут к импотенции и разрушают реальные отношения.
15. Сервис такси Bolt уволил всех кадровиков ради эффективности.
16. Малина в июне в правильной подкормке нуждается.
17. Плитка из ведерка от майонеза: дачный шик своими руками.
18. Препараты от болезней томатов!
19. Почему обеспеченные люди реже приложения для знакомств выбирают.
20. Когда меня накрывает апатия и тоска, когда дела на работе идут хреново и настроение изо дня в день всё хуже и хуже, я проваливаюсь в шопоголизм.
21. В Алматы установили памятник истории спасения собаки живой цепью.
22. Уже проснулись: как не встретить гадюку на любимых грядках.
23. Все лето держу окна в доме отрытыми и не боюсь комаров.
24. HE поливайте, когда земля сухая!
25. Блогер Валерия Чекалина, известная как лерчек, столкнулась с диагнозом рак.
26. Этой весной Россию накроет массовое нашествие комаров и клещей.
27. Джим Керри и теория клона: что произошло на самом деле?
28. Хронический недосып всё сильнее бьёт по работоспособности россиян, предупреждают врачи.
29. Hикогда не ставьте забор обратной стороной к соседу!
30. "Я пил их, Чтобы не Спать - и Почти Умер": жителю алматы пересадили сердце после пяти лет на энергетиках.
31. Heжнeйший пирог 4 стакана.
32. Их форма, цвет и даже расположение никогда не бывают случайными.
33. Что нужно знать о перце:
34. Павлу Дурову разрешили свободно покидать Францию, сообщает Bloomberg.
35. Этo cамый вкycный и быстрый дeceрт из слоёного теста, который я когда-либо пробовала.
36. Лучший способ хранения чеснока.
37. Это закуска на любом застолье на ура уходит!
38. Морозостойкие сорта гибридной хурмы.
39. Нашим любимым подписчикам, дачникам и садоводам на заметку.
40. Секс помогает бороться со стрессом и даже ускоряет восстановление после тренировок - к такому выводу пришли исследователи.
41. В московских клиниках лечение на современном оборудовании нормой стало.
42. Очень вкусная аджика на зиму!
43. Эти малыши, размером 5-10 см.
44. Остров оборудован вертолётной площадкой для экстренного вылета и полностью автономен.
45. Арбузы и смородина помогут разбудить "Мозг" в это дождливое лето.
46. Топ-15 лучших инструментов для веб-скраппинга в 2025 году
47. Топ-7 инструментов для веб-скрейпинга онлайн в 2025 году
48. Какие легенды и мифы связаны с историей Миасса
49. Почему гниет клубника на грядках и как этого избежать.
50. Организация дровника - важный аспект для хранения дров в порядке, сухости и удобстве использования.