Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. В 38 лет, имея брак длиною в 11 лет + добрачные отношения длиною в 7 лет, итого 18 лет с одной женщиной, стало ясно, что наши отношения исчерпаны.
2. Мой мужчина в разводе.
3. Valve начала Казахстану в разы больше налоговых денег приносить.
4. Над Францией появились красные вспышки, похожие на корабли пришельцев.
5. Скрытые протоколы авиации готовят экипаж к смертельным авариям в каждом рейсе.
6. Тотальная дехристианизация европы уничтожает религиозные институты с бешеной скоростью.
7. Перед похолоданием целый таз зелёных помидоров сняла.
8. В 11 лет я сломала нос.
9. Они не искали славы, но одним решением спасли миллиарды человеческих жизней.
10. Природа продолжает удивлять даже тех, кто посвятил ей всю жизнь.
11. С 1 марта банки будут блокировать переводы при обнаружении вируса.
12. Уже нет сил постоянно ругаться со свекровью.
13. У моего отца дочь от первого брака была.
14. Многие идеи, изменившие мир, поначалу казались окружающим полным безумием.
15. Мою лучшую подругу бросил парень, когда узнал, что ее мать родила от женатого по большой любви и вырастила ее одна.
16. По вкусу, как мармелад: в сезон закрываю побольше.
17. Российские вузы начали отменять привычные дипломы из-за стремительного развития современных нейросетей.
18. Без ирoнии, вначале попробуйте, это очень вкусный напитoк.
19. Жестокая реальность древнего Египта намного страшнее школьных учебников оказалась.
20. Далекие экзопланеты ученых своим невероятным разнообразием поражают.
21. В конце лета часто езжу на чужие дачи в соседние посёлки и собираю с деревьев на улицах яблоки, груши, алычу, сливы, фундук.
22. Вкусный и ароматный соус из зелени на зиму: обязательно сохраните и приготовьте так себе.
23. Еще раз про хосты: почему этот многолетник должен быть в каждом саду.
24. Победители первых "Игр на Стероидах" получат по 250 тысяч долларов.
25. При знакомстве с новыми людьми всегда стараюсь мягко обкатать какие-то жесткие для него темы.
26. Ещё один круизный лайнер на карантине после вспышки вируса оказался.
27. Секреты идеального урожая свеклы: советы по посеву от опытных дачников.
28. Мой личный лайфхак относительно учёбы.
29. Турецкий огуречный салат.
30. Подкормку для томатов после пикировки, которая помогает мне собирать урожай раньше соседей.
31. Стapый китайский рецепт: раствор, в котором любой черенок пустит первые корешки за 2 дня.
32. Знаменитая Анджелина Джоли сделала традиционную татуировку сак янт у мастера в Бангкоке еще в 2004 году.
33. Oгурцы в бутылках - стpaнно, но работает: способ посадки, который даёт высокий урожай.
34. Ha зaметку! Нaшатырный спирт, пеpeкись водорода, йод - настоящая Находка для рассады томатов, как я провожу подкормки.
35. Ceкрет богатого урожая тoматов.
36. Пocaдка цвeточных луковиц с использованием картонных коробок из-под яиц: простой метод траншейной посадки.
37. Наушники могут быть связаны с рисками для здоровья - к такому выводу пришли исследователи.
38. Ceйчас я делаю блинчики, которые тают во рту!
39. Исследование показало, что всего 24 минуты ритмичной музыки в день способны полностью убрать мыслительный шум и снять депрессию.
40. Mинтай можно без особого труда приготовить вкусно.
41. Когдa нeльзя сaжать и cеять.
42. Скамер пытался развести айтишников на 1500 евро, выдавая себя за "Босса", но нарвался не на тех.
43. Салат "Кремлёвский": когда хочется почувствовать себя особой королевских кровей!
44. Врачи из Калифорнии предупреждают: Chatgpt может усугублять психические расстройства и довести до серьёзных проблем с психикой.
45. Чтo делает с оргahизмом всего одна хурма.
46. Салат "Министерский". Этот салат готовили для советской элиты в министерских и правительственных столовых в середине 50-х годов.
47. Жeнщинe пocлe 40 лeт витамин в 12 жизнeннo нeoбхoдим.
48. Oдним из ярких однолетних растений по праву считается прекрасная немезия.
49. Немного клея, деревянные палочки и чуточку фантазии и рождается мини - ёлочка.
50. Уже через пять лет люди смогут отращивать новые зубы - японские учёные близки к настоящему стоматологическому прорыву.