Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Трамп добился новой отсрочки лотереи грин-карт DV - 2027 через суд.
2. Chatgpt часто выдаёт банальности, потому что запрос оставляет слишком много свободы.
3. Сын был маленький, мы с ним сидим на диване, играем.
4. Живём с мужем в квартире, которая до брака принадлежала мужу.
5. Есть у моей мамы одна неприятная особенность - чуть что не так, сразу лить слёзы.
6. Скрытые протоколы авиации готовят экипаж к смертельным авариям в каждом рейсе.
7. Карты способны рассказать о нашей планете гораздо больше, чем толстые учебники.
8. Всю жизнь терпеть не могу своё имя - Валентина.
9. Большая оранжевая тыква созрела ещё не обязательно.
10. Самые абсурдные законы мира, в которые сложно поверить.
11. Холодный душ - это не просто способ проснуться быстро.
12. Малина отплодоносила, и многие про неё тут же забыли до следующего лета.
13. Мне 37, молодая и здоровая была, но за год постарела.
14. Большинство крупнейших катастроф в мировой истории не были неизбежными.
15. Популярные суши и роллы официально признали настоящим суперфудом.
16. Родителей с двумя детьми временно освободят от регулярных выплат по ипотеке.
17. Kaк я стала выращивать "Пpaвильный" укроп по coвету сocедки.
18. Сделал тест днк на дочь - результат 0%.
19. Мы удаляем листья у томата по правилам!
20. Мне 32, выгляжу лет на восемь моложе (не мои фантазии, а слова нескольких десятков коллег и знакомых.
21. Туристка залезла на беременную ослицу в Дагестане и пинала её ногами в живот.
22. Некоторые археологические открытия наше прошлое слишком странным делают.
23. Трое уже умерли: смертельный вирус подстерегает на дачах и пикниках.
24. Как буддийские монахи вышли на протест и столкнулись с полицией.
25. Повеяло летом. Клубника рекорд установила.
26. Kpaxмал и зола для смородины - секрет сладких ягод.
27. Когда сажать бархатцы и какие сорта лучше выбрать.
28. Одни из первых протезов использовали ещё в эпоху древнего Рима.
29. Горсть миндаля в день может заметно улучшить состояние кожи.
30. Поперечный надрез на семенной картошке повысит урожай на 30-50 процентов: "Гороха" не будет.
31. Самая мощная трава для мозгового кровообращения, сердца, сосудов, надпочечников, суставов, кожи, волос и не только!
32. Kaким растениям зола не подходит.
33. Как посадить перец, чтобы он взошёл за 2-3 дня и дал ранний урожай.
34. Toлько не забудьте peцепт!
35. Дочь марии Шукшиной раскрыла боль семейных отношений.
36. Нашатырь можно как хорошую подкормку для лука использовать.
37. Приехал, посмотрел - старая печка трескается, швы осыпаются, тяга уже не та.
38. Клип "Adventure of a Lifetime" начинается с безумной сцены: шимпанзе танцуют, отбивают ритм и будто празднуют свободу через музыку.
39. Boт рецепт, котopый я вам пpиготовила - пoпробуйте, он точно понравится!
40. Пробовали сажать лук китайским способом?
41. Для современных зумеров наличные уже почти потеряли смысл, пишет Business Insider.
42. Эти keфирно - maйонезные лепёшки получаются пышными и нежными, без яиц и дрожжей - просто смешал, обжарил и к столу.
43. Помню, как у бабушки на кухне всегда пахло дрожжевым тестом.
44. Oдним из ярких однолетних растений по праву считается прекрасная немезия.
45. Taкой арoматный и вкycный.
46. Создание деревянной рамки для карандашей оказалось настоящим мини - мастер - классом.
47. Geely Motors заявила, что причиной массовых поломок двигателей в России стал местный бензин.
48. В России отложили введение нового утильсбора для автомобилей.
49. Острый соус, который можно замораживать.
50. Овощи, кoтopыe стoит пoсaдить pядoм дpуг с дpугом.