Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Перед похолоданием целый таз зелёных помидоров сняла.
2. Чуть не оставила фасоль на грядке до полного высыхания.
3. Стручковая фасоль обычно отправлялась у меня либо в рагу, либо сразу в морозилку.
4. Нереальный послужной список этого человека наглядно растаптывает любые оправдания чужой лени.
5. Соседка уже спрашивает, когда будем сажать озимый чеснок.
6. Уволенная сотрудница изощренно отомстила боссу перед своим уходом.
7. Дочь воспитывает 5-летнего сына одна, горе - папаша слился после отказа сделать аборт.
8. Пробу снимаю еще горячей и каждый раз радуюсь: кабачки не развариваются, а соус получается густым и пикантным.
9. В том случае, если баклажаны стоят красивой зелёной стеной, а плодов почти не видно - радоваться тут нечему.
10. Академик ран Онищенко призвал россиян не ездить отдыхать за границу: "Зачем Ездить в Турцию, Когда у нас в Стране Есть Практически все".
11. Роскошные мегаполисы будущего превращаются в пустые города - призраки вопреки гигантским финансовым вложениям.
12. Розы отцвели и стоят неряшливые: что я делаю, чтобы увидеть вторую волну цветения.
13. Устала, что на самом деле нет никакого сервиса, чтобы оставить детей под присмотром хотя бы на день.
14. Некоторые места на земле настолько удалённые и безжалостные, что потеряться там - значит начать настоящую борьбу за выживание.
15. Живу с родителями.
16. На море вляпалась в курортный роман.
17. Хроническая бедность способна значительно ускорять естественное старение организма.
18. Ошибка Chatgpt российскую семью долгожданного отпуска в Македонии лишила.
19. Здоровый быт начинается с внимания к предметам, которые вас окружают.
20. Много лет отжиралась, но сейчас железно решила сесть на диету.
21. Что я делаю с чесноком, чтобы он снова стал зелёным.
22. Так томаты в теплицу не просто так высаживают.
23. Обычные прогулки мощной поддержкой для организма оказались.
24. С детства занимаюсь армейским рукопашным боем - что-то вроде семейной традиции, да и почему бы не заниматься, когда тренер - отец.
25. Одна клетка кажется невероятно обширной в трёхмерной реконструкции.
26. Когда я злая, иногда захожу в социальные сети и ставлю всем реакции - какашки и клоунов через 30+ таких реакций отпускает.
27. Уже проснулись: как не встретить гадюку на любимых грядках.
28. Koгда затонул "Титаник", на борту судна нaxoдился миллионер Джон Джейкоб астop IV.
29. Ceкрет богатого урожая тoматов.
30. Наушники могут быть связаны с рисками для здоровья - к такому выводу пришли исследователи.
31. Пес по кличке умка больше года ждет в аэропорту Кызыла погибшего на сво хозяина.
32. Янвapский спacaтель: бабушкин рецепт, который ставит на ноги за ночь.
33. В Лос-анджелесе новый год отмечают необычным образом - под счетчик смертей от курения.
34. Конни Кан смотрит на животных как на людей, наделяя их характером, пластикой и узнаваемым стилем.
35. Пepecтаньте борoться с мoкрицей!
36. Скамер пытался развести айтишников на 1500 евро, выдавая себя за "Босса", но нарвался не на тех.
37. Пoчему лук стoит caжать в клyбнике.
38. Как правильно подкармливать пионы чтобы они пышно цвели.
39. Этот человек способен воссоздать любой оттенок, на который вы укажете, с безупречной точностью, и делает это каждый раз без использования машины.
40. Apple всерьёз взялась за индийских продавцов и пригрозила им штрафами и остановкой поставок, если айфоны снова окажутся в России.
41. В свердловской области запустили необычную программу стимулирования рождаемости: теперь за рождение детей будут выдавать ачивки.
42. Этот робот не просто убирает ваш дом - он его изучает.
43. Минфин России предложил разбавлять бензин спиртом, чтобы увеличить объёмы топлива на рынке.
44. Ни один шашлычек у нас не обходят без этой закуски!
45. Сотруднику Apple по имени Сэм Санг пришлось сменить фамилию, чтобы не рекламировать конкурента!
46. Клубника на подоконнике - аромат лета круглый год!
47. Сексологи выделили 10 скрытых признаков женского абьюза, на которые нельзя закрывать глаза.
48. Острый соус, который можно замораживать.
49. Учёные установили, что имя человека играет важную роль в его профессиональном успехе и трудоустройстве.
50. Ваш мозг буквально "Плавится" от жары - люди становятся раздражённее, глупее и менее продуктивными.