Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Тотальная дехристианизация европы уничтожает религиозные институты с бешеной скоростью.
2. Баклажаны "как Грибы" готовлю без жарки в половине бутылки масла.
3. Онколог спас пациенту жизнь, а в отзыве получил четыре звезды и издевательский мемный статус.
4. После последней ягоды про клубнику легко забыть до следующей весны.
5. Не понимаю лечо, в котором перец варили час и в итоге от него остались одни бесформенные тряпочки.
6. Срезала старую ветку смородины, а внутри вместо нормальной светлой сердцевины оказалась чёрная пустота.
7. В том случае, если баклажаны стоят красивой зелёной стеной, а плодов почти не видно - радоваться тут нечему.
8. Лук сам показывает, когда его выкапывать: три признака, которые я больше не игнорирую.
9. Мой муж в течение четырёх лет не подозревал, что это аджика из кабачков, он с удовольствием её ел, хотя кабачки обычно не любит!
10. Томаты будут краснеть быстрее и завязи не осыпятся: делаю одну простую обработку по листу.
11. Великая история древнего Рима до сих пор скрывает множество удивительных тайн.
12. Официальная мировая история помнит только выдающихся мужчин - победителей.
13. Припорошите междурядья моркови самой простой подкормкой и увидите какой крупной она вырастет.
14. Раньше я их просто выбрасывала, а теперь это наша любимая летняя закуска.
15. Голландский фотограф Альберт дрос вновь покорил сеть серией захватывающих снимков пейзажей Кыргызстана.
16. Ошибка Chatgpt российскую семью долгожданного отпуска в Македонии лишила.
17. Россияне массово откажутся от смартфонов Iphone ради отечественного мессенджера MAX.
18. Американская фирма случайно потратила огромные деньги на токены для популярной нейросети.
19. Как-то довелось быть свидетелем диалога двух дачниц.
20. Добрый день! Вдруг кто с подобным … сталкивался.
21. Обычные прогулки мощной поддержкой для организма оказались.
22. Сон при свете повышает риск ожирения.
23. Недавно я английский язык выучила.
24. Хитрости выращивания кабачков:
25. Гигантский астероид скоро рядом с землёй пройдёт.
26. Цензура запросов к искусственному интеллекту обсуждается в России.
27. Когда меня накрывает апатия и тоска, когда дела на работе идут хреново и настроение изо дня в день всё хуже и хуже, я проваливаюсь в шопоголизм.
28. Священник стал маской, чтобы спасти детский приют и жизнь детей.
29. В госдуме предложили ограничить продажу зарубежных туров на фоне текущей ситуации.
30. Маленькому панчу в зоопарке придётся расстаться с игрушечной мамой.
31. Нежный пирог черный принц из варенья.
32. Шварценеггер приехал в Ссср за искусством, мехами и легендой - и ни один пункт не пропустил.
33. Google предупредила, что около миллиарда смартфонов на Android оказались под угрозой взлома.
34. Самый возрастной ветеран великой отечественной войны умер.
35. Пирожки: забытый старый мамин рецепт.
36. Маркетплейс Wildberries готов выйти за пределы онлайн - продаж и открыть собственную сеть отелей на популярных зарубежных курортах, сообщают СМИ.
37. Peцепт лимонада, от котopoго дети будут в восторге: 10 литров без химии.
38. На такой высоте даже одна опорная колонна разрушила бы всю инженерную идею.
39. Ситуация с вич в России остаётся критической: по официальным данным, инфицирован каждый сотый россиянин.
40. Apple всерьёз взялась за индийских продавцов и пригрозила им штрафами и остановкой поставок, если айфоны снова окажутся в России.
41. Она решила не тратить деньги на готовый декор и собрала деревянную подставку сама.
42. Павлу Дурову разрешили свободно покидать Францию, сообщает Bloomberg.
43. Уже давно делаю по этому рецепту!
44. В России отложили введение нового утильсбора для автомобилей.
45. В России начались испытания новой вакцины против аллергии.
46. Секс помогает улучшать память - к такому выводу пришли американские учёные.
47. Ежедневный секс может стать отличным способом защититься от осенних простуд и орви - к такому выводу пришли учёные.
48. Мы готовим малинник к следующему сезону правильно!
49. Калина с медом.
50. Выбор садовой тяпки - важный этап для комфортной и эффективной работы в саду.