Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Ты думаешь, что просто утоляешь жажду, но на самом деле каждый день выпиваешь бомбу замедленного действия.
2. Депутат Горелкин слухи о блокировке Steam в России развеял.
3. Малина отплодоносила, и многие про неё тут же забыли до следующего лета.
4. Зеленый бочок у картошки: срезать или выбросить?
5. У моего отца дочь от первого брака была.
6. Некоторые места на земле настолько удалённые и безжалостные, что потеряться там - значит начать настоящую борьбу за выживание.
7. Я не худею к морю - езжу в Турцию.
8. Современные тюрьмы в разных странах мира совершенно по-разному выглядят.
9. Умер в день похорон дочки: не стало водителя скорой помощи, в которой погибли три человека.
10. Великая история древнего Рима до сих пор скрывает множество удивительных тайн.
11. Работаю в банке.
12. Моего кота зовут заяц.
13. Заметила, что люди, которые регулярно путешествуют, всегда более позитивные, счастливые, лёгкие, весёлые, успешные, целеустремлённые.
14. Мне 32, выгляжу лет на восемь моложе (не мои фантазии, а слова нескольких десятков коллег и знакомых.
15. Что я делаю с чесноком, чтобы он снова стал зелёным.
16. Haтуральные стимуляторы образования корней.
17. Недавно я английский язык выучила.
18. Почему вы зря деревья от лишайника белите?
19. Монтажная пена - один из самых недооценённых и в то же время самых неправильно используемых материалов в строительстве.
20. Совет по рассаде томатов.
21. Когда я злая, иногда захожу в социальные сети и ставлю всем реакции - какашки и клоунов через 30+ таких реакций отпускает.
22. Джим Керри и теория клона: что произошло на самом деле?
23. Какие вещества нужно положить в лунку при посадке томатов, чтобы вырастить обильный урожай?
24. Mинтай можно без особого труда приготовить вкусно.
25. В 2018 году 19-летняя эстель решила изменить имидж и покрасить волосы в тёмный цвет.
26. На такой высоте даже одна опорная колонна разрушила бы всю инженерную идею.
27. Оформить грин-карту по лотерее больше нельзя - США приостановили действие программы.
28. Россиянам собираются удвоить норму сверхурочной работы - с нынешних 120 до 240 часов в год.
29. Девушка своими руками соорудила аккуратную деревянную полочку и повесила её на стену.
30. Лариса долина публично обвинила "Хейтеров и Ботов" в срыве своих концертов.
31. Как правильно подкармливать пионы чтобы они пышно цвели.
32. Ни один шашлычек у нас не обходят без этой закуски!
33. Учёные в вейпах следы фекалий обнаружили.
34. Внимание абитуриентам! Поступление в российские вузы станет сложнее: с 2026/27 учебного года вырастут минимальные проходные баллы ЕГЭ.
35. Российские вузы в новом учебном году отдадут часть бюджетных мест иностранным студентам из Африки, северной Кореи и Афганистана.
36. Учёные разработали крем, который действительно убирает морщины - и в этот раз речь не о рекламе, а о подтверждённых клинических испытаниях.
37. Таксисты смогут продолжать возить пассажиров на своих иномарках до конца срока службы машин, заявили в минпромторге.
38. HR - специалисты бьют тревогу: зумеры всё чаще отказываются выходить на работу, ссылаясь на панические атаки.
39. Секрет крупного озимого чеснока - простая подкормка при посадке!
40. Оcнoвнaя рaбoтa oceнью - избaвитьcя oт зимующих cтaдий врeдных насекомых и болезней.
41. Овощи, кoтopыe стoит пoсaдить pядoм дpуг с дpугом.
42. Учёные установили, что имя человека играет важную роль в его профессиональном успехе и трудоустройстве.
43. Свежие данные из медицины показали неожиданную связь между весом и здоровьем мозга у пожилых людей.
44. В исследовании приняли участие 32 мужчины, недавно ставшие отцами.
45. В исследовании участвовали 3 тысячи сотрудников из 141 компании (США, Великобритания, Канада, Австралия, Ирландия, новая Зеландия.
46. Мужчина показала лучший способ сложить брюки на вешалке так, чтобы они не сползали.
47. Остров оборудован вертолётной площадкой для экстренного вылета и полностью автономен.
48. Грим в кино - это не просто макияж, а важная часть создания образа героя.
49. Топ-7 инструментов для веб-скрейпинга онлайн в 2025 году
50. Топ-11 лучших облачных сервисов для веб-скраппинга в 2025 году