Лайфхаки

Маленькие, полезные хитрости

Прокси в парсере

Ещё один вопрос, который стоит обсудить — какие прокси использовать: публичные, общие или выделенные?

Выбор подхода к созданию и управлению пулом может быть головной болью. В этом разделе мы опишем некоторые вопросы, которые вам нужно задать себе при выборе наилучшего прокси-решения для ваших задач:


Делаю парсер страниц на python. Нужно постоянно обходить большое ко-во страниц. Например, 1М в день.
Для этого раньше использовал многопоточность TheadPool. Но когда возросло кол-во требуемых одновременных подключений до 80-100 скрипт начинал падать по памяти.
Почитал, что пишут надо переходить на asyncio.
Накидал простенький скрипт, где беру прокси из файлика, беру url и обхожу их. Для ограничения одновременности испольщую semaphore.
Но столкнулся с тем, что если у меня для прокси доступно, например 50 потоков, то при выборке 200 урлов, первые 50 отработаются правильно, а остальные уйдут в ошибку. Такое ощущение, что семафор не работает или я как то не так использую это.

Прежде чем говорить о прокси-серверах, нам сначала необходимо понять, что такое IP-адреса и как они работают (очень коротко). IP-адрес — это набор чисел, который присваивается любому устройству, подключенному к Internet Protocol, например, к интернету, что дает каждому устройству уникальный идентификатор. Большинство IP-адресов выглядят так:

207.148.1.212

Какие бывают прокси. Что такое прокси, зачем нужны прокси и какие бывают виды?

Последние обновления на сайте:

1. Сплетни на работе бустят карьеру, выяснили психологи - те, кто в курсе сплетен и используют их для своего успеха, получают повышения на 80% чаще.
2. Удивительные товарищи всё-таки - родственнички.
3. В поездах РЖД появится российский аналог Starlink - интернет будет работать даже в глуши.
4. Должны были с подружкой пойти в субботу на пробежку.
5. Хожу второй день вокруг лука и не могу решить, убирать его или ещё пусть сидит.
6. Компот из чёрной смородины с апельсином - всегда закрываю несколько банок с запасом.
7. Про проветривание теплицы.
8. Большинство крупнейших катастроф в мировой истории не были неизбежными.
9. Роскошные пиры древних римских императоров часто шокировали своими безумными кулинарными шедеврами.
10. Жестокая реальность древнего Египта намного страшнее школьных учебников оказалась.
11. Подкормка капусты в июне: мы выбираем лучшее для крепких кочанов.
12. Июнь - решающий месяц в борьбе с монилиозом в саду.
13. Уволенных россиян официально призвали готовиться к целому году безработицы.
14. Привычные повседневные продукты от потребителей свою темную историю скрывают.
15. Лиcтья свернулись и побелели после высадки в теплицу.
16. Даже ослабленные и истощённые огурцы быстро начнут расти и перестанут болеть, если их поливать следующими растворами:
17. Соседи в шоке: зачем я кладу горох в каждую лунку с картофелем?
18. Священник стал маской, чтобы спасти детский приют и жизнь детей.
19. В Алматы установили памятник истории спасения собаки живой цепью.
20. В 2003 году американские военные заняли один из роскошных дворцов Саддама Хусейна.
21. В госдуме предложили ограничить продажу зарубежных туров на фоне текущей ситуации.
22. Как посадить перец, чтобы он взошёл за 2-3 дня и дал ранний урожай.
23. Какие вещества нужно положить в лунку при посадке томатов, чтобы вырастить обильный урожай?
24. Редкий секс с повышенным риском смертности и болезней сердца связан.
25. Один из первых фильмов молодой Анджелины Джоли, ей здесь всего 20 лет.
26. Oгурцы будете рaздавать всем coceдям.
27. Хронический недосып всё сильнее бьёт по работоспособности россиян, предупреждают врачи.
28. Пpичины, пoчему уcыхает чеснок при хранении.
29. Google предупредила, что около миллиарда смартфонов на Android оказались под угрозой взлома.
30. Фигуру дочки Маликова бурно обсуждают в Сети.
31. Две близкие подруги из Алабамы почти одновременно узнали о беременности и сразу поняли, что судьба решила пошутить по - крупному.
32. Учёные выяснили, что пик сексуальной активности у мужчин приходится примерно на 35 лет.
33. Первый состав поп-группы ВИА гра включал в себя следующих участниц:
34. Copта огурцов, которые мoжно пocaдить дaже в aвгусте.
35. Затяжная магнитная буря уже началась и продлится до конца декабря.
36. Реакция гроссмейстера Дины беленькой на своего соперника - 11-летнего Александра ясински - быстро разлетелась по сети.
37. Кoгда усы клубники нужно обрезать?
38. Пpoще пpocтого! Никто не догадается как оно сделано!
39. Исследование показало, что матери в среднем тратят на сыновей больше, чем на дочерей.
40. Лариса долина публично обвинила "Хейтеров и Ботов" в срыве своих концертов.
41. Как правильно ухаживать за фиалками.
42. Минфин России предложил разбавлять бензин спиртом, чтобы увеличить объёмы топлива на рынке.
43. Новое исследование показало, что популярный в России сахарозаменитель сукралоза может разрушать человеческую днк и вызывать мутации.
44. Создание деревянной рамки для карандашей оказалось настоящим мини - мастер - классом.
45. HR - специалисты бьют тревогу: зумеры всё чаще отказываются выходить на работу, ссылаясь на панические атаки.
46. Розу из подаренного букета очень просто укoренить!
47. Мигрень и боли в спине могут возникать из-за перфекционизма - у людей с хронической болью внутренний критик активен чаще обычного.
48. Врачи предупреждают: привычка откладывать будильник может способствовать набору лишнего веса.
49. Учёные из университета эмори пришли к удивительному выводу: собаки любят своих хозяев даже больше, чем еду.
50. Девушка превратила обычный угол в стильное пространство с помощью деревянной полочки.