31 najbolji alat za struganje weba
Miscelanea / / April 22, 2022
Za ljude koji nisu upoznati s kodiranjem, stvaranje web scrapera može biti teško. Srećom, softver za struganje weba dostupan je i programerima i onima koji nisu programeri. Web scraping softver je posebno dizajniran softver za dobivanje relevantnih podataka s web stranica. Ovi alati su korisni svima koji na neki način žele dobiti podatke s interneta. Ti se podaci bilježe u lokalnoj datoteci na računalu ili u bazi podataka. To je tehnika autonomnog prikupljanja podataka za web. Donosimo na popis 31 najboljeg besplatnog alata za struganje weba.
Sadržaj
- 31 najbolji alat za struganje weba
- 1. Nadmudriti
- 2. PareseHub
- 3. Apify
- 4. Scrapestack
- 5. FMiner
- 6. Sequentum
- 7. Agent
- 8. Import.io
- 9. Webz.io
- 10. Scrapeowl
- 11. Scrapingbee
- 12. Svijetli podaci
- 13. API za struganje
- 14. Dexi Inteligentna
- 15. Diffbot
- 16. Data Streamer
- 17. Mozenda
- 18. Chrome proširenje Data Miner
- 19. Scrapy
- 20. ScrapeHero Cloud
- 21. Scraper podataka
- 22. Visual Web Ripper
- 23. Octoparse
- 24. Web Harvey
- 25. PySpider
- 26. Grabber sadržaja
- 27. Kimurai
- 28. Živjeli
- 29. Lutkar
- 30. Dramaturg
- 31. PJScrape
31 najbolji alat za struganje weba
Odabrani popis najboljih alata za struganje weba možete pronaći ovdje. Ovaj popis sadrži i komercijalne i alate otvorenog koda, kao i veze do odgovarajućih web-mjesta.
1. Nadmudriti
Nadmudriti je dodatak za Firefox koji se jednostavno instalira iz trgovine dodataka za Firefox.
- Ovaj alat za struganje podataka olakšava prikupljanje kontakata s weba i putem e-pošte.
- Ovisno o vašim zahtjevima, imat ćete tri alternative za kupnju ovog proizvoda.
- Pro
- Stručnjak, i
- Poduzeće dostupna su izdanja.
- Za traženje podataka s web-mjesta koja koriste Outwit hub nije potrebno znanje programiranja.
- Možete početi strugati stotine web stranica jednim klikom na gumb za istraživanje.
2. PareseHub
ParseHub je još jedan od najboljih besplatnih alata za struganje weba.
- Prije preuzimanja podataka, očistite tekst i HTML.
- Jednostavno je kao da odaberete podatke koje želite izdvojiti pomoću našeg sofisticiranog web strugača.
- To je jedan od najboljih alata za scraping podataka jer vam omogućuje pohranjivanje skupljenih podataka u bilo kojem formatu za daljnju analizu.
- Grafičko sučelje prilagođeno korisniku
- Ovaj alat za struganje interneta omogućuje vam automatsko prikupljanje i spremanje podataka na poslužiteljima.
Također pročitajte: 16 najboljih proširenja za blokiranje oglasa za Chrome
3. Apify
Apify je još jedan od najboljih alata za scraping i automatizaciju weba koji vam omogućuje izradu API-ja za bilo koju web stranicu, s ugrađenim proxyjima za stambene i podatkovne centre koji olakšavaju ekstrakciju podataka.
- Apify brine o infrastrukturi i naplati, dopuštajući programerima da pasivno zarađuju dizajnirajući alate za druge.
- Neki od dostupnih konektora su Zapier, Integromat, Keboola, i Airbyte.
- Apify Store ima gotova rješenja za struganje za popularne web stranice kao što su Instagram, Facebook, Twitter i Google Maps.
- JSON, XML, CSV, HTML i Excel su strukturirani oblici koji se mogu preuzeti.
- HTTPS, ciljanje geolokacije, pametna rotacija IP-a i GoogleSERP proxy su sve značajke Apify proxyja.
- Besplatno 30-dnevno proxy proxy s Kredit za platformu od 5 USD.
4. Scrapestack
Scrapestack koristi ga preko 2000 tvrtki, a oslanjaju se na ovaj jedinstveni API koji pokreće apilayer. To je jedan od najboljih besplatnih alata za struganje weba.
- Koristi svjetski skup IP adresa od 35 milijuna podatkovnih centara.
- Omogućuje izvođenje više API zahtjeva odjednom.
- Oba CAPTCHAdešifriranje i JavaScript renderiranje je podržano.
- Dostupne su i besplatne i plaćene opcije.
- Scrapestack je internetsko struganje REST API koji radi u stvarnom vremenu.
- API za scrapestack omogućuje vam da scrape web stranice u milisekundama koristeći milijune proxy IP adresa, preglednika i CAPTCHA.
- Zahtjevi za scraping web mogu se poslati s više od 100 različitih lokacija diljem svijeta.
5. FMiner
Za Windows i Mac OS, FMiner popularan je internetski program za struganje, ekstrakciju podataka, crawling po ekranu, makronaredbe i program za web podršku.
- Podaci se mogu prikupljati iz dinamike koju je teško indeksirati Web 2.0 web stranice.
- Omogućuje vam izradu projekta ekstrakcije podataka pomoću vizualnog uređivača, koji je jednostavan za korištenje.
- Koristi kombinaciju struktura veza, padajućih izbornika i podudaranja URL uzorka kako bi vam omogućio da kopate po web stranicama.
- Za ciljanje web-mjesta možete koristiti automatske decaptcha usluge treće strane ili ručni unos CAPTCHA zaštita.
6. Sequentum
The Sequentum je robustan alat za velike podatke za dobivanje pouzdanih online podataka. To je još jedan od najboljih besplatnih alata za struganje weba.
- U usporedbi s alternativnim rješenjima, vađenje online podataka postaje brže.
- Pomoću ove značajke možete prelaziti između više platformi.
- To je jedan od najmoćnijih web strugača za rast vaše tvrtke. Sadrži jednostavne značajke uključujući vizualni uređivač pokaži i klikni.
- The namjenski web API pomoći će vam u razvoju web aplikacija dopuštajući vam da izvršavate web podatke izravno s vaše web stranice.
Također pročitajte:Top 15 najboljih besplatnih IPTV igrača
7. Agent
Agent je program za struganje podataka, ekstrakciju teksta i OCR koji koristi robotsku automatizaciju procesa.
- Ovaj vam program omogućuje prenamjenu svih vaših obrađenih podataka u analitičke svrhe.
- Možete izgraditi agenta sa samo nekoliko klikova mišem.
- Primit ćete poruku e-pošte nakon što vaš zadatak bude dovršen.
- Omogućuje vam povezivanje na Dropbox i koristite sigurno FTP.
- Svi zapisnici aktivnosti za sve pojave dostupni su za pregled.
- Pomaže vam u poboljšanju uspjeha vaše tvrtke.
- Omogućuje vam jednostavnu implementaciju poslovnih pravila i prilagođene logike.
8. Import.io
Uvozom podataka s određene web stranice i izvozom podataka u CSV, uvoz.io aplikacija za struganje weba pomaže vam u formiranju vaših skupova podataka. Također je jedan od najboljih alata za struganje weba. Sljedeće su značajke ovog alata.
- Web obrasci/prijave jednostavni su za korištenje.
- To je jedno od najboljih rješenja za scraping podataka za korištenje Apis i web-dojavnici za integraciju podataka u aplikacije.
- Uvid možete dobiti putem izvješća, grafikona i vizualizacija.
- Izvlačenje podataka treba planirati unaprijed.
- Import.io oblak vam omogućuje pohranjivanje i pristup podacima.
- Interakcija s webom i tijekovi rada mogu se automatizirati.
9. Webz.io
Webz.io omogućuje vam indeksiranje stotina web-mjesta i pristup strukturiranim podacima u stvarnom vremenu. Također je jedan od najboljih besplatnih alata za struganje weba.
Možete nabaviti organizirane, strojno čitljive skupove podataka u JSON i XML formatima.
- Omogućuje vam pristup povijesni izvori koji se protežu preko deset godina podataka.
- Omogućuje vam pristup velikoj bazi podataka feedova bez plaćanja dodatnih troškova.
- Možete koristiti napredni filtar za napraviti detaljnu analizu i unos podataka.
Također pročitajte:15 najboljih besplatnih pružatelja usluga e-pošte za mala poduzeća
10. Scrapeowl
Sova strugati je platforma za struganje weba koja je jednostavna za korištenje i ekonomična.
- Primarni cilj Scrape Owl-a je izgrebati bilo koju vrstu podataka, uključujući e-trgovinu, oglasne ploče i popise nekretnina.
- Prije vađenja materijala, možete pokrenuti custom JavaScript.
- Možete koristiti lokacije da biste zaobišli lokalna ograničenja i pristupili lokalnom sadržaju.
- Pruža pouzdanu funkciju čekanja.
- Podržano je JavaScript prikazivanje cijele stranice.
- Ova se aplikacija može koristiti izravno na a Google tablica.
- Nudi besplatnu probnu verziju od 1000 kredita za isprobavanje usluge prije kupnje bilo kakvog članstva. Nema potrebe za korištenjem kreditne kartice.
11. Scrapingbee
Scrapingbee je API za struganje weba koji se brine o proxy postavkama i bezglavim preglednicima.
- Može izvršavati Javascript na stranicama i rotirati proxy za svaki zahtjev, tako da možete čitati sirovi HTML bez da se nađete na crnoj listi.
- Dostupan je i drugi API za izdvajanje rezultata Google pretraživanja.
- JavaScript renderiranje je podržano.
- Ima značajku automatske rotacije proxyja.
- Ova se aplikacija može koristiti izravno na Google tablice.
- Za korištenje programa potreban je web-preglednik Chrome.
- Idealan je za Amazonstruganje.
- Omogućuje vam da skidate Google rezultate.
12. Svijetli podaci
Svijetli podaci je vodeća svjetska mrežna podatkovna platforma, koja nudi isplativo rješenje za prikupljanje javnih web podataka u velikom obimu, pretvaranje nestrukturiranih podataka u strukturirane podatke s lakoćom i pružaju vrhunsko korisničko iskustvo dok su potpuno transparentni i sukladan.
- Najprilagodljiviji je jer dolazi s unaprijed izrađenim rješenjima te je proširiv i podesiv.
- Sljedeća generacija Bright Data Sakupljač podataka pruža automatizirani i personalizirani tijek podataka na jednoj nadzornoj ploči, bez obzira na veličinu zbirke.
- Otvoren je 24 sata dnevno, sedam dana u tjednu i nudi pomoć korisnicima.
- Iz e-trgovinatrendovi i podataka društvenih mreža za obavještavanje konkurencije i istraživanje tržišta, skupovi podataka prilagođeni su potrebama vašeg poslovanja.
- Možete se koncentrirati na svoj primarni posao automatiziranjem pristupa pouzdanim podacima u svojoj djelatnosti.
- Najučinkovitiji je jer koristi rješenja bez koda i koristi manje resursa.
- Najpouzdaniji, s najkvalitetnijim podacima, većim radnim vremenom, bržim podacima i boljom uslugom za korisnike.
13. API za struganje
Možete koristiti API za struganje alat za rukovanje proxyjima, preglednicima i CAPTCHA.
- Alat pruža brzinu i pouzdanost bez premca, omogućujući stvaranje skalabilnih web strugača.
- HTML možete dobiti s bilo koje web stranice jednim pozivom API-ja.
- Postavljanje je jednostavno jer sve što trebate učiniti je poslati GET zahtjev sa svojim API ključ i URL prema API krajnja točka.
- Dopušta JavaScript da se lakše prikaže.
- Omogućuje vam da prilagodite vrstu zahtjeva i zaglavlja za svaki zahtjev.
- Rotirajući proxy s geografskim položajem
Također pročitajte:20 najboljih aplikacija za praćenje mobitela
14. Dexi Inteligentna
Dexi inteligentna je online aplikacija za struganje koja vam omogućuje da pretvorite bilo koju količinu web podataka u brzu komercijalnu vrijednost.
- Ovaj online alat za struganje omogućuje vam uštedu novca i vremena za vašu tvrtku.
- Poboljšala je produktivnost, točnost i kvalitetu.
- Omogućuje najbrže i najučinkovitije vađenje podataka.
- Ono ima sustav za prikupljanje znanja velikih razmjera.
15. Diffbot
Diffbot omogućuje vam brzo dobivanje raznih važnih činjenica s interneta.
- S AI ekstraktorima moći ćete izvući točne strukturirane podatke iz bilo kojeg URL-a.
- Neće vam se naplatiti dugotrajno scraping web stranice ili ručni upit.
- Kako bi se izgradila cjelovita i točna slika svakog objekta, mnogi izvori podataka se spajaju.
- Strukturirane podatke možete izdvojiti iz bilo kojeg URL s AI ekstraktori.
- S Crawlbot, možete povećati svoju ekstrakciju na desetke tisuća domena.
- The Grafikon znanja značajka pruža webu točne, potpune i duboke podatke koji su BI potrebni za isporuku smislenih uvida.
16. Data Streamer
Data Streamer je tehnologija koja vam omogućuje dobivanje materijala za društvene mreže s cijelog interneta.
- To je jedan od najvećih internetskih strugača koji koristi obradu prirodnog jezika za dohvaćanje ključnih metapodataka.
- Kibana i Elasticsearch koriste se za pružanje integriranog pretraživanja cijelog teksta.
- Na temelju algoritama za dohvaćanje informacija, integriranog uklanjanja šablona i izdvajanja sadržaja.
- Izgrađen na infrastrukturi otpornoj na greške kako bi pružio visoku dostupnost informacija.
Također pročitajte:Kako blokirati i deblokirati web stranicu na Google Chromeu
17. Mozenda
Možete izdvojiti tekst, fotografije i PDF materijal s web stranica pomoću Mozenda.
- Možete koristiti Bl alat ili bazu podataka po svom izboru za prikupljanje i objavljivanje online podataka.
- To je jedan od najboljih online alata za scraping za organiziranje i formatiranje podatkovnih datoteka za objavljivanje.
- Uz sučelje pokaži i klikni, možete stvoriti agente za struganje weba za nekoliko minuta.
- Za prikupljanje web podataka u stvarnom vremenu, koristite Sekvencer poslova i Zahtjev za blokiranjesposobnosti.
- Upravljanje računom i usluga za korisnike među najboljima su u industriji.
18. Chrome proširenje Data Miner
Scraping web i hvatanje podataka olakšavaju se s Dodatak za preglednik Data Miner.
- Ima mogućnost indeksiranja nekoliko stranica, kao i dinamičkog vađenja podataka.
- Odabir podataka može se izvršiti na različite načine.
- Provjerava podatke koji su skupljeni.
- Podaci se skupljaju mogu spremiti kao CSV datoteka.
- Lokalna pohrana se koristi za pohranu kopiranih podataka.
- Dodatak za Chrome Web Scraper povlači podatke s dinamičkih stranica.
- it Sitemapovi se mogu uvoziti i izvoziti.
Također pročitajte:28 Najbolji softver za kopiranje datoteka za Windows
19. Scrapy
Scrapy je također jedan od najboljih alata za struganje weba. To je Python-bazirani open-source okvir za mrežno struganje za stvaranje web scrapera.
- Pruža vam sve alate koji su vam potrebni za brzo izdvajanje podataka s web-mjesta, njihovu analizu i spremanje u strukturi i formatu po vašem izboru.
- Ovaj alat za scraping podataka neophodan je ako imate veliki projekt scraping podataka i želite ga učiniti što učinkovitijim uz očuvanje velike fleksibilnosti.
- Podaci se mogu izvesti kao JSON, CSV, ili XML.
- Podržani su Linux, Mac OS X i Windows.
- Razvijen je na temelju Twisted asinkrone mrežne tehnologije, što je jedna od njegovih ključnih značajki.
- Scrapy je poznat po svojoj jednostavnosti korištenja, opsežnoj dokumentaciji i aktivnoj zajednici.
20. ScrapeHero Cloud
ScrapeHero uzeo je svoje dugogodišnje znanje o indeksiranju weba i pretvorio ga u ekonomične i jednostavne za korištenje unaprijed izgrađene alate za indeksiranje i API-je za scraping podataka sa stranica kao što su Amazon, Google, Walmart i drugi.
- ScrapeHero Cloud alati za indeksiranje uključuju automatsko rotiranje proxyja i mogućnost pokretanja više alata za indeksiranje u isto vrijeme.
- Ne morate preuzimati niti naučiti kako koristiti alate ili softver za scraping podataka ScrapeHero Cloud.
- ScrapeHero Cloud alati za indeksiranje omogućuju vam da trenutno skrežete podatke i izvezete ih JSON, CSV, ili Excel formati.
- Klijenti besplatnog i Lite plana ScrapeHero Clouda primaju pomoć putem e-pošte, dok svi ostali planovi primaju uslugu Priority.
- ScrapeHero Cloud alati za indeksiranje također se mogu konfigurirati tako da zadovolje specifične zahtjeve korisnika.
- To je web strugač baziran na pregledniku koji radi s bilo kojim web preglednikom.
- Ne trebate nikakvo znanje programiranja niti za razvoj strugača; jednostavno je poput klikanja, kopiranja i lijepljenja!
Također pročitajte:Popravite pogrešku u JavaScriptu Discord pri pokretanju
21. Scraper podataka
Scraper podataka besplatna je online aplikacija za struganje koja skuplja podatke s jedne web stranice i sprema ih kao CSV ili XSL datoteke.
- To je proširenje preglednika koje pretvara podatke u uredan tablični format.
- Instalacija dodatka zahtijeva korištenje Google Chrome preglednik.
- Uz besplatnu verziju možete pregledati 500 stranica svaki mjesec; ali, ako želite skupljati više stranica, morate nadograditi na jedan od skupih planova.
22. Visual Web Ripper
Visual Web Ripper je alat za automatsko scraping podataka za web stranice.
- Strukture podataka prikupljaju se s web-mjesta ili rezultata pretraživanja pomoću ovog alata.
- Možete izvesti podatke u CSV, XML, i Excel datoteke, a ima sučelje prilagođeno korisniku.
- Također može prikupljati podatke s dinamičkih web-mjesta, poput onih koje koriste AJAX.
- Jednostavno trebate postaviti nekoliko predložaka, a web strugač će se pobrinuti za ostalo.
- Visual Web Ripper nudi opcije zakazivanja, pa čak i šalje vam e-poštu ako projekt ne uspije.
23. Octoparse
Octoparse je user-friendly aplikacija za struganje web stranica s vizualnim sučeljem. To je jedan od najboljih besplatnih alata za struganje weba. Sljedeće su značajke ovog alata.
- Njegovo sučelje pokaži i klikni olakšava odabir informacija koje želite izvući s web stranice. Octoparse može obraditi i statičke i dinamičke web stranice zahvaljujući AJAX, JavaScript, kolačiće i druge mogućnosti.
- Sada su dostupne napredne usluge u oblaku koje vam omogućuju izdvajanje velikih količina podataka.
- Izrezane informacije mogu se spremiti kao TXT, CSV, HTML, ili XLSX datoteke.
- Besplatna verzija Octoparsea omogućuje vam izradu do 10 crawlera; međutim, planovi plaćenog članstva uključuju značajke kao što su API i veliki broj anonimnih IP-ova proxyja, koji će ubrzati vaše izdvajanje i omogućiti vam preuzimanje velikih količina podataka stvarno vrijeme.
Također pročitajte:Zip ili raspakirajte datoteke i mape u sustavu Windows 10
24. Web Harvey
WebHarveyeva vizualni web scraper ima ugrađeni preglednik za scraping podataka s internetskih stranica. Također je jedan od najboljih alata za struganje weba. Evo nekoliko značajki ovog alata.
- Nudi sučelje pokaži i klikni koje olakšava odabir stavki.
- Ovaj strugač ima prednost jer ne zahtijeva od vas pisati nikakav kod.
- CSV, JSON, i XML datoteke se mogu koristiti za spremanje podataka.
- Također ga je moguće spremiti u a SQLbaza podataka. WebHarvey ima funkciju scrapinga na više razina koja može skidati podatke sa stranica s popisom prateći svaku razinu povezivanja kategorija.
- Regularni izrazi se mogu koristiti s internetskim alatom za struganje, što vam daje dodatnu slobodu.
- Možete postaviti proxy poslužitelje kako bi vaš IP bio skriven dok povlačite podatke s web-mjesta, što vam omogućuje da sačuvate određenu mjeru privatnosti.
25. PySpider
PySpider je također jedan od najboljih besplatnih alata za struganje weba koji je web indeksator baziran na Pythonu. Nekoliko značajki ovog alata navedene su u nastavku.
- Ima distribuiranu arhitekturu i podržava Javascript stranice.
- Na ovaj način možete imati mnogo alata za indeksiranje. PySpider može pohraniti podatke na bilo koju pozadinu koju odaberete, uključujući MongoDB, MySQL, Redis, i drugi.
- Redovi poruka kao što su RabbitMQ, Stabljika graha, i Redis su dostupni.
- Jedna od prednosti PySpidera je njegovo jednostavno korisničko sučelje, koje vam omogućuje promjenu skripti, praćenje aktivnih aktivnosti i ispitivanje rezultata.
- Informacije se mogu preuzeti u JSON i CSV formatima.
- PySpider je internetska analiza koju treba uzeti u obzir ako radite s korisničkim sučeljem temeljenim na web stranici.
- Također radi s web stranicama koje koriste puno AJAX.
26. Grabber sadržaja
Grabber sadržaja je vizualni online alat za struganje s jednostavnim sučeljem usmjeri i klikni za odabir stavki. Sljedeće su značajke ovog alata.
- CSV, XLSX, JSON i PDF formati su u kojima se podaci mogu izvoziti. Za korištenje ovog alata potrebne su srednje vještine programiranja.
- Paginacija, neograničeno pomicanje stranica i skočni prozori su mogući s njegovim korisničkim sučeljem.
- Također značajke AJAX/Javascript obrada, captcha rješenje, podrška regularnom izrazu i rotacija IP-a (koristeći Nohodo).
Također pročitajte:7-Zip vs WinZip vs WinRAR (najbolji alat za kompresiju datoteka)
27. Kimurai
Kimurai je Ruby web-scraping okvir za stvaranje strugača i vađenje podataka. Također je jedan od najboljih besplatnih alata za struganje weba. Evo nekoliko značajki ovog alata.
- Omogućuje nam da skrapamo i komuniciramo s web-stranicama koje je proizveo JavaScript odmah iz kutije Bezglavi Chromium/Firefox, PhantomJS, ili osnovne HTTP upite.
- Ima sličnu sintaksu kao Scrapy i opcije koje se mogu konfigurirati uključujući postavljanje odgode, rotiranje korisničkih agenata i zadana zaglavlja.
- Također komunicira s web stranicama pomoću Capybara okvir za testiranje.
28. Živjeli
Živjeli je još jedan od najboljih alata za struganje weba. To je paket koji analizira HTML i XML dokumente i omogućuje vam rad s preuzetim podacima koristeći jQuery sintaksu. Sljedeće su značajke ovog alata.
- Ako razvijate JavaScript web strugač, Cheerio API pruža brz izbor za raščlanjivanje, modificiranje i prikaz podataka.
- Ne generira izlaz u web-pregledniku, primijenite CSS, učitajte vanjske resurse ili pokrenite JavaScript.
- Ako je neka od ovih funkcija potrebna, trebali biste je pogledati PhantomJS ili JSDom.
Također pročitajte:Kako omogućiti ili onemogućiti JavaScript u svom pregledniku
29. Lutkar
Lutkar je paket Node koji vam omogućuje upravljanje Googleovim preglednikom Chrome bez glave pomoću moćnog, ali jednostavnog API-ja. Nekoliko značajki ovog alata navedene su u nastavku.
- Radi u pozadini, izvršavajući naredbe putem API-ja.
- Preglednik bez glave je onaj koji može slati i primati zahtjeve, ali mu nedostaje grafičko korisničko sučelje.
- Puppeteer je pravo rješenje za zadatak ako se informacije koje tražite generiraju kombinacijom API podaci i Javascript kodirati.
- Možete oponašati korisničko iskustvo upisivanjem i klikom na istim mjestima na kojima to rade.
- Puppeteer se također može koristiti za snimanje snimki zaslona web stranica koje se prema zadanim postavkama prikazuju kada se otvori web preglednik.
30. Dramaturg
Dramaturg je knjižnica Microsoft Node dizajnirana za automatizaciju preglednika. To je još jedan od najboljih besplatnih alata za struganje weba. Evo nekoliko značajki ovog alata.
- Nudi kompetentnu, pouzdanu i brzu automatizaciju web-preglednika.
- Namjera Playwrighta bila je poboljšati automatsko testiranje korisničkog sučelja uklanjanjem kvarova, povećanjem brzine izvršavanja i pružanjem uvida u način rada preglednika.
- To je moderna aplikacija za automatizaciju preglednika koja je na mnogo načina usporediva s Puppeteerom i dolazi s unaprijed instaliranim kompatibilnim preglednicima.
- Njegova glavna prednost je kompatibilnost s različitim preglednicima budući da može raditi Krom, WebKit, i Firefox.
- Dramaturg se integrira sa Docker, Azure, Travis CI, i AppVeyor redovito.
Također pročitajte:Popravite zastoj uTorrenta pri povezivanju s kolegama
31. PJScrape
PJscrape je online alat za struganje temeljen na Pythonu koji koristi Javascript i JQuery. Sljedeće su značajke ovog alata.
- Dizajniran je za rad s PhantomJS-om, tako da možete skidati web-mjesta iz naredbenog retka u potpuno renderiranom kontekstu s omogućenom Javascriptom, bez potrebe za preglednikom.
- To znači da možete pristupiti ne samo DOM ali i Javascript varijable i funkcije, kao i Sadržaj učitan AJAX-om.
- Funkcije strugača ocjenjuju se u kontekstu cijelog preglednika.
Preporučeno:
- Kako isprazniti smeće na Androidu
- Top 28 najboljih alata za praćenje bugova
- Top 32 najbolja sigurna ROM mjesta
- 15 najboljih IRC klijenata za Mac i Linux
Nadamo se da je ovaj vodič bio od pomoći najbolji alati za struganje weba. Javite nam koji alat vam je lak. Nastavite posjećivati našu stranicu za još cool savjeta i trikova i ostavite svoje komentare u nastavku.