Kaip išanalizuoti tekstą
Įvairios / / April 05, 2023
Jei išmokote keletą kompiuterių programavimo kalbų, galbūt girdėjote terminą „teksto analizavimas“. Tai naudojama norint supaprastinti sudėtingas failo duomenų reikšmes. Straipsnis padeda sužinoti, kaip išanalizuoti tekstą naudojant kalbą. Be to, jei susidūrėte su klaida analizuojant tekstą x, jūs žinosite, kaip ištaisyti analizavimo klaidą straipsnyje.
![Kaip išanalizuoti tekstą](/f/fbb34080b4b5d222b9010c49663eeb36.png)
Turinys
- Kaip išanalizuoti tekstą
- Kas yra teksto analizavimas?
- NLP arba natūralios kalbos apdorojimas
- Kas yra teksto analizavimas?
- Kokios yra teksto analizės priežastys?
- 1 būdas: per DataFrame klasę
- 2 metodas: per Word Tokenization
- 3 būdas: per DocParser klasę
- 4 būdas: naudojant teksto analizės įrankį
- 5 būdas: per TextFieldParser (Visual Basic)
- Pro patarimas: kaip išanalizuoti tekstą naudojant MS Excel
- Kaip ištaisyti analizavimo klaidą
Kaip išanalizuoti tekstą
Šiame straipsnyje mes parodėme visą vadovą, kaip įvairiais būdais analizuoti tekstą, taip pat trumpai supažindinome su teksto analizavimu.
Kas yra teksto analizavimas?
Prieš gilindamiesi išmokite teksto analizavimo naudojant bet kokį kodą sąvokas. Svarbu žinoti kalbos pagrindus ir kodavimą.
NLP arba natūralios kalbos apdorojimas
Tekstui analizuoti naudojamas natūralios kalbos apdorojimas arba NLP, kuris yra dirbtinio intelekto domeno polaukis. Python kalba, kuri yra viena iš šiai kategorijai priklausančių kalbų, naudojama tekstui analizuoti.
NLP kodai leidžia kompiuteriams suprasti ir apdoroti žmonių kalbas, kad jos būtų tinkamos įvairioms programoms. Norint pritaikyti kalbai ML arba mašininio mokymosi metodus, nestruktūrizuoti teksto duomenys turi būti konvertuojami į struktūrinius lentelės duomenis. Norint užbaigti analizavimo veiklą, programos kodams pakeisti naudojama Python kalba.
Kas yra teksto analizavimas?
Teksto analizė paprasčiausiai reiškia duomenų konvertavimą iš vieno formato į kitą formatą. Failo įrašymo formatas turi būti išanalizuotas arba konvertuojamas į kito formato failą, kad vartotojas galėtų jį naudoti įvairiose programose.
- Kitaip tariant, procesas reiškia eilutės arba teksto analizę ir konvertavimą į loginius komponentus keičiant failo formatą.
- Šiai įprastai programavimo užduočiai atlikti naudojamos kai kurios Python kalbos taisyklės. Nagrinėjant tekstą, pateikta teksto serija suskaidoma į mažesnius komponentus.
Kokios yra teksto analizės priežastys?
Priežastys, dėl kurių tekstą reikia analizuoti, pateikiamos šiame skyriuje ir yra būtinos žinios prieš žinant, kaip analizuoti tekstą.
- Visi kompiuterizuoti duomenys nebus to paties formato ir gali skirtis atsižvelgiant į įvairias programas.
- Duomenų formatai įvairiose programose skiriasi, todėl nesuderinamas kodas gali sukelti šią klaidą.
- Individualios universalios kompiuterinės programos visų duomenų formatų duomenims parinkti nėra.
1 būdas: per DataFrame klasę
Python kalbos DataFrame klasė turi visas reikalingas funkcijas tekstui analizuoti. Šioje integruotoje bibliotekoje yra reikalingi kodai bet kokio formato duomenims išanalizuoti į kitą formatą.
Trumpas DataFrame klasės įvadas
DataFrame Class yra daug funkcijų turinti duomenų struktūra, naudojama kaip duomenų analizės įrankis. Tai galingas duomenų analizės įrankis, kurį galima naudoti duomenims analizuoti su minimaliomis pastangomis.
- Kodas nuskaitomas į pandas DataFrame, kad būtų galima atlikti analizę Python kalba.
- Klasėje yra daugybė pandų pateiktų paketų, kuriuos naudoja Python duomenų analitikai.
- Šios klasės ypatybė yra numPy bibliotekos abstrakcija, kodas, kuriame vidinis funkcijos funkcionalumas yra paslėptas nuo vartotojų. NumPy biblioteka yra python biblioteka, kuri apima komandas ir funkcijas, skirtas darbui su masyvais.
- DataFrame klasė gali būti naudojama norint pateikti dvimatį masyvą su keliais eilučių ir stulpelių indeksais. Šie indeksai padeda saugoti daugiamačius duomenis, todėl jie vadinami MultiIndex. Jie turi būti pakeisti, kad žinotumėte, kaip ištaisyti analizavimo klaidą.
Python kalbos pandos padeda maksimaliai tobulai atlikti SQL arba duomenų bazės stiliaus operacijas, kad būtų išvengta klaidų analizuojant tekstą x. Jame taip pat yra keletas IO įrankių, kurie padeda analizuoti CSV, MS Excel, JSON, HDF5 ir kitų duomenų formatų failus.
Taip pat skaitykite:Ištaisykite klaidą, kuri įvyko bandant pateikti tarpinio serverio užklausą
Teksto analizės procesas naudojant DataFrame klasę
Norėdami sužinoti, kaip išanalizuoti tekstą, galite naudoti standartinį procesą, naudodami šiame skyriuje pateiktą DataFrame klasę.
- Iššifruokite įvesties duomenų duomenų formatą.
- Nuspręskite duomenų išvesties duomenis, pvz., CSV arba Kableliais atskirta reikšmė.
- Ant kodo parašykite primityvų duomenų tipą, pvz., sąrašą arba diktatą.
Pastaba: Kodo rašymas tuščiame DataFrame gali būti varginantis ir sudėtingas. Pandos leidžia kurti „DataFrame“ klasės duomenis iš šių duomenų tipų. Taigi primityvaus tipo duomenis galima lengvai išanalizuoti į reikiamą duomenų formatą.
- Išanalizuokite duomenis naudodami duomenų analizės įrankį „pandas DataFrame“ ir išspausdinkite rezultatą.
I variantas: standartinis formatas
Čia paaiškintas standartinis bet kokio failo formatavimo tam tikru duomenų formatu, pvz., CSV, metodas.
- Išsaugokite failą su duomenų reikšmėmis vietoje savo kompiuteryje. Pavyzdžiui, galite pavadinti failą data.txt.
- Importuokite failą pandose konkrečiu pavadinimu ir importuokite duomenis į kitą kintamąjį. Pavyzdžiui, į pavadinimą importuojamos kalbos pandos pd nurodytame kode.
- Importuojant turi būti pilnas kodas su išsamia įvesties failo pavadinimo informacija, funkcija ir įvesties failo formatu.
Pastaba: Čia kintamasis pavadintas res naudojamas atlikti skaityti faile esančių duomenų funkcija data.txt naudojant įvežtas pandas pd. Įvesties teksto duomenų formatas nurodytas CSV formatu.
- Iškvieskite įvardytą failo tipą ir analizuokite išnagrinėtą tekstą išspausdintame rezultate. Pavyzdžiui, komanda res po komandinės eilutės vykdymo padės spausdinti išnagrinėtą tekstą.
Aukščiau paaiškinto proceso pavyzdys pateiktas toliau ir padės suprasti, kaip analizuoti tekstą.
importuoti pandas kaip pdres = pd.read_csv('data.txt')res
Tokiu atveju, jei į failą įvesite duomenų reikšmes data.txt toks kaip [1,2,3], jis būtų išanalizuotas ir rodomas kaip 1 2 3.
II variantas: stygų metodas
Jei kodui pateiktame tekste yra tik eilutės arba alfa simboliai, specialiuosius eilutės simbolius, tokius kaip kableliai, tarpai ir kt., galima naudoti tekstui atskirti ir analizuoti. Procesas panašus į įprastas vidines eilutės operacijas. Norėdami sužinoti, kaip ištaisyti analizavimo klaidą, turite sekti teksto analizavimo procesą naudodami šią parinktį, paaiškintą toliau.
- Duomenys išgaunami iš eilutės ir pažymimi visi specialieji simboliai, skiriantys tekstą.
Pavyzdžiui, toliau pateiktame kode – specialieji eilutės simboliai mano_styga, kurie yra, ',“ ir „:“ yra identifikuoti. Šis procesas turi būti atliktas atsargiai, kad būtų išvengta klaidų analizuojant tekstą x.
- Tekstas eilutėje skaidomas atskirai, atsižvelgiant į reikšmes ir specialiųjų simbolių padėtį.
Pavyzdžiui, eilutė suskaidoma į tekstinių duomenų reikšmes pagal specialiuosius simbolius, identifikuotus naudojant padalijimo komandą.
- Eilutės duomenų reikšmės spausdinamos atskirai kaip išanalizuotas tekstas. Čia, spausdinti sakinys naudojamas išanalizuoti teksto duomenų reikšmę spausdinti.
Aukščiau paaiškinto proceso pavyzdinis kodas pateikiamas toliau.
my_string = "Vardai: Technika, kompiuteris"sfinal = [vardas.juostelė() vardo my_string.split(':')[1].split(',')]spausdinti („Vardai: {}“. formatas (galutinis))
Tokiu atveju išnagrinėtos eilutės rezultatas būtų rodomas taip, kaip parodyta toliau.
Vardai: ["Tech", "kompiuteris"]
Norėdami gauti daugiau aiškumo ir žinoti, kaip analizuoti tekstą naudojant eilutės tekstą, a dėl ciklas yra naudojamas ir kodas modifikuojamas taip.
my_string = "Vardai: Technika, kompiuteris"s1 = my_string.split(':')s2 = s1[1]s3 = s2.split(',')s4 = [vardas.juostelė() vardui s3]idx, elementas sąraše ([s1, s2, s3, s4]):spausdinti („{} veiksmas: {}“. formatas (idx, elementas))
![python kodas](/f/e7f14ac03339eb43bf2711b8123e9111.png)
Kiekvieno iš šių veiksmų išnagrinėto teksto rezultatas rodomas taip, kaip nurodyta toliau. Galite pastebėti, kad 0 veiksme eilutė atskiriama pagal specialųjį simbolį : o teksto duomenų reikšmės atskiriamos pagal simbolį atliekant tolesnius veiksmus.
0 veiksmas: ["Vardai", "Technika, kompiuteris"]1 veiksmas: technika, kompiuteris2 veiksmas: [„ Technika“, „kompiuteris“]3 veiksmas: [Technika, kompiuteris]
III parinktis: sudėtingo failo analizė
Daugeliu atvejų failo duomenys, kuriuos reikia išanalizuoti, turi skirtingus duomenų tipus ir duomenų reikšmes. Tokiu atveju gali būti sunku išanalizuoti failą naudojant anksčiau aprašytus metodus.
Sudėtingų failo duomenų analizės funkcijos yra tokios, kad duomenų reikšmės būtų rodomos lentelės formatu.
- Vertybių pavadinimas arba metaduomenys atspausdinami failo viršuje,
- Kintamieji ir laukai spausdinami išvestyje lentelės forma ir
- Duomenų reikšmės sudaro sudėtinį raktą.
Prieš pradedant mokytis, kaip analizuoti tekstą šiuo metodu, būtina išmokti keletą pagrindinių sąvokų. Duomenų reikšmių analizavimas atliekamas pagal reguliariąsias išraiškas arba reguliariąją išraišką.
Regex modeliai
Norėdami sužinoti, kaip ištaisyti analizavimo klaidą, turite įsitikinti, kad išraiškų reguliarieji reiškiniai yra tinkami. Kodas, skirtas išanalizuoti eilučių duomenų reikšmes, apimtų įprastus Regex šablonus, išvardytus toliau šiame skyriuje.
- '\d': atitinka dešimtainį skaitmenį eilutėje,
- „\s“: atitinka tarpo simbolį,
- „\w“: atitinka raidinį ir skaitmeninį simbolį,
- ‘+’ arba ‘*’: atlieka gobšų atitikimą, suderindamas vieną ar daugiau simbolių eilutėse,
- "a-z": atitinka mažųjų raidžių grupes teksto duomenų reikšmėse,
- "A-Z" arba „a-z“: atitinka eilutės didžiųjų ir mažųjų raidžių grupes ir
- ‘0-9’: atitinka skaitines reikšmes.
Reguliarūs reiškiniai
Reguliariosios išraiškos moduliai yra pagrindinė „Python“ kalbos „pandas“ paketo dalis, todėl neteisingas re gali sukelti klaidą analizuojant tekstą x. Tai maža kalba, įterpta į Python, kad būtų galima rasti eilutės šabloną išraiškoje. Reguliarūs reiškiniai arba reguliarioji išraiška yra eilutės su specialia sintaksė. Tai leidžia vartotojui suderinti šablonus kitose eilutėse pagal eilučių vertes.
Regex sukurta remiantis duomenų tipu ir eilutės išraiškos reikalavimu, pvz., Eilutė = (.*)\n. Reguliarioji išraiška naudojama prieš šabloną kiekvienoje išraiškoje. Reguliariosiose išraiškose naudojami simboliai yra išvardyti toliau ir padės žinoti, kaip analizuoti tekstą.
- .: norėdami gauti bet kokį simbolį iš duomenų,
- *: naudokite nulį ar daugiau duomenų iš ankstesnės išraiškos,
- (.*): sugrupuoti dalį reguliariosios išraiškos skliausteliuose,
- \n: sukurkite naują eilutės simbolį kodo eilutės pabaigoje,
- \d: sukurkite trumpą integralo reikšmę diapazone nuo 0 iki 9,
- +: naudokite vieną ar daugiau duomenų iš ankstesnės išraiškos ir
- |: sukurti loginį teiginį; naudojama arba posakius.
RegexObjects
RegexObject yra kompiliavimo funkcijos grąžinimo reikšmė ir naudojama norint grąžinti MatchObject, jei išraiška atitinka atitikties vertę.
1. MatchObject
Kadangi MatchObject Būlio reikšmė visada yra True, galite naudoti an jeigu teiginys, skirtas nustatyti teigiamus atitikmenis objekte. Tuo atveju, kai naudojamas jeigu teiginys, indekso nurodyta grupė naudojama norint išsiaiškinti objekto atitiktį išraiškoje.
- grupė () grąžina vieną ar daugiau rungtynių pogrupių,
- grupė (0) grąžina visas rungtynes,
- grupė (1) grąžina pirmąjį pogrupį skliausteliuose ir
- Kalbėdami apie kelias grupes, turėtume naudoti specifinį python plėtinį. Šis plėtinys naudojamas norint nurodyti grupės, kurioje reikia rasti atitiktį, pavadinimą. Konkretus plėtinys pateikiamas skliausteliuose įrašytoje grupėje. Pavyzdžiui, išraiška, (? P
reguliarusis 1) nurodytų konkrečią grupę pavadinimu grupė1 ir patikrinkite, ar reguliarioji išraiška atitinka atitiktį, regex1. Norėdami sužinoti, kaip ištaisyti analizavimo klaidą, turite patikrinti, ar grupė nurodyta teisingai.
2. MatchObject metodai
Ieškodami, kaip išanalizuoti tekstą, svarbu žinoti, kad MatchObject turi du pagrindinius metodus, išvardytus toliau. Jei MatchObject randamas nurodytoje išraiškoje, jis grąžintų savo egzempliorių, kitu atveju – None.
- The atitikmuo (eilutė) metodas naudojamas ieškant reguliariosios išraiškos pradžioje esančios eilutės atitikčių ir
- The paieška (eilutė) metodas naudojamas norint nuskaityti eilutę, kad būtų galima rasti atitikties vietą reguliariojoje išraiškoje.
Reguliariosios išraiškos funkcijos
Regex funkcijos yra kodo eilutės, kurios naudojamos tam tikrai funkcijai atlikti, kaip nurodė vartotojas iš įsigytų duomenų reikšmių rinkinio.
Pastaba: Norint rašyti funkcijas, įprastoms išraiškoms naudojamos neapdorotos eilutės, kad būtų išvengta klaidų analizuojant tekstą x. Tai daroma pridedant indeksą r prieš kiekvieną išraiškos šabloną.
Toliau paaiškinamos bendrosios išraiškose naudojamos funkcijos.
1. re.findall()
Ši funkcija grąžina visus eilutės šablonus, jei randama atitiktis, ir grąžina tuščią sąrašą, jei atitikimo nerasta. Pavyzdžiui, funkcija, string = re.findall('[aeiou]', regex_failo pavadinimas) naudojamas norint rasti balsių atvejį failo pavadinime.
2. re.split()
Ši funkcija naudojama padalyti eilutę, jei randama atitiktis su nurodytu simboliu, pvz., tarpo. Jei atitikties nerasta, ji grąžina tuščią eilutę.
3. re.sub()
Funkcija pakeičia suderintą tekstą pateikto pakeitimo kintamojo turiniu. Priešingai nei kitos funkcijos, jei šablonas nerandamas, grąžinama pradinė eilutė.
4. re.search()
Viena iš pagrindinių funkcijų, padedančių išmokti analizuoti tekstą, yra paieškos funkcija. Tai padeda ieškoti šablono eilutėje ir grąžinti atitikimo objektą. Jei ieškant nepavyksta nustatyti atitikmens, reikšmė negrąžinama.
5. re.compile (modelis)
Ši funkcija naudojama reguliariųjų reiškinių šablonams sudaryti į RegexObject, kuris buvo aptartas anksčiau.
Kiti Reikalavimai
Išvardinti reikalavimai yra papildoma funkcija, kurią naudoja pažangūs programuotojai analizuodami duomenis.
- Norėdami vizualizuoti reguliariąją išraišką, regexper yra naudojamas ir
- Norėdami patikrinti reguliariąją išraišką, regex101 yra naudojamas.
Taip pat skaitykite:Kaip įdiegti „NumPy“ sistemoje „Windows 10“.
Teksto analizės procesas
Teksto analizės metodas naudojant šią sudėtingą parinktį aprašytas taip, kaip nurodyta toliau.
- Svarbiausias žingsnis yra suprasti įvesties formatą perskaitant failo turinį. Pavyzdžiui, su atvira ir skaityti () funkcijos naudojamos atidaryti ir perskaityti pavadinto failo turinį mėginys. The mėginys faile yra failo turinys failas.txt; Norėdami sužinoti, kaip ištaisyti analizavimo klaidą, failas turi būti perskaitytas iki galo.
- Failo turinys spausdinamas, kad būtų galima rankiniu būdu analizuoti duomenis ir sužinoti reikšmių metaduomenis. Čia, spausdinti () funkcija naudojama spausdinti turinį mėginys failą.
- Reikalingi duomenų paketai tekstui analizuoti importuojami į kodą, o klasei suteikiamas pavadinimas tolimesniam kodavimui. Čia, reguliarios išraiškos ir pandos yra importuojami.
- Kodui reikalingos reguliarios išraiškos yra apibrėžtos faile įtraukiant reguliariojo reiškinio šabloną ir reguliariojo reiškinio funkciją. Tai leidžia tekstiniam objektui arba korpusui paimti kodą duomenų analizei.
- Norėdami sužinoti, kaip išanalizuoti tekstą, galite peržiūrėti čia pateiktą kodo pavyzdį. The kompiliuoti () Funkcija naudojama norint sudaryti eilutę iš grupės eilutės pavadinimas1 failo failo pavadinimas. Funkcija, skirta patikrinti, ar reguliariajame reiškinyje yra atitikčių, naudojama komanda ief_parse_line (eilutė),
- Kodo eilučių analizatorius parašytas naudojant def_parse_file (failo kelias), kuriame apibrėžta funkcija patikrina, ar nurodytos funkcijos reguliariosios išraiškos atitiktys. Čia reguliarioji išraiška Paieška() metodas ieško rakto rx byloje failo pavadinimas ir grąžina pirmosios atitinkančios reguliariosios išraiškos raktą ir atitiktį. Bet kokia veiksmo problema gali sukelti klaidą analizuojant tekstą x.
- Kitas žingsnis yra parašyti failų analizatorių naudojant failų analizavimo funkciją, kuri yra def_parse_file (failo kelias). Sukuriamas tuščias sąrašas kodo duomenims rinkti, as duomenys = [], atitiktis tikrinama kiekvienoje eilutėje atitiktis = _parse_line (eilutė), o tikslūs vertės duomenys pateikiami pagal duomenų tipą.
- Norėdami išgauti lentelės skaičių ir reikšmę, komandą line.strip().split(',') yra naudojamas. The eilutė{} komanda naudojama kuriant žodyną su duomenų eilute. The data.append (eilutė) komanda naudojama duomenims suprasti ir juos išanalizuoti lentelės formatu.
Komanda duomenys = pd. DataFrame (duomenys) naudojamas kuriant pandos duomenų rėmelį iš diktuojamų reikšmių. Arba atitinkamam tikslui galite naudoti šias komandas, kaip nurodyta toliau.
- data.set_index(['eilutė', "sveikasis skaičius"], inplace=True) Norėdami nustatyti lentelės indeksą.
- data = data.groupby (level=data.index.names).first() konsoliduoti ir pašalinti nans.
- data = data.apply (pd.to_numeric, errors='ignorre') kad padidintumėte balą iš slankaus į sveikąjį skaičių.
Paskutinis veiksmas norint sužinoti, kaip išanalizuoti tekstą, yra išbandyti analizatorių naudojant jei teiginys priskirdami reikšmes kintamajam duomenis ir atspausdinkite jį naudodami spausdinti (duomenys) komandą.
Aukščiau pateikto paaiškinimo kodo pavyzdys pateiktas čia.
su open ('failas.txt') kaip pavyzdys:sample_contents = pavyzdys.skaityti()spausdinti (sample_contents)importo reimportuoti pandas kaip pdrx_filename = {‘string1’: re.compile (r ‘eilutė = (?,*)\n'),
}ief_parse_line (eilutė):raktui rx faile rx_filename.items ():atitiktis = rx.search (eilutė)jei atitinka:grąžinimo raktas, rungtynėsgrąžinti Nėra, nėradef parse_file (failo kelias):duomenys = []su atviru (failo kelias, „r“) kaip failo_objektas:eilutė = failo_objektas.readline()o eilutė:raktas, atitiktis = _parse_line (eilutė)jei raktas == ‘string1’:eilutė = match.group('eilutė1')sveikasis skaičius = int (eilutė1)vertės_tipas = match.group('eilutė1')eilutė = failo_objektas.readline()while line.strip():skaičius, reikšmė = line.strip().split(‘,’)reikšmė = value.strip()eilutė = {„Data1“: string1,„Data2“: numeris,value_type: vertė}data.append (eilutė)eilutė = failo_objektas.readline()eilutė = failo_objektas.readline()duomenys = pd. DataFrame (duomenys)grąžinti duomenisif _ _name_ _ = = '_ _main_ _':filepath = 'sample.txt'duomenys = analizuoti (failo kelias)spausdinti (duomenys)
![Python kodo reguliariosios išraiškos funkcijos](/f/910df6bb4bc7908feacf4c8adca477b4.png)
2 metodas: per Word Tokenization
Teksto ar korpuso konvertavimo į žetonus ar mažesnius gabalus, remiantis tam tikromis taisyklėmis, procesas vadinamas Tokenizavimu. Norint sužinoti, kaip ištaisyti analizavimo klaidą, svarbu išanalizuoti kode esančias žodžių žymėjimo komandas. Panašiai kaip ir reguliarioji išraiška, šiuo metodu galima sukurti savo taisykles ir tai padeda atlikti išankstinio teksto apdorojimo užduotis, pvz., sudaryti kalbos dalis. Be to, šiuo metodu atliekama tokia veikla kaip bendrų žodžių paieška ir derinimas, teksto valymas ir duomenų paruošimas pažangioms teksto analizės technikoms, pvz., nuotaikų analizei. Jei prieigos raktas yra netinkamas, gali atsirasti klaida analizuojant tekstą x.
NLTK biblioteka
Šiam procesui padeda populiari kalbos įrankių rinkinio biblioteka, vadinama NLTK, kuri turi daugybę funkcijų, skirtų daugeliui NLP užduočių atlikti. Juos galima atsisiųsti naudojant „Pip“ arba „Pip“ diegimo paketus. Norėdami sužinoti, kaip išanalizuoti tekstą, galite naudoti pagrindinį Anaconda platinimo paketą, kuriame pagal numatytuosius nustatymus yra biblioteka.
Tokenizacijos formos
Įprastos šio metodo formos yra žodžių žymėjimas ir sakinio ženklinimas. Dėl žodžio lygio žetono pirmasis spausdina vieną žodį tik vieną kartą, o antrasis spausdina žodį sakinio lygiu.
Teksto analizės procesas
- Importuojama NLTK įrankių rinkinio biblioteka, o prieigos raktų formos importuojamos iš bibliotekos.
- Pateikiama eilutė ir komandos tokenizavimui atlikti.
- Kol eilutė spausdinama, išvestis bus kompiuteris yra žodis.
- Esant žodžio žetonizacijai arba word_tokenize(), kiekvienas sakinio žodis spausdinamas atskirai ‘’ ir yra atskirtas a kablelis. Komandos išvestis būtų „kompiuteris“, „yra“, „the“, „žodis“, „.
- Esant sakinio žetonizavimui arba send_tokenize(), atskiri sakiniai dedami į ‘’ o žodžio kartojimas leidžiamas. Komandos išvestis būtų „kompiuteris yra žodis“.
Čia pateiktas kodas, paaiškinantis aukščiau nurodytus žetonų sukūrimo veiksmus.
importuoti nltkiš nltk.tokenize importuoti send_tokenize, word_tokenizestring = "kompiuteris yra žodis".spausdinti (eilutė)spausdinti (word_tokenize (string))spausdinti (išsiųstas_tokenize (eilutė))
![python kodas nltk](/f/ad09dde58b31935ff89e15b417a9cf9c.png)
Taip pat skaitykite:Kaip pataisyti javascript: void (0) Klaida
3 būdas: per DocParser klasę
Panašiai kaip „DataFrame Class“, „Class DocParser“ gali būti naudojamas tekstui kode išanalizuoti. Klasė leidžia iškviesti analizavimo funkciją naudojant failo kelią.
Teksto analizės procesas
Norėdami sužinoti, kaip išanalizuoti tekstą naudojant DocParser klasę, vadovaukitės toliau pateiktomis instrukcijomis.
- The get_format (failo pavadinimas) funkcija naudojama norint išgauti failo plėtinį, grąžinti jį į nustatytą funkcijos kintamąjį ir perduoti kitai funkcijai. Pavyzdžiui, p1 = get_format (failo pavadinimas) ištrauktų failo plėtinį failo pavadinimas, nustatykite jį į kintamąjį p1, ir perkelkite jį į kitą funkciją.
- Loginė struktūra su kitomis funkcijomis sukuriama naudojant jei-elifas-kitas teiginiai ir funkcijos.
- Jei failo plėtinys yra tinkamas ir struktūra logiška, get_parser Funkcija naudojama analizuoti duomenis failo kelyje ir grąžinti eilutės objektą vartotojui.
Pastaba: Norint sužinoti, kaip ištaisyti analizavimo klaidą, ši funkcija turi būti tinkamai įdiegta.
- Duomenų reikšmių analizė atliekama naudojant failo plėtinį. Konkretus klasės įgyvendinimas, kuris yra parse_txt arba parse_docx naudojamas generuoti eilutės objektus iš nurodyto failo tipo dalių.
- Išnagrinėti galima kitų skaitomų plėtinių failams, pvz., parse_pdf, parse_html, ir parse_pptx.
- Duomenų reikšmes ir sąsają galima importuoti į programas su importavimo teiginiais ir sukurti DocParser objektą. Tai galima padaryti analizuojant failus Python kalba, pvz parse_file.py. Šią operaciją reikia atlikti atsargiai, kad būtų išvengta klaidų analizuojant tekstą x.
4 būdas: naudojant teksto analizės įrankį
Teksto analizės įrankis naudojamas konkretiems duomenims iš kintamųjų išgauti ir susieti juos su kitais kintamaisiais. Tai nepriklauso nuo kitų įrankių, naudojamų atliekant užduotį, o BPA platformos įrankis naudojamas kintamiesiems vartoti ir išvesti. Norėdami pasiekti, naudokite čia pateiktą nuorodą Teksto analizė internete ir naudokite anksčiau pateiktus atsakymus, kaip analizuoti tekstą.
![Teksto analizės įrankis](/f/fc715ec10b3baa7a0426d13f4a50a143.png)
5 būdas: per TextFieldParser (Visual Basic)
„TextFieldParser“ naudojo objektus, kad išanalizuoti ir apdoroti labai didelius struktūrinius ir atskirtus failus. Taikant šį metodą galima naudoti teksto plotį ir stulpelį, pvz., žurnalo failus arba senos duomenų bazės informaciją. Analizavimo metodas yra panašus į kodo kartojimą tekstiniame faile ir daugiausia naudojamas teksto laukams, panašiems į manipuliavimo eilutėmis metodus, išgauti. Tai daroma norint suskirstyti atskirtas eilutes ir įvairaus pločio laukus, naudojant apibrėžtą skyriklį, pvz., kablelį arba skirtuką.
Teksto analizės funkcijos
Šiuo metodu tekstui analizuoti galima naudoti šias funkcijas.
- Norėdami apibrėžti skirtuką, SetDelimiters yra naudojamas. Pavyzdžiui, komanda testReader. SetDelimiters (vbTab) naudojamas nustatyti skirtuką tarpas kaip skyriklis.
- Norėdami nustatyti lauko plotį į teigiamą sveikojo skaičiaus reikšmę į fiksuotą tekstinių failų lauko plotį, galite naudoti testReader. SetFieldWidths (sveikasis skaičius) komandą.
- Norėdami patikrinti teksto lauko tipą, galite naudoti šią komandą testReader. TextFieldType = Microsoft. Visual Basic. FileIO.FieldType. Fiksuotas plotis.
„MatchObject“ paieškos metodai
Yra du pagrindiniai metodai, kaip rasti „MatchObject“ kode arba išanalizuotame tekste.
- Pirmasis būdas yra apibrėžti formatą ir peržiūrėti failą naudojant Skaityti laukai metodas. Šis metodas padėtų apdoroti kiekvieną kodo eilutę.
- The PeekChars metodas naudojamas kiekvienam laukui atskirai patikrinti prieš jį skaitant, apibrėžti kelis formatus ir reaguoti.
Bet kuriuo atveju, jei laukas neatitinka nurodyto formato analizuojant arba ieškant, kaip išanalizuoti tekstą, Netinkamai suformuotos linijos išimtis išimtis grąžinama.
Pro patarimas: kaip išanalizuoti tekstą naudojant MS Excel
Kaip paskutinį ir paprastą teksto analizavimo būdą galite naudoti MS Excel programą kaip analizatorių, skirtą skirtukais ir kableliais atskirtiems failams kurti. Tai padėtų kryžmiškai patikrinti analizuojamą rezultatą ir padėti rasti, kaip ištaisyti analizavimo klaidą.
1. Pasirinkite duomenų reikšmes šaltinio faile ir paspauskite Ctrl + C klavišai kartu, kad nukopijuotumėte failą.
2. Atidaryk Excel programa naudojant „Windows“ paieškos juostą.
![Atidarykite „Microsoft Excel“ programą](/f/7aeeec3b68fe381a208b50f5094b16e0.png)
3. Spustelėkite ant A1 langelį ir paspauskite Ctrl + V klavišai vienu metu norėdami įklijuoti nukopijuotą tekstą.
4. Pasirinkite A1 langelį, eikite į Duomenys skirtuką ir spustelėkite Tekstas į stulpelius parinktis Duomenų įrankiai skyrius.
![eikite į skirtuką Duomenys ir spustelėkite parinktį Tekstas į stulpelius](/f/99e71826bd7740b1035f7cec65358c69.png)
5A. Pasirinkite Apribota variantas, jei a kablelis arba skirtuką tarpas naudojamas kaip skyriklis, ir spustelėkite Kitas ir Baigti mygtukai.
![Pasirinkite parinktį Atskirta, jei kaip skyriklis naudojamas kablelis arba tabuliavimo tarpas ir spustelėkite mygtukus Kitas ir Baigti](/f/54841684f805aba46dd9ac3c00f35d57.png)
5B. Pasirinkite Fiksuotas plotis parinktį, priskirkite skyriklio reikšmę ir spustelėkite Kitas ir Baigti mygtukai.
![Pasirinkite parinktį Fiksuotas plotis, priskirkite skyriklio vertę ir spustelėkite mygtukus Kitas ir Baigti](/f/f9e99276436bd0e47ed3c6bca05a7199.png)
Taip pat skaitykite:Kaip ištaisyti „Move Excel“ stulpelio klaidą
Kaip ištaisyti analizavimo klaidą
Klaida analizuojant tekstą x gali įvykti „Android“ įrenginiuose kaip: Nagrinėjimo klaida: analizuojant paketą kilo problema. Paprastai taip nutinka, kai nepavyksta įdiegti programos iš „Google Play“ parduotuvės arba paleidžiant trečiosios šalies programą.
Klaidos tekstas x gali atsirasti, jei simbolių vektorių sąrašas yra kilpinis, o kitos funkcijos sudaro tiesinį duomenų reikšmių skaičiavimo modelį. Klaidos pranešimas yra Error in an parse (tekstas = x, keep.source = FALSE):
Galite perskaityti straipsnį apie kaip ištaisyti analizavimo klaidą „Android“. sužinoti priežastis ir būdus, kaip ištaisyti klaidą.
![Iš naujo nustatykite išmanųjį telefoną. Ištaisykite analizavimo klaidą įvesties $ sistemoje „Windows 10“.](/f/77158bafbf1802810a23ff6a024be8fc.png)
Be vadove pateiktų sprendimų, galite išbandyti šiuos pataisymus.
- Iš naujo atsisiunčiant .apk failą arba atkurti failo pavadinimą.
- Pakeitimų atkūrimas Androidmanifest.xml failą, jei turite eksperto lygio programavimo įgūdžių.
Rekomenduojamas:
- Kaip ištrinti kažkieno Facebook paskyrą
- 10 geriausių įgūdžių, kurių reikia norint tapti etišku įsilaužėliu
- 21 geriausia „Pastebin“ alternatyva dalintis kodu ir tekstu
- Ištaisyti komandą nepavyko naudojant 1 klaidos kodą Python Egg informacija
Straipsnis padeda mokyti kaip išanalizuoti tekstą ir sužinoti, kaip ištaisyti analizavimo klaidą. Praneškite mums, kuris metodas padėjo ištaisyti klaidą analizuojant tekstą x ir kuriam analizavimo metodui teikiama pirmenybė. Pasidalykite savo pasiūlymais ir užklausomis toliau pateiktame komentarų skyriuje.