Τρόπος ανάλυσης κειμένου
Miscellanea / / April 05, 2023
Εάν έχετε μάθει μερικές γλώσσες προγραμματισμού υπολογιστών, ίσως έχετε ακούσει τον όρο, ανάλυση κειμένου. Αυτό χρησιμοποιείται για την απλοποίηση των πολύπλοκων τιμών δεδομένων του αρχείου. Το άρθρο σάς βοηθά να μάθετε πώς να αναλύετε κείμενο χρησιμοποιώντας τη γλώσσα. Επιπλέον, εάν αντιμετωπίσατε σφάλμα στο κείμενο ανάλυσης x, θα γνωρίζετε πώς να διορθώσετε το σφάλμα ανάλυσης στο άρθρο.
![Τρόπος ανάλυσης κειμένου](/f/fbb34080b4b5d222b9010c49663eeb36.png)
Πίνακας περιεχομένων
- Τρόπος ανάλυσης κειμένου
- Τι είναι το Parsing Text;
- NLP ή Επεξεργασία Φυσικής Γλώσσας
- Τι είναι το Parsing Text;
- Ποιοι είναι οι λόγοι για την ανάλυση κειμένου;
- Μέθοδος 1: Μέσω της κλάσης DataFrame
- Μέθοδος 2: Μέσω του Word Tokenization
- Μέθοδος 3: Μέσω της τάξης DocParser
- Μέθοδος 4: Μέσω του εργαλείου ανάλυσης κειμένου
- Μέθοδος 5: Μέσω TextFieldParser (Visual Basic)
- Επαγγελματική συμβουλή: Πώς να αναλύσετε το κείμενο μέσω του MS Excel
- Πώς να διορθώσετε το σφάλμα ανάλυσης
Τρόπος ανάλυσης κειμένου
Σε αυτό το άρθρο, δείξαμε έναν πλήρη οδηγό για την ανάλυση κειμένου με διάφορους τρόπους και επίσης δώσαμε εν συντομία μια εισαγωγή στην ανάλυση κειμένου.
Τι είναι το Parsing Text;
Πριν ψάξετε για να μάθετε τις έννοιες της ανάλυσης κειμένου χρησιμοποιώντας οποιονδήποτε κώδικα. Είναι σημαντικό να γνωρίζετε τα βασικά της γλώσσας και την κωδικοποίηση.
NLP ή Επεξεργασία Φυσικής Γλώσσας
Για την ανάλυση κειμένου, χρησιμοποιείται η Επεξεργασία Φυσικής Γλώσσας ή το NLP, που είναι υποπεδίο του τομέα Τεχνητής Νοημοσύνης. Η γλώσσα Python, η οποία είναι μία από τις γλώσσες που ανήκουν στην κατηγορία, χρησιμοποιείται για την ανάλυση κειμένου.
Οι κωδικοί NLP επιτρέπουν στους υπολογιστές να κατανοούν και να επεξεργάζονται ανθρώπινες γλώσσες για να τις κάνουν κατάλληλες για διάφορες εφαρμογές. Για να εφαρμοστούν τεχνικές ML ή Machine Learning στη γλώσσα, τα μη δομημένα δεδομένα κειμένου πρέπει να μετατραπούν σε δομημένα δεδομένα πίνακα. Για την ολοκλήρωση της δραστηριότητας ανάλυσης, η γλώσσα Python χρησιμοποιείται για την αλλαγή των κωδικών του προγράμματος.
Τι είναι το Parsing Text;
Η ανάλυση κειμένου σημαίνει απλώς τη μετατροπή των δεδομένων από μια μορφή σε άλλη μορφή. Η μορφή στην οποία αποθηκεύεται το αρχείο θα αναλυθεί ή θα μετατραπεί σε αρχείο διαφορετικής μορφής για να μπορέσει ο χρήστης να το χρησιμοποιήσει σε διάφορες εφαρμογές.
- Με άλλα λόγια, η διαδικασία σημαίνει ανάλυση της συμβολοσειράς ή ενός κειμένου και μετατροπή σε λογικά στοιχεία αλλάζοντας τη μορφή του αρχείου.
- Ορισμένοι κανόνες της γλώσσας Python χρησιμοποιούνται για την ολοκλήρωση αυτής της κοινής προγραμματιστικής εργασίας. Κατά την ανάλυση κειμένου, η δεδομένη σειρά κειμένου αναλύεται σε μικρότερα στοιχεία.
Ποιοι είναι οι λόγοι για την ανάλυση κειμένου;
Οι λόγοι για τους οποίους πρέπει να αναλυθεί το κείμενο δίνονται σε αυτήν την ενότητα και είναι προαπαιτούμενη γνώση πριν μάθετε πώς να αναλύετε κείμενο.
- Όλα τα ηλεκτρονικά δεδομένα δεν θα έχουν την ίδια μορφή και ενδέχεται να διαφέρουν ανάλογα με τις διάφορες εφαρμογές.
- Οι μορφές δεδομένων διαφέρουν για διάφορες εφαρμογές και ένας ασύμβατος κώδικας θα οδηγούσε σε αυτό το σφάλμα.
- Δεν υπάρχει μεμονωμένο καθολικό πρόγραμμα υπολογιστή για την επιλογή των δεδομένων όλων των μορφών δεδομένων.
Μέθοδος 1: Μέσω της κλάσης DataFrame
Η κλάση DataFrame της γλώσσας Python έχει όλες τις απαιτούμενες συναρτήσεις για την ανάλυση κειμένου. Αυτή η ενσωματωμένη βιβλιοθήκη φιλοξενεί τους απαραίτητους κωδικούς για την ανάλυση δεδομένων οποιασδήποτε μορφής σε άλλη μορφή.
Σύντομη εισαγωγή της κλάσης DataFrame
Το DataFrame Class είναι μια πλούσια σε χαρακτηριστικά δομή δεδομένων, η οποία χρησιμοποιείται ως εργαλείο ανάλυσης δεδομένων. Αυτό είναι ένα ισχυρό εργαλείο ανάλυσης δεδομένων που μπορεί να χρησιμοποιηθεί για την ανάλυση δεδομένων με ελάχιστη προσπάθεια.
- Ο κώδικας διαβάζεται στο pandas DataFrame για να πραγματοποιηθεί η ανάλυση στη γλώσσα Python.
- Η Τάξη συνοδεύεται από πολλά πακέτα που παρέχονται από τα πάντα τα οποία χρησιμοποιούνται από αναλυτές δεδομένων Python.
- Το χαρακτηριστικό αυτής της κλάσης είναι μια αφαίρεση, ένας κώδικας στον οποίο η εσωτερική λειτουργικότητα της συνάρτησης είναι κρυμμένη από τους χρήστες, της βιβλιοθήκης NumPy. Η βιβλιοθήκη NumPy είναι μια βιβλιοθήκη python που περιλαμβάνει τις εντολές και τις λειτουργίες για την εργασία με πίνακες.
- Η κλάση DataFrame μπορεί να χρησιμοποιηθεί για την απόδοση ενός δισδιάστατου πίνακα με πολλαπλούς δείκτες σειρών και στηλών. Αυτοί οι δείκτες βοηθούν στην αποθήκευση πολυδιάστατων δεδομένων και, ως εκ τούτου, ονομάζονται MultiIndex. Αυτά πρέπει να τροποποιηθούν για να ξέρετε πώς να διορθώσετε το σφάλμα ανάλυσης.
Τα panda της γλώσσας Python βοηθούν στην εκτέλεση των λειτουργιών SQL ή τύπου βάσης δεδομένων με εξαιρετική τελειότητα για την αποφυγή σφαλμάτων στην ανάλυση του κειμένου x. Περιέχει επίσης ορισμένα εργαλεία IO που βοηθούν στην ανάλυση των αρχείων CSV, MS Excel, JSON, HDF5 και άλλων μορφών δεδομένων.
Διαβάστε επίσης:Διορθώστε το σφάλμα που παρουσιάστηκε κατά την προσπάθεια υποβολής αιτήματος διακομιστή μεσολάβησης
Διαδικασία ανάλυσης κειμένου με χρήση της κλάσης DataFrame
Για να μάθετε πώς να αναλύετε κείμενο, μπορείτε να χρησιμοποιήσετε την τυπική διαδικασία χρησιμοποιώντας την κλάση DataFrame που δίνεται σε αυτήν την ενότητα.
- Αποκρυπτογραφήστε τη μορφή δεδομένων των δεδομένων εισόδου.
- Αποφασίστε τα δεδομένα εξόδου των δεδομένων όπως π.χ CSV ή Τιμή διαχωρισμένη με κόμμα.
- Γράψτε στον κώδικα έναν πρωτόγονο τύπο δεδομένων όπως λίστα ή dict.
Σημείωση: Η εγγραφή του κώδικα σε ένα άδειο DataFrame μπορεί να είναι κουραστική και περίπλοκη. Τα panda επιτρέπουν τη δημιουργία των δεδομένων στην κλάση DataFrame από αυτούς τους τύπους δεδομένων. Ως εκ τούτου, τα δεδομένα στον πρωτόγονο τύπο δεδομένων μπορούν εύκολα να αναλυθούν στην απαιτούμενη μορφή δεδομένων.
- Αναλύστε τα δεδομένα χρησιμοποιώντας το εργαλείο ανάλυσης δεδομένων, pandas DataFrame και εκτυπώστε το αποτέλεσμα.
Επιλογή I: Τυπική μορφή
Η τυπική μέθοδος για τη μορφοποίηση οποιουδήποτε αρχείου με συγκεκριμένη μορφή δεδομένων, όπως το CSV, εξηγείται εδώ.
- Αποθηκεύστε το αρχείο με τις τιμές δεδομένων τοπικά στον υπολογιστή σας. Για παράδειγμα, μπορείτε να ονομάσετε το αρχείο data.txt.
- Εισαγάγετε το αρχείο σε pandas με συγκεκριμένο όνομα και εισαγάγετε τα δεδομένα σε άλλη μεταβλητή. Για παράδειγμα, τα πάντα της γλώσσας εισάγονται στο όνομα πδ στον κωδικό που δίνεται.
- Η εισαγωγή θα πρέπει να έχει έναν πλήρη κωδικό με τις λεπτομέρειες του ονόματος του αρχείου εισόδου, της συνάρτησης και της μορφής του αρχείου εισόδου.
Σημείωση: Εδώ, η μεταβλητή ονομάστηκε res χρησιμοποιείται για την εκτέλεση του ανάγνωση λειτουργία των δεδομένων στο αρχείο data.txt χρησιμοποιώντας τα πάντα που εισάγονται πδ. Η μορφή δεδομένων του κειμένου εισαγωγής καθορίζεται στο CSV μορφή.
- Καλέστε τον επώνυμο τύπο αρχείου και αναλύστε το αναλυμένο κείμενο στο εκτυπωμένο αποτέλεσμα. Για παράδειγμα, η εντολή res μετά την εκτέλεση της γραμμής εντολών θα βοηθήσει στην εκτύπωση του αναλυμένου κειμένου.
Ένα παράδειγμα κώδικα για τη διαδικασία που εξηγήθηκε παραπάνω δίνεται παρακάτω και θα βοηθήσει στην κατανόηση του τρόπου ανάλυσης κειμένου.
εισαγωγή panda ως pdres = pd.read_csv('data.txt')res
Σε αυτήν την περίπτωση, εάν εισαγάγετε τις τιμές δεδομένων στο αρχείο data.txt όπως [1,2,3], θα αναλυόταν και θα εμφανιζόταν ως 1 2 3.
Επιλογή II: Μέθοδος συμβολοσειράς
Εάν το κείμενο που δίνεται στον κώδικα περιέχει μόνο συμβολοσειρές ή άλφα χαρακτήρες, οι ειδικοί χαρακτήρες στη συμβολοσειρά, όπως κόμματα, κενό κ.λπ., μπορούν να χρησιμοποιηθούν για τον διαχωρισμό και την ανάλυση του κειμένου. Η διαδικασία είναι παρόμοια με τις κοινές λειτουργίες εσωτερικής συμβολοσειράς. Για να βρείτε πώς να διορθώσετε το σφάλμα ανάλυσης, πρέπει να ακολουθήσετε τη διαδικασία ανάλυσης του κειμένου χρησιμοποιώντας αυτήν την επιλογή που εξηγείται παρακάτω.
- Τα δεδομένα εξάγονται από τη συμβολοσειρά και σημειώνονται όλοι οι ειδικοί χαρακτήρες που χωρίζουν το κείμενο.
Για παράδειγμα, στον κώδικα που δίνεται παρακάτω, οι ειδικοί χαρακτήρες στη συμβολοσειρά my_string, τα οποία είναι, ',' και ':'' προσδιορίζονται. Αυτή η διαδικασία πρέπει να γίνει προσεκτικά για να αποφευχθεί το σφάλμα στην ανάλυση του κειμένου x.
- Το κείμενο στη συμβολοσειρά χωρίζεται ξεχωριστά με βάση τις τιμές και τη θέση των ειδικών χαρακτήρων.
Για παράδειγμα, η συμβολοσειρά χωρίζεται σε τιμές δεδομένων κειμένου με βάση τους ειδικούς χαρακτήρες που προσδιορίζονται χρησιμοποιώντας την εντολή split.
- Οι τιμές δεδομένων της συμβολοσειράς εκτυπώνονται μόνες ως το αναλυμένο κείμενο. Εδώ, το Τυπώνω Η δήλωση χρησιμοποιείται για την εκτύπωση της τιμής αναλυμένων δεδομένων του κειμένου.
Το δείγμα κώδικα για τη διαδικασία που εξηγήθηκε παραπάνω δίνεται παρακάτω.
my_string = 'Ονόματα: Τεχνολογία, υπολογιστής'sfinal = [name.strip() για όνομα στο my_string.split(':')[1].split(',')]print("Names: {}".format (sfinal))
Σε αυτήν την περίπτωση, το αποτέλεσμα της αναλυμένης συμβολοσειράς θα εμφανίζεται όπως φαίνεται παρακάτω.
Ονόματα: ["Τεχνολογία", "υπολογιστής"]
Για να έχετε καλύτερη σαφήνεια και να ξέρετε πώς να αναλύετε κείμενο ενώ χρησιμοποιείτε το κείμενο συμβολοσειράς, α Για Ο βρόχος χρησιμοποιείται και ο κώδικας τροποποιείται ως εξής.
my_string = 'Ονόματα: Τεχνολογία, υπολογιστής's1 = my_string.split(':')s2 = s1[1]s3 = s2.split(',')s4 = [name.strip() για όνομα στο s3]για idx, item in enumerate([s1, s2, s3, s4]):print("Step {}: {}".format (idx, item))
![κώδικας python](/f/e7f14ac03339eb43bf2711b8123e9111.png)
Το αποτέλεσμα του αναλυμένου κειμένου για καθένα από αυτά τα βήματα εμφανίζεται όπως δίνεται παρακάτω. Μπορείτε να σημειώσετε ότι, στο Βήμα 0, η συμβολοσειρά διαχωρίζεται με βάση τον ειδικό χαρακτήρα : και οι τιμές των δεδομένων κειμένου διαχωρίζονται με βάση τον χαρακτήρα σε περαιτέρω βήματα.
Βήμα 0: ['Ονόματα', 'Τεχνολογία, υπολογιστής']Βήμα 1: Τεχνολογία, υπολογιστήςΒήμα 2: ["Τεχνολογία", "υπολογιστής"]Βήμα 3: ["Τεχνολογία", "υπολογιστής"]
Επιλογή III: Ανάλυση σύνθετου αρχείου
Στις περισσότερες περιπτώσεις, τα δεδομένα αρχείου που πρέπει να αναλυθούν περιέχουν διαφορετικούς τύπους δεδομένων και τιμές δεδομένων. Σε αυτήν την περίπτωση, μπορεί να είναι δύσκολο να αναλύσετε το αρχείο χρησιμοποιώντας τις μεθόδους που εξηγήθηκαν προηγουμένως.
Τα χαρακτηριστικά της ανάλυσης των σύνθετων δεδομένων στο αρχείο είναι να κάνουν τις τιμές δεδομένων να εμφανίζονται σε μορφή πίνακα.
- Ο τίτλος ή τα μεταδεδομένα των τιμών εκτυπώνονται στην κορυφή του αρχείου,
- Οι μεταβλητές και τα πεδία εκτυπώνονται στην έξοδο σε μορφή πίνακα και
- Οι τιμές δεδομένων σχηματίζουν ένα σύνθετο κλειδί.
Πριν εμβαθύνουμε στο να μάθετε πώς να αναλύετε κείμενο σε αυτήν τη μέθοδο, είναι απαραίτητο να μάθετε μερικές βασικές έννοιες. Η ανάλυση των τιμών των δεδομένων γίνεται με βάση κανονικές εκφράσεις ή Regex.
Regex Patterns
Για να μάθετε πώς να διορθώσετε το σφάλμα ανάλυσης, πρέπει να διασφαλίσετε ότι τα μοτίβα regex στις εκφράσεις είναι σωστά. Ο κώδικας για την ανάλυση των τιμών δεδομένων των συμβολοσειρών θα περιλαμβάνει τα κοινά μοτίβα Regex που αναφέρονται παρακάτω σε αυτήν την ενότητα.
- '\ρε': ταιριάζει με το δεκαδικό ψηφίο στη συμβολοσειρά,
- '\μικρό': ταιριάζει με τον χαρακτήρα κενού διαστήματος,
- "\w": ταιριάζει με τον αλφαριθμητικό χαρακτήρα,
- ‘+’ ή ‘*’: εκτελεί ένα άπληστο ταίριασμα ταιριάζοντας έναν ή περισσότερους χαρακτήρες στις συμβολοσειρές,
- «α-ζ»: ταιριάζει με τις πεζές ομάδες στις τιμές δεδομένων κειμένου,
- «Α-Ω» ή «a-z»: ταιριάζει με τις ομάδες κεφαλαίων και πεζών της συμβολοσειράς και
- ‘0-9’: ταιριάζει με τις αριθμητικές τιμές.
Κανονικές εκφράσεις
Οι λειτουργικές μονάδες τυπικής έκφρασης αποτελούν σημαντικό μέρος του πακέτου pandas στη γλώσσα Python και μια λανθασμένη επανάληψη μπορεί να οδηγήσει σε σφάλμα στην ανάλυση του κειμένου x. Είναι μια μικροσκοπική γλώσσα ενσωματωμένη στην Python για να βρει το μοτίβο συμβολοσειράς στην έκφραση. Οι κανονικές εκφράσεις ή Regex είναι συμβολοσειρές με ειδική σύνταξη. Επιτρέπει στο χρήστη να αντιστοιχίσει μοτίβα σε άλλες συμβολοσειρές με βάση τις τιμές στις συμβολοσειρές.
Το Regex δημιουργείται με βάση τον τύπο δεδομένων και την απαίτηση της έκφρασης στη συμβολοσειρά, όπως π.χ Συμβολοσειρά = (.*)\n. Το regex χρησιμοποιείται πριν από το μοτίβο σε κάθε έκφραση. Τα σύμβολα που χρησιμοποιούνται στις κανονικές εκφράσεις παρατίθενται παρακάτω και θα σας βοηθήσουν να μάθετε πώς να αναλύετε κείμενο.
- .: για ανάκτηση οποιουδήποτε χαρακτήρα από τα δεδομένα,
- *: χρησιμοποιήστε μηδέν ή περισσότερα δεδομένα από την προηγούμενη έκφραση,
- (.*): για να ομαδοποιήσετε ένα μέρος της κανονικής έκφρασης μέσα στις παρενθέσεις,
- \n: Δημιουργήστε έναν νέο χαρακτήρα γραμμής στο τέλος της γραμμής στον κώδικα,
- \ρε: δημιουργήστε μια σύντομη ακέραια τιμή στο εύρος 0 έως 9,
- +: χρησιμοποιήστε ένα ή περισσότερα δεδομένα από την προηγούμενη έκφραση και
- |: δημιουργία μιας λογικής δήλωσης. που χρησιμοποιείται για ή εκφράσεις.
RegexObjects
Το RegexObject είναι μια επιστρεφόμενη τιμή για τη συνάρτηση μεταγλώττισης και χρησιμοποιείται για να επιστρέψει ένα MatchObject εάν η παράσταση ταιριάζει με την τιμή αντιστοίχισης.
1. MatchObject
Καθώς η Boolean τιμή του MatchObject είναι πάντα True, μπορείτε να χρησιμοποιήσετε ένα αν δήλωση για τον προσδιορισμό των θετικών αντιστοιχιών στο αντικείμενο. Στην περίπτωση χρήσης του αν δήλωση, η ομάδα που αναφέρεται από το ευρετήριο χρησιμοποιείται για να βρει την αντιστοίχιση του αντικειμένου στην έκφραση.
- ομάδα() επιστρέφει μία ή περισσότερες υποομάδες αγώνα,
- ομάδα (0) επιστρέφει ολόκληρο τον αγώνα,
- ομάδα (1) επιστρέφει την πρώτη υποομάδα σε παρένθεση και
- Ενώ αναφερόμαστε σε πολλές ομάδες, θα πρέπει να χρησιμοποιήσουμε μια συγκεκριμένη επέκταση για python. Αυτή η επέκταση χρησιμοποιείται για τον καθορισμό του ονόματος της ομάδας στην οποία πρέπει να βρεθεί ο αγώνας. Η συγκεκριμένη επέκταση παρέχεται εντός της ομάδας σε παρένθεση. Για παράδειγμα, η έκφραση, (?Π
regex1) θα αναφερόταν στη συγκεκριμένη ομάδα με το όνομα ομάδα 1 και ελέγξτε για την αντιστοιχία στην κανονική έκφραση, regex1. Για να μάθετε πώς να διορθώνετε το σφάλμα ανάλυσης, πρέπει να ελέγξετε εάν η ομάδα είναι σωστά σημειωμένη.
2. Μέθοδοι του MatchObject
Ενώ βρίσκετε πώς να αναλύετε κείμενο, είναι σημαντικό να γνωρίζετε ότι το MatchObject έχει δύο βασικές μεθόδους όπως αναφέρονται παρακάτω. Εάν το MatchObject βρεθεί στην έκφραση που καθορίστηκε, θα επέστρεφε την παρουσία του, διαφορετικά, θα επέστρεφε Κανένα.
- ο ταίριασμα (χορδή) Η μέθοδος χρησιμοποιείται για την εύρεση των αντιστοιχιών της συμβολοσειράς στην αρχή της κανονικής έκφρασης και
- ο αναζήτηση (συμβολοσειρά) Η μέθοδος χρησιμοποιείται για τη σάρωση της συμβολοσειράς για την εύρεση της θέσης για μια αντιστοίχιση στην τυπική έκφραση.
Συναρτήσεις κανονικής έκφρασης
Οι συναρτήσεις Regex είναι γραμμές κώδικα που χρησιμοποιούνται για την εκτέλεση μιας συγκεκριμένης λειτουργίας όπως καθορίζεται από τον χρήστη από το σύνολο τιμών δεδομένων που προμηθεύεται.
Σημείωση: Για να γράψετε τις συναρτήσεις, χρησιμοποιούνται ακατέργαστες συμβολοσειρές για τις κανονικές εκφράσεις για την αποφυγή σφαλμάτων στην ανάλυση του κειμένου x. Αυτό γίνεται με την προσθήκη του δείκτη r πριν από κάθε μοτίβο στην έκφραση.
Οι κοινές συναρτήσεις που χρησιμοποιούνται στις εκφράσεις εξηγούνται παρακάτω.
1. re.findall()
Αυτή η συνάρτηση επιστρέφει όλα τα μοτίβα στη συμβολοσειρά εάν βρεθεί αντιστοιχία και επιστρέφει μια κενή λίστα εάν δεν βρεθεί αντιστοιχία. Για παράδειγμα, η συνάρτηση, string = re.findall('[aeiou]', regex_filename) χρησιμοποιείται για την εύρεση της εμφάνισης φωνηέντων στο όνομα αρχείου.
2. re.split()
Αυτή η συνάρτηση χρησιμοποιείται για τον διαχωρισμό της συμβολοσειράς σε περίπτωση αντιστοίχισης με έναν καθορισμένο χαρακτήρα, όπως για παράδειγμα, το διάστημα. Σε περίπτωση που δεν βρεθεί αντιστοίχιση, επιστρέφει μια κενή συμβολοσειρά.
3. re.sub()
Η συνάρτηση αντικαθιστά το αντιστοιχισμένο κείμενο με τα περιεχόμενα της μεταβλητής αντικατάστασης που δίνεται. Σε αντίθεση με άλλες συναρτήσεις, εάν δεν βρεθεί μοτίβο, επιστρέφεται η αρχική συμβολοσειρά.
4. έρευνα()
Μία από τις βασικές λειτουργίες που βοηθούν στην εκμάθηση του τρόπου ανάλυσης κειμένου είναι η λειτουργία αναζήτησης. Βοηθά στην αναζήτηση του μοτίβου στη συμβολοσειρά και στην επιστροφή του αντικειμένου αντιστοίχισης. Εάν η αναζήτηση αποτύχει στον προσδιορισμό της αντιστοίχισης, δεν επιστρέφεται καμία τιμή.
5. re.compile (μοτίβο)
Αυτή η συνάρτηση χρησιμοποιείται για τη μεταγλώττιση μοτίβων τυπικών εκφράσεων σε ένα RegexObject, το οποίο συζητήθηκε νωρίτερα.
Λοιπές απαιτήσεις
Οι απαιτήσεις που αναφέρονται είναι ένα πρόσθετο χαρακτηριστικό που χρησιμοποιείται από προχωρημένους προγραμματιστές στην ανάλυση δεδομένων.
- Για να οπτικοποιήσετε την κανονική έκφραση, regexper χρησιμοποιείται, και
- Για να ελέγξετε την κανονική έκφραση, regex101 χρησιμοποιείται.
Διαβάστε επίσης:Πώς να εγκαταστήσετε το NumPy στα Windows 10
Διαδικασία ανάλυσης κειμένου
Η μέθοδος ανάλυσης του κειμένου σε αυτήν την πολύπλοκη επιλογή περιγράφεται όπως δίνεται παρακάτω.
- Το κύριο βήμα είναι να κατανοήσετε τη μορφή εισόδου διαβάζοντας το περιεχόμενο του αρχείου. Για παράδειγμα, το με ανοιχτό και ανάγνωση() Οι συναρτήσεις χρησιμοποιούνται για το άνοιγμα και την ανάγνωση του περιεχομένου του αρχείου που ονομάζεται δείγμα. ο δείγμα αρχείο έχει τα περιεχόμενα από το αρχείο file.txt; για να μάθετε πώς να διορθώσετε το σφάλμα ανάλυσης, το αρχείο πρέπει να διαβαστεί πλήρως.
- Τα περιεχόμενα του αρχείου εκτυπώνονται για να αναλυθούν τα δεδομένα χειροκίνητα για να βρεθούν τα μεταδεδομένα των τιμών. Εδώ, το Τυπώνω() η λειτουργία χρησιμοποιείται για την εκτύπωση των περιεχομένων του δείγμα αρχείο.
- Τα απαιτούμενα πακέτα δεδομένων για την ανάλυση του κειμένου εισάγονται στον κώδικα και δίνεται ένα όνομα στην κλάση για περαιτέρω κωδικοποίηση. Εδώ, το κανονικές εκφράσεις και τα πάντα εισάγονται.
- Οι τυπικές εκφράσεις που απαιτούνται για τον κώδικα ορίζονται στο αρχείο συμπεριλαμβάνοντας το regex μοτίβο και τη συνάρτηση regex. Αυτό επιτρέπει στο αντικείμενο κειμένου ή το σώμα να λάβει τον κώδικα για ανάλυση δεδομένων.
- Για να μάθετε πώς να αναλύετε κείμενο, μπορείτε να ανατρέξετε στο παράδειγμα κώδικα που δίνεται εδώ. ο συντάσσω() Η συνάρτηση χρησιμοποιείται για τη μεταγλώττιση της συμβολοσειράς από την ομάδα όνομα συμβολοσειράς 1 του αρχείου όνομα αρχείου. Η συνάρτηση για έλεγχο αντιστοιχιών στο regex χρησιμοποιείται από την εντολή ief_parse_line (γραμμή),
- Ο αναλυτής γραμμής για τον κώδικα γράφεται χρησιμοποιώντας το def_parse_file (διαδρομή αρχείου), στο οποίο η καθορισμένη συνάρτηση ελέγχει για όλες τις αντιστοιχίσεις regex στην καθορισμένη συνάρτηση. Εδώ, το regex Αναζήτηση() Η μέθοδος αναζητά το κλειδί rx στο αρχείο όνομα αρχείου και επιστρέφει το κλειδί και το ταίριασμα του πρώτου αντίστοιχου regex. Οποιοδήποτε πρόβλημα με το βήμα μπορεί να οδηγήσει σε σφάλμα στην ανάλυση κειμένου x.
- Το επόμενο βήμα είναι να γράψετε έναν Αναλυτή αρχείων χρησιμοποιώντας τη συνάρτηση ανάλυσης αρχείων, η οποία είναι def_parse_file (διαδρομή αρχείου). Δημιουργείται μια κενή λίστα για τη συλλογή των δεδομένων του κώδικα, όπως δεδομένα = [], η αντιστοίχιση ελέγχεται σε κάθε γραμμή από αντιστοίχιση = _ανάλυση_γραμμής (γραμμή), και τα ακριβή δεδομένα τιμής επιστρέφονται με βάση τον τύπο δεδομένων.
- Για να εξαγάγετε τον αριθμό και την τιμή για τον πίνακα, η εντολή line.strip().split(',') χρησιμοποιείται. ο σειρά{} Η εντολή χρησιμοποιείται για τη δημιουργία ενός λεξικού με τη σειρά δεδομένων. ο data.append (σειρά) Η εντολή χρησιμοποιείται για την κατανόηση των δεδομένων και την ανάλυση τους σε μορφή πίνακα.
Η εντολή δεδομένα = πδ. DataFrame (δεδομένα) χρησιμοποιείται για τη δημιουργία ενός Pandas DataFrame από τις τιμές dict. Εναλλακτικά, μπορείτε να χρησιμοποιήσετε τις ακόλουθες εντολές για τον αντίστοιχο σκοπό όπως αναφέρεται παρακάτω.
- data.set_index(['string', 'integer'], inplace=True) για να ορίσετε το ευρετήριο του Πίνακα.
- data = data.groupby (level=data.index.names).first() να ενοποιήσει και να αφαιρέσει ναν.
- data = data.apply (pd.to_numeric, errors='ignore') για να αναβαθμίσετε τη βαθμολογία από float σε ακέραια τιμή.
Το τελευταίο βήμα για να μάθετε πώς να αναλύετε κείμενο είναι να δοκιμάσετε τον αναλυτή χρησιμοποιώντας το αν δήλωση εκχωρώντας τις τιμές σε μια μεταβλητή δεδομένα και να το εκτυπώσετε χρησιμοποιώντας το εκτύπωση (δεδομένα) εντολή.
Το παράδειγμα κώδικα για την παραπάνω εξήγηση δίνεται εδώ.
με το open('file.txt') ως δείγμα:sample_contents = sample.read()εκτύπωση (sample_contents)εισαγωγή ρεεισαγωγή panda ως pdrx_filename = {'string1': re.compile (r 'string = (?,*)\n'),
}ief_parse_line (γραμμή):για κλειδί, rx στο rx_filename.items():match = rx.search (γραμμή)αν ταιριάζει:κλειδί επιστροφής, ταίριασμαεπιστροφή Κανένα, Κανέναdef parse_file (διαδρομή αρχείου):δεδομένα = []με ανοιχτό (filepath, 'r') ως file_object:line = file_object.readline()ενώ γραμμή:κλειδί, αντιστοίχιση = _ανάλυση_γραμμής (γραμμή)if key == 'string1':string = match.group('string1')ακέραιος = int (string1)value_type = match.group('string1')line = file_object.readline()while line.strip():αριθμός, τιμή = line.strip().split(',')value = value.strip()σειρά = {«Δεδομένα1»: συμβολοσειρά1,«Δεδομένα2»: αριθμός,value_type: τιμή}data.append (σειρά)line = file_object.readline()line = file_object.readline()δεδομένα = πδ. DataFrame (δεδομένα)επιστροφή δεδομένωνεάν _ _όνομα_ _ = = '_ _κύριο_ _':filepath = 'sample.txt'δεδομένα = ανάλυση (διαδρομή αρχείου)εκτύπωση (δεδομένα)
![συναρτήσεις τυπικής έκφρασης κώδικα python](/f/910df6bb4bc7908feacf4c8adca477b4.png)
Μέθοδος 2: Μέσω του Word Tokenization
Η διαδικασία μετατροπής ενός κειμένου ή σώματος σε διακριτικά ή μικρότερα κομμάτια με βάση ορισμένους κανόνες ονομάζεται Tokenization. Για να μάθετε πώς να διορθώνετε το σφάλμα ανάλυσης, είναι σημαντικό να αναλύσετε τις εντολές δημιουργίας διακριτικών λέξεων στον κώδικα. Παρόμοια με το regex, μπορούν να δημιουργηθούν δικοί κανόνες σε αυτήν τη μέθοδο και βοηθά σε εργασίες προεπεξεργασίας κειμένου, όπως η χαρτογράφηση τμημάτων της ομιλίας. Επίσης, σε αυτήν τη μέθοδο εκτελούνται δραστηριότητες όπως η εύρεση και αντιστοίχιση κοινών λέξεων, ο καθαρισμός του κειμένου και η προετοιμασία των δεδομένων για προηγμένες τεχνικές ανάλυσης κειμένου, όπως η ανάλυση συναισθήματος. Εάν το tokenization είναι ακατάλληλο, ενδέχεται να προκύψει σφάλμα στην ανάλυση του κειμένου x.
Βιβλιοθήκη NLTK
Η διαδικασία απαιτεί τη βοήθεια της δημοφιλούς βιβλιοθήκης γλωσσικών εργαλείων που ονομάζεται NLTK, η οποία έχει ένα πλούσιο σύνολο λειτουργιών για την εκτέλεση πολλών εργασιών NLP. Μπορείτε να τα κατεβάσετε μέσω των πακέτων Pip ή Pip Installs. Για να μάθετε πώς να αναλύετε κείμενο, μπορείτε να χρησιμοποιήσετε το βασικό πακέτο της διανομής Anaconda που περιλαμβάνει τη βιβλιοθήκη από προεπιλογή.
Μορφές Tokenization
Οι κοινές μορφές αυτής της μεθόδου είναι η συμβολοποίηση λέξεων και η συμβολοποίηση προτάσεων. Λόγω του διακριτικού επιπέδου λέξης, ο πρώτος εκτυπώνει μία λέξη μόνο μία φορά, ενώ ο δεύτερος εκτυπώνει τη λέξη σε επίπεδο πρότασης.
Διαδικασία ανάλυσης κειμένου
- Η βιβλιοθήκη εργαλειοθήκης NLTK εισάγεται και οι φόρμες κωδικοποίησης εισάγονται από τη βιβλιοθήκη.
- Δίνεται μια συμβολοσειρά και δίνονται οι εντολές για την εκτέλεση του tokenization.
- Ενώ εκτυπώνεται η συμβολοσειρά, η έξοδος θα είναι υπολογιστής είναι η λέξη.
- Στην περίπτωση συμβολισμού λέξης ή word_tokenize(), καθεμία από τις λέξεις της πρότασης εκτυπώνεται μεμονωμένα μέσα στο ‘’ και χωρίζεται με α κόμμα. Η έξοδος για την εντολή θα είναι το «υπολογιστής», «είναι», «το», «λέξη», «.»
- Στην περίπτωση συμβολισμού πρότασης ή sent_tokenize(), οι επιμέρους προτάσεις τοποθετούνται εντός του ‘’ και επιτρέπεται η επανάληψη της λέξης. Η έξοδος για την εντολή θα ήταν «Ο υπολογιστής είναι η λέξη».
Ο κώδικας που εξηγεί τα βήματα για το tokenization παραπάνω δίνεται εδώ.
εισαγωγή nltkαπό το nltk.tokenize εισαγωγή sent_tokenize, word_tokenizestring = "ο υπολογιστής είναι η λέξη."εκτύπωση (συμβολοσειρά)εκτύπωση (word_tokenize (συμβολοσειρά))εκτύπωση (sent_tokenize (string))
![κώδικας python nltk](/f/ad09dde58b31935ff89e15b417a9cf9c.png)
Διαβάστε επίσης:Τρόπος διόρθωσης σφάλματος javascript: void (0).
Μέθοδος 3: Μέσω της τάξης DocParser
Παρόμοια με την κλάση DataFrame, το Class DocParser μπορεί να χρησιμοποιηθεί για την ανάλυση του κειμένου στον κώδικα. Η κλάση σας επιτρέπει να καλέσετε τη συνάρτηση ανάλυσης με τη διαδρομή αρχείου.
Διαδικασία ανάλυσης κειμένου
Για να μάθετε πώς να αναλύετε κείμενο χρησιμοποιώντας την Τάξη DocParser, ακολουθήστε τις οδηγίες που δίνονται παρακάτω.
- ο get_format (όνομα αρχείου) Η συνάρτηση χρησιμοποιείται για την εξαγωγή της επέκτασης αρχείου, την επιστροφή της σε μια μεταβλητή συνόλου για τη συνάρτηση και τη μεταβίβασή της στην επόμενη συνάρτηση. Για παράδειγμα, p1 = get_format (όνομα αρχείου) θα εξάγει την επέκταση αρχείου του όνομα αρχείου, ορίστε το στη μεταβλητή p1και περάστε το στην επόμενη συνάρτηση.
- Μια λογική δομή με άλλες συναρτήσεις κατασκευάζεται χρησιμοποιώντας το αν-ελιφ-άλλο δηλώσεις και λειτουργίες.
- Εάν η επέκταση αρχείου είναι έγκυρη και η δομή είναι λογική, το get_parser Η συνάρτηση χρησιμοποιείται για την ανάλυση των δεδομένων στη διαδρομή του αρχείου και την επιστροφή του αντικειμένου συμβολοσειράς στον χρήστη.
Σημείωση: Για να μάθετε πώς να διορθώσετε το σφάλμα ανάλυσης, αυτή η συνάρτηση πρέπει να εφαρμοστεί σωστά.
- Η ανάλυση των τιμών δεδομένων γίνεται με την επέκταση αρχείου του αρχείου. Η συγκεκριμένη υλοποίηση της τάξης, που είναι parse_txt ή parse_docx χρησιμοποιείται για τη δημιουργία αντικειμένων συμβολοσειρών από τα μέρη του συγκεκριμένου τύπου αρχείου.
- Η ανάλυση μπορεί να γίνει για αρχεία άλλων αναγνώσιμων επεκτάσεων όπως π.χ parse_pdf, parse_html, και parse_pptx.
- Οι τιμές δεδομένων και η διεπαφή μπορούν να εισαχθούν σε εφαρμογές με δηλώσεις εισαγωγής και να δημιουργήσουν ένα αντικείμενο DocParser. Αυτό μπορεί να γίνει με ανάλυση αρχείων στη γλώσσα Python, όπως π.χ parse_file.py. Αυτή η λειτουργία πρέπει να γίνει προσεκτικά για να αποφευχθεί το σφάλμα στην ανάλυση του κειμένου x.
Μέθοδος 4: Μέσω του εργαλείου ανάλυσης κειμένου
Το εργαλείο ανάλυσης κειμένου χρησιμοποιείται για την εξαγωγή συγκεκριμένων δεδομένων από μεταβλητές και την αντιστοίχιση τους σε άλλες μεταβλητές. Αυτό είναι ανεξάρτητο από οποιαδήποτε άλλα εργαλεία που χρησιμοποιούνται σε μια εργασία και το εργαλείο BPA Platform χρησιμοποιείται για την κατανάλωση και την έξοδο μεταβλητών. Χρησιμοποιήστε τον σύνδεσμο που δίνεται εδώ για να αποκτήσετε πρόσβαση στο Εργαλείο ανάλυσης κειμένου στο διαδίκτυο και χρησιμοποιήστε τις απαντήσεις που δόθηκαν προηγουμένως σχετικά με τον τρόπο ανάλυσης κειμένου.
![Εργαλείο ανάλυσης κειμένου](/f/fc715ec10b3baa7a0426d13f4a50a143.png)
Μέθοδος 5: Μέσω TextFieldParser (Visual Basic)
Το TextFieldParser χρησιμοποίησε αντικείμενα για την ανάλυση και επεξεργασία πολύ μεγάλων αρχείων που είναι δομημένα και οριοθετημένα. Το πλάτος και η στήλη του κειμένου, όπως αρχεία καταγραφής ή πληροφορίες βάσης δεδομένων παλαιού τύπου μπορούν να χρησιμοποιηθούν σε αυτήν τη μέθοδο. Η μέθοδος ανάλυσης είναι παρόμοια με την επανάληψη του κώδικα σε ένα αρχείο κειμένου και χρησιμοποιείται κυρίως για την εξαγωγή πεδίων κειμένου παρόμοια με τις μεθόδους χειρισμού συμβολοσειρών. Αυτό γίνεται για την οριοθέτηση συμβολοσειρών και πεδίων διαφορετικού πλάτους χρησιμοποιώντας τον καθορισμένο οριοθέτη, όπως κόμμα ή χώρο καρτέλας.
Λειτουργίες για ανάλυση κειμένου
Οι ακόλουθες συναρτήσεις μπορούν να χρησιμοποιηθούν για την ανάλυση του κειμένου σε αυτήν τη μέθοδο.
- Για να ορίσετε έναν οριοθέτη, το Ορίστε οριοθέτες χρησιμοποιείται. Για παράδειγμα, η εντολή testReader. SetDelimiters (vbTab) χρησιμοποιείται για τη ρύθμιση αυτί ο χώρος ως οριοθέτης.
- Για να ορίσετε ένα πλάτος πεδίου σε μια θετική ακέραια τιμή σε ένα σταθερό πλάτος πεδίου αρχείων κειμένου, μπορείτε να χρησιμοποιήσετε το testReader. SetFieldWidths (ακέραιος αριθμός) εντολή.
- Για να ελέγξετε τον τύπο πεδίου του κειμένου, μπορείτε να χρησιμοποιήσετε την ακόλουθη εντολή testReader. TextFieldType = Microsoft. VisualBasic. FileIO.FieldType. Σταθερό Πλάτος.
Μέθοδοι εύρεσης MatchObject
Υπάρχουν δύο βασικές μέθοδοι για να βρείτε το MatchObject στον κώδικα ή στο αναλυμένο κείμενο.
- Η πρώτη μέθοδος είναι να ορίσετε τη μορφή και να κάνετε βρόχο μέσω του αρχείου χρησιμοποιώντας το ReadFields μέθοδος. Αυτή η μέθοδος θα βοηθούσε στην επεξεργασία κάθε γραμμής του κώδικα.
- ο PeekChars Η μέθοδος χρησιμοποιείται για τον έλεγχο κάθε πεδίου ξεχωριστά πριν από την ανάγνωση, τον καθορισμό πολλαπλών μορφών και την αντίδραση.
Σε κάθε περίπτωση, εάν ένα πεδίο δεν ταιριάζει με την καθορισμένη μορφή κατά την εκτέλεση της ανάλυσης ή την εύρεση του τρόπου ανάλυσης κειμένου, MalformedLineException η εξαίρεση επιστρέφεται.
Επαγγελματική συμβουλή: Πώς να αναλύσετε το κείμενο μέσω του MS Excel
Ως τελική και απλή μέθοδος ανάλυσης του κειμένου, μπορείτε να χρησιμοποιήσετε το MS Excel εφαρμογή ως αναλυτής για τη δημιουργία αρχείων οριοθετημένων με στηλοθέτες και οριοθετημένα με κόμματα. Αυτό θα βοηθούσε στον διασταυρούμενο έλεγχο με το αναλυμένο αποτέλεσμα και θα βοηθούσε στην εύρεση του τρόπου διόρθωσης του σφάλματος ανάλυσης.
1. Επιλέξτε τις τιμές δεδομένων στο αρχείο προέλευσης και πατήστε το Πλήκτρα Ctrl + C μαζί για να αντιγράψετε το αρχείο.
2. Ανοιξε το Προέχω εφαρμογή χρησιμοποιώντας τη γραμμή αναζήτησης των Windows.
![Ανοίξτε την εφαρμογή Microsoft Excel](/f/7aeeec3b68fe381a208b50f5094b16e0.png)
3. Κάνε κλικ στο Α'1 κελί και πατήστε το Πλήκτρα Ctrl + V ταυτόχρονα για να επικολλήσετε το αντιγραμμένο κείμενο.
4. Επίλεξε το Α'1 κελί, μεταβείτε στο Δεδομένα καρτέλα και κάντε κλικ στο Κείμενο σε στήλες επιλογή στο Εργαλεία Δεδομένων Ενότητα.
![μεταβείτε στην καρτέλα Δεδομένα και κάντε κλικ στην επιλογή Κείμενο σε στήλες](/f/99e71826bd7740b1035f7cec65358c69.png)
5Α. Επίλεξε το Οριοθετημένη επιλογή εάν α κόμμα ή αυτί Το διάστημα χρησιμοποιείται ως διαχωριστικό και κάντε κλικ στο Επόμενο και Φινίρισμα κουμπιά.
![Ορίστε την επιλογή Οριοθετημένο εάν χρησιμοποιείται ένα κόμμα ή χώρος στηλοθέτης ως διαχωριστικό και κάντε κλικ στα κουμπιά Επόμενο και Τέλος](/f/54841684f805aba46dd9ac3c00f35d57.png)
5Β. Επίλεξε το Σταθερό πλάτος επιλογή, εκχωρήστε μια τιμή για το διαχωριστικό και κάντε κλικ στο Επόμενο και Φινίρισμα κουμπιά.
![Επιλέξτε την επιλογή Σταθερό πλάτος εκχωρήστε μια τιμή για το διαχωριστικό και κάντε κλικ στα κουμπιά Επόμενο και Τέλος](/f/f9e99276436bd0e47ed3c6bca05a7199.png)
Διαβάστε επίσης:Πώς να διορθώσετε το σφάλμα στήλης Move Excel
Πώς να διορθώσετε το σφάλμα ανάλυσης
Ενδέχεται να προκύψει σφάλμα στην ανάλυση κειμένου x σε συσκευές Android καθώς, Σφάλμα ανάλυσης: Παρουσιάστηκε πρόβλημα κατά την ανάλυση του πακέτου. Αυτό συμβαίνει συνήθως όταν η εφαρμογή αποτυγχάνει να εγκατασταθεί από το Google Play Store ή κατά την εκτέλεση μιας εφαρμογής τρίτου μέρους.
Το κείμενο σφάλματος x μπορεί να προκύψει εάν η λίστα με τα διανύσματα χαρακτήρων είναι βρόχος και άλλες συναρτήσεις σχηματίζουν ένα γραμμικό μοντέλο για τον υπολογισμό των τιμών δεδομένων. Το μήνυμα σφάλματος είναι Error in parse (κείμενο = x, keep.source = FALSE):
Μπορείτε να διαβάσετε το άρθρο στο πώς να διορθώσετε το σφάλμα ανάλυσης στο Android για να μάθετε τις αιτίες και τις μεθόδους για να διορθώσετε το σφάλμα.
![Επαναφορά Smartphone. Διορθώστε το σφάλμα ανάλυσης στο Input $ στα Windows 10](/f/77158bafbf1802810a23ff6a024be8fc.png)
Εκτός από τις λύσεις στον οδηγό, μπορείτε να δοκιμάσετε τις παρακάτω επιδιορθώσεις.
- Επανάληψη λήψης του .apk αρχείο ή επαναφορά του ονόματος του αρχείου.
- Επαναφορά αλλαγών στο Androidmanifest.xml αρχείο, εάν έχετε δεξιότητες προγραμματισμού σε επίπεδο ειδικών.
Συνιστάται:
- Πώς να διαγράψετε τον λογαριασμό κάποιου άλλου στο Facebook
- Οι 10 κορυφαίες δεξιότητες που απαιτούνται για να γίνεις ηθικός χάκερ
- 21 καλύτερες εναλλακτικές λύσεις Pastebin για κοινή χρήση κώδικα και κειμένου
- Επιδιόρθωση εντολής απέτυχε με κωδικό σφάλματος 1 Πληροφορίες αυγού Python
Το άρθρο βοηθά στη διδασκαλία πώς να αναλύσετε το κείμενο και για να μάθετε πώς να διορθώσετε το σφάλμα ανάλυσης. Ενημερώστε μας ποια μέθοδος βοήθησε στη διόρθωση σφάλματος στην ανάλυση κειμένου x και ποια μέθοδος ανάλυσης προτιμάται. Μοιραστείτε τις προτάσεις και τις απορίες σας στην παρακάτω ενότητα σχολίων.