Algoritmi za obradu prirodnog jezika za mapiranje fragmenata kliničkog teksta na ontološke koncepte: sistematski pregled i preporuke za buduća istraživanja.
Journal of biomedical semantics
Sažetak istraživanja
Pozadina Opisi slobodnog teksta u elektronskim zdravstvenim kartonima (EHR) mogu biti od interesa za klinička istraživanja i optimizaciju nege. Međutim, slobodni tekst ne može lako da se protumači kompjuterom i stoga ima ograničenu vrijednost. Algoritmi za obradu prirodnog jezika (NLP) mogu učiniti slobodni tekst mašinski interpretativnim tako što će mu priložiti koncepte ontologije. Međutim, implementacije NLP algoritama se ne ocjenjuju dosljedno. Stoga je cilj ove studije bio da se pregledaju trenutne metode koje se koriste za razvoj i evaluaciju NLP algoritama koji mapiraju fragmente kliničkog teksta na ontološke koncepte. Kako bismo standardizirali evaluaciju algoritama i smanjili heterogenost između studija, predlažemo listu preporuka.
Metode Dva recenzenta su pregledala publikacije koje su indeksirali Scopus, IEEE, MEDLINE, EMBASE, ACM Digitalna biblioteka i ACL Anthology. Uključene su publikacije koje izvještavaju o NLP-u za mapiranje kliničkog teksta od EHR-a do ontoloških koncepata. Izdvojeni su godina, država, postavka, cilj, metode evaluacije i validacije, NLP algoritmi, terminološki sistemi, veličina skupa podataka i jezik, mjere performansi, referentni standard, generalizacija, operativna upotreba i dostupnost izvornog koda.
Ciljevi studija su kategorizirani prema indukciji. Ovi rezultati su korišteni za definiranje preporuka.
Rezultati Identifikovano je dve hiljade trista pedeset pet jedinstvenih studija. Dvjesto pedeset i šest studija je izvijestilo o razvoju NLP algoritama za mapiranje slobodnog teksta u ontološke koncepte. Sedamdeset sedam je opisalo razvoj i evaluaciju. Dvadeset dvije studije nisu izvršile validaciju nevidljivih podataka, a 68 studija nije izvršilo eksternu validaciju. Od 23 studije koje su tvrdile da se njihov algoritam može generalizovati, 5 je to testiralo eksternom validacijom. Napravljena je lista od šesnaest preporuka u vezi sa upotrebom NLP sistema i algoritama, korišćenjem podataka, evaluacijom i validacijom, prezentacijom rezultata i generalizacijom rezultata.
Zaključak Pronašli smo mnogo heterogenih pristupa izvještavanju o razvoju i evaluaciji NLP algoritama koji mapiraju klinički tekst u ontološke koncepte. Više od jedne četvrtine identifikovanih publikacija nije izvršilo evaluaciju. Osim toga, više od jedne četvrtine uključenih studija nije izvršilo validaciju, a 88% nije izvršilo eksternu validaciju. Vjerujemo da će naše preporuke, uz postojeći standard izvještavanja, povećati ponovljivost i ponovnu upotrebu budućih studija i NLP algoritama u medicini.
Prikaži originalni naslov i sažetak na engleskom
Natural language processing algorithms for mapping clinical text fragments onto ontology concepts: a systematic review and recommendations for future studies.
Background Free-text descriptions in electronic health records (EHRs) can be of interest for clinical research and care optimization. However, free text cannot be readily interpreted by a computer and, therefore, has limited value. Natural Language Processing (NLP) algorithms can make free text machine-interpretable by attaching ontology concepts to it. However, implementations of NLP algorithms are not evaluated consistently. Therefore, the objective of this study was to review the current methods used for developing and evaluating NLP algorithms that map clinical text fragments onto ontology concepts. To standardize the evaluation of algorithms and reduce heterogeneity between studies, we propose a list of recommendations.
Methods Two reviewers examined publications indexed by Scopus, IEEE, MEDLINE, EMBASE, the ACM Digital Library, and the ACL Anthology. Publications reporting on NLP for mapping clinical text from EHRs to ontology concepts were included. Year, country, setting, objective, evaluation and validation methods, NLP algorithms, terminology systems, dataset size and language, performance measures, reference standard, generalizability, operational use, and source code availability were extracted. The studies' objectives were categorized by way of induction. These results were used to define recommendations.
Results Two thousand three hundred fifty five unique studies were identified. Two hundred fifty six studies reported on the development of NLP algorithms for mapping free text to ontology concepts. Seventy-seven described development and evaluation. Twenty-two studies did not perform a validation on unseen data and 68 studies did not perform external validation. Of 23 studies that claimed that their algorithm was generalizable, 5 tested this by external validation. A list of sixteen recommendations regarding the usage of NLP systems and algorithms, usage of data, evaluation and validation, presentation of results, and generalizability of results was developed.
Conclusion We found many heterogeneous approaches to the reporting on the development and evaluation of NLP algorithms that map clinical text to ontology concepts. Over one-fourth of the identified publications did not perform an evaluation. In addition, over one-fourth of the included studies did not perform a validation, and 88% did not perform external validation. We believe that our recommendations, alongside an existing reporting standard, will increase the reproducibility and reusability of future studies and NLP algorithms in medicine.
Izvorni podaci
- DOI
- 10.1186/s13326-020-00231-z
- PMID
- 33198814
- PMCID
- PMC7670625
- Provjereno
- 2026-07-26
Naslov i sažetak prevedeni su automatski i prijevod može sadržavati netačnosti ili neprecizne stručne izraze. Za sve detalje, citiranje i medicinsko tumačenje pregledajte originalnu englesku verziju članka. Ne donosite zdravstvene odluke samo na osnovu ovog prijevoda.
Pregledaj originalni članak na engleskom