自然語言處理(NLP)是指計算機(jī)程序理解人類口語和書面語言(即自然語言)的能力。它是人工智能(AI)的一個組成部分。NLP 已有 50 多年的歷史，源于語言學(xué)領(lǐng)域。它在醫(yī)學(xué)研究、搜索引擎和商業(yè)智能等多個領(lǐng)域都有廣泛的實(shí)際應(yīng)用。

一、關(guān)于COMP5046

本單元介紹計算語言學(xué)以及用于自動處理自然語言(如英語或中文)的統(tǒng)計技術(shù)和算法。它將回顧理解統(tǒng)計自然語言處理(NLP)所需的核心統(tǒng)計和信息理論以及基礎(chǔ)語言學(xué)。統(tǒng)計自然語言處理應(yīng)用廣泛，包括信息檢索和提取、問題解答、機(jī)器翻譯、文檔分類和聚類。

本單元將探討自然語言對計算建模的關(guān)鍵挑戰(zhàn)，以及關(guān)鍵 NLP 子任務(wù)的最新方法，包括標(biāo)記化、形態(tài)分析、詞義表示、語音部分標(biāo)記、命名實(shí)體識別和其他信息提取、文本分類、短語結(jié)構(gòu)解析和依賴解析。您將在實(shí)驗和作業(yè)中完成其中的許多子任務(wù)。本單元還將研究注釋過程，該過程是為統(tǒng)計 NLP 系統(tǒng)創(chuàng)建訓(xùn)練數(shù)據(jù)的核心。作為完成實(shí)際 NLP 任務(wù)的一部分，您將對數(shù)據(jù)進(jìn)行注釋。

二、自然語言處理是如何工作的?

自然語言處理能讓計算機(jī)像人類一樣理解自然語言。無論是口頭語言還是書面語言，自然語言處理都是利用人工智能接收現(xiàn)實(shí)世界的輸入信息，對其進(jìn)行處理，并以計算機(jī)能夠理解的方式加以理解。就像人類有不同的傳感器，比如耳朵可以聽，眼睛可以看，計算機(jī)也有程序可以閱讀，麥克風(fēng)可以收集音頻。就像人類有大腦來處理輸入信息一樣，計算機(jī)也有程序來處理各自的輸入信息。在處理過程中，輸入會被轉(zhuǎn)換成計算機(jī)能夠理解的代碼。

自然語言處理主要分為兩個階段：數(shù)據(jù)預(yù)處理和算法開發(fā)。

數(shù)據(jù)預(yù)處理包括準(zhǔn)備和 "清理 "文本數(shù)據(jù)，以便機(jī)器能夠?qū)ζ溥M(jìn)行分析。預(yù)處理將數(shù)據(jù)轉(zhuǎn)換成可操作的形式，并突出文本中的特征，以便算法能夠使用。有幾種方法可以做到這一點(diǎn)，包括：

標(biāo)記化。這是將文本分解成更小的單位來處理。

刪除停滯詞。這是從文本中刪除常用詞，從而保留能提供最多文本信息的獨(dú)特詞。

詞母化和詞干化。這是將單詞還原為詞根形式進(jìn)行處理。

語音部分標(biāo)記。這是指根據(jù)詞的語篇(如名詞、動詞和形容詞)對詞進(jìn)行標(biāo)記。

三、自然語言處理為何重要?

企業(yè)需要使用大量非結(jié)構(gòu)化的文本數(shù)據(jù)，因此需要一種高效處理這些數(shù)據(jù)的方法。在線創(chuàng)建并存儲在數(shù)據(jù)庫中的大量信息都是人類的自然語言，而直到最近，企業(yè)還無法有效地分析這些數(shù)據(jù)。這就是自然語言處理的用武之地。

從以下兩句話中可以看出自然語言處理的優(yōu)勢："云計算保險應(yīng)成為每份服務(wù)水平協(xié)議的一部分"，以及 "良好的服務(wù)水平協(xié)議可確保一夜好眠--即使是在云中"。如果用戶依靠自然語言處理進(jìn)行搜索，程序會識別出云計算是一個實(shí)體，云是云計算的縮寫形式，SLA 是服務(wù)級別協(xié)議的行業(yè)縮寫。

這些都是人類語言中經(jīng)常出現(xiàn)的模糊元素，而機(jī)器學(xué)習(xí)算法歷來不擅長解釋這些模糊元素。現(xiàn)在，隨著深度學(xué)習(xí)和機(jī)器學(xué)習(xí)方法的改進(jìn)，算法可以有效地解釋它們。這些改進(jìn)拓展了可分析數(shù)據(jù)的廣度和深度。

海馬課堂專業(yè)課程輔導(dǎo)做出以下新改變啦：
?試聽課全面升級，不滿意退50%，
?課程輔導(dǎo)產(chǎn)品升級，贈送考前保障呦
?輔導(dǎo)不滿意可以隨心退！
海馬課堂，3500+嚴(yán)選碩博學(xué)霸師資，針對學(xué)生的薄弱科目和學(xué)校教學(xué)進(jìn)度，匹配背景相符的導(dǎo)師，根據(jù)學(xué)生情況進(jìn)行1V1專屬備課，上課時間靈活安排，中英雙語詳細(xì)講解課程中的考點(diǎn)、 難點(diǎn)問題，并提供多方位的課后輔導(dǎo)，輔助學(xué)生掌握全部課程知識，補(bǔ)足短板。