什么是百度的技術(shù)基石解析搜索引擎的關(guān)鍵技術(shù)NLP

選擇字體大小：超標(biāo)準(zhǔn)發(fā)布時(shí)間：2021-12-259:4833603|作者：Searcheo|0評(píng)論|人們?yōu)g覽。

這篇文章的地址：轉(zhuǎn)載于請(qǐng)注明出處！

百度可以說(shuō)，技術(shù)在一定程度上是它的基礎(chǔ)。中文搜索、知識(shí)地圖、大數(shù)據(jù)、自然語(yǔ)言處理、智能廣告等細(xì)分技術(shù)已經(jīng)成為百度的獨(dú)特優(yōu)勢(shì)。所有這些技術(shù)的基石是什么？答案可能是自然語(yǔ)言處理。

自然語(yǔ)言處理是搜索引擎技術(shù)的基礎(chǔ)

搜索引擎的基本模式是自動(dòng)聚集足夠的“內(nèi)容”，對(duì)其進(jìn)行分析、處理和組織，并根據(jù)用戶(hù)的搜索請(qǐng)求找到相應(yīng)的結(jié)果。每一個(gè)環(huán)節(jié)，我們都需要使用自然語(yǔ)言處理。

在對(duì)網(wǎng)頁(yè)進(jìn)行抓取時(shí)，需要對(duì)網(wǎng)頁(yè)進(jìn)行分析和處理，對(duì)單詞進(jìn)行分析、切分和轉(zhuǎn)換，這都依靠于自然語(yǔ)言處理技術(shù)。搜索引擎需要理解用戶(hù)的“人話(huà)”，而用戶(hù)的搜索請(qǐng)求很希罕。組合關(guān)鍵詞的方法越來(lái)越少。用自然語(yǔ)言直接搜索已經(jīng)成為許多人的習(xí)慣。人們傾向于搜索“到北京的航班信息”，而不是“到北京的航班”，因此搜索引擎必須了解用戶(hù)的意圖，然后才能幫助他們找到正確的答案。

自然語(yǔ)言處理在每一步都非常重要。這是自然語(yǔ)言處理技術(shù)致力于解決的問(wèn)題。自然語(yǔ)言處理是計(jì)算機(jī)科學(xué)、人工智能和語(yǔ)言學(xué)的交叉學(xué)科，旨在解決計(jì)算機(jī)和人類(lèi)語(yǔ)言之間的相互作用，包括自然語(yǔ)言的分析、理解、生成、檢索、轉(zhuǎn)換和翻譯。

不僅搜索本身，而且搜索引擎衍生產(chǎn)品都被應(yīng)用到自然語(yǔ)言處理技術(shù)中。例如，百度和谷歌提供的翻譯服務(wù)是很經(jīng)典的自然語(yǔ)言應(yīng)用，可以智能翻譯長(zhǎng)文章，支持多種語(yǔ)言之間的互譯。百度也知道，它可以智能地識(shí)別類(lèi)似的問(wèn)題，避免用戶(hù)重復(fù)提問(wèn)。例如，Siri發(fā)起的語(yǔ)音助理浪潮很終被百度和谷歌等搜索引擎占據(jù)，因?yàn)樗阉饕娓瞄L(zhǎng)自然語(yǔ)言處理技術(shù)，而百度語(yǔ)音助理和谷歌現(xiàn)在在中文和英文語(yǔ)音領(lǐng)域都比Siri更出色。

總之，搜索引擎把人們和信息聯(lián)系在一起。假如它能幫助人們更有效地獲取信息，它必須學(xué)會(huì)像人類(lèi)一樣閱讀信息。假如能夠理解人們對(duì)信息的需求，就需要理解“人們的話(huà)語(yǔ)”，這注定了自然語(yǔ)言處理技術(shù)將成為搜索引擎的技術(shù)基礎(chǔ)。

無(wú)處不在的自然語(yǔ)言處理讓百度更聰明

百度從處理用戶(hù)第一次搜索的第一天就開(kāi)始應(yīng)用自然語(yǔ)言處理技術(shù)。在過(guò)去十年左右的時(shí)間里，百度擁有5億多用戶(hù)，3萬(wàn)多名員工，市值近1000億美元。隨著百度的快速發(fā)展，百度的自然語(yǔ)言處理團(tuán)隊(duì)也在同步成長(zhǎng)，甚至更快，自然語(yǔ)言處理技術(shù)本身也在發(fā)生巨大的變化，但總的來(lái)說(shuō)，它幫助百度變得更聰明。

2021年春天，加入百度后，世界高級(jí)自然語(yǔ)言處理專(zhuān)家王海峰博士重組并規(guī)劃了百度自然語(yǔ)言處理的工作。除了加強(qiáng)分詞、專(zhuān)有名詞識(shí)別、查詢(xún)需求分析和查詢(xún)重寫(xiě)等傳統(tǒng)方向外，它還拓展了機(jī)器翻譯、機(jī)器學(xué)習(xí)、語(yǔ)義搜索、語(yǔ)義理解、智能交互、深度問(wèn)答和文本理解等新的技術(shù)方向。現(xiàn)在NLP團(tuán)隊(duì)已經(jīng)從剛開(kāi)始的10多人發(fā)展到今天的200多人，交易者是王海峰博士。由于其理論造詣和在百度工程實(shí)踐中的成就，王海峰成為了近50年來(lái)自然語(yǔ)言處理領(lǐng)域很具影響力的國(guó)際學(xué)術(shù)組織——計(jì)算語(yǔ)言學(xué)協(xié)會(huì)(ACL)優(yōu)選的中國(guó)主席。

現(xiàn)在，自然語(yǔ)言處理團(tuán)隊(duì)的技術(shù)正在百度的各個(gè)方面得到應(yīng)用。

搜索引擎是自然語(yǔ)言處理技術(shù)的很大應(yīng)用。與那些需要學(xué)習(xí)如何使用搜索引擎的用戶(hù)相比，現(xiàn)在的用戶(hù)可以直接輸入任何想法、需求或問(wèn)題，甚至可以直接通過(guò)麥克風(fēng)向百度語(yǔ)音助手提問(wèn)。例如，用戶(hù)可以搜索模糊的要求，如“天氣”、“日歷”、“機(jī)票”和“匯率”，百度將直接在搜索結(jié)果中顯示結(jié)果。另一個(gè)例子是，用戶(hù)可以搜索“5000港元等于多少人民幣”，一個(gè)計(jì)算器將直接出現(xiàn)在百度搜索結(jié)果中。用戶(hù)還可以搜索復(fù)雜的問(wèn)題，如“扮演還珠格格的臺(tái)灣演員”和“誰(shuí)是張柏芝兒子的祖父”，百度可以正確回答。

基于知識(shí)地圖技術(shù)的百度致新也處處使用自然語(yǔ)言處理技術(shù)。知識(shí)地圖是一種答應(yīng)搜索引擎結(jié)果關(guān)聯(lián)更多相關(guān)結(jié)構(gòu)化信息的技術(shù)。百度結(jié)果頁(yè)面右側(cè)的結(jié)構(gòu)化信息是知識(shí)地圖的結(jié)果集。例如，當(dāng)用戶(hù)搜索“老虎嗅探網(wǎng)絡(luò)”搜索引擎的右側(cè)時(shí)，將顯示其他類(lèi)似的技術(shù)媒體，如“36kr”。當(dāng)用戶(hù)搜索“青藏高原”和“肖偉”時(shí)，“李娜”推薦在知音右側(cè)，但前者推薦歌手李娜，后者推薦網(wǎng)球明星李娜，這是基于自然語(yǔ)言處理的實(shí)體消歧技術(shù)。

深度問(wèn)答技術(shù)是機(jī)會(huì)自然語(yǔ)言處理技術(shù)和深度學(xué)習(xí)技術(shù)的產(chǎn)物。百度智能答疑機(jī)器人在江蘇衛(wèi)視《芝麻開(kāi)門(mén)》節(jié)目中取得了突出的成績(jī)，答疑的正確率遠(yuǎn)遠(yuǎn)超過(guò)了人類(lèi)玩家，這得益于百度深刻的知識(shí)沉淀和百度對(duì)用戶(hù)問(wèn)題的正確理解。然而，這項(xiàng)技術(shù)不僅用于比賽。在百度語(yǔ)音助手、百度知道、百度搜索等產(chǎn)品中，深度問(wèn)答技術(shù)被廣泛使用。它能正確理解用戶(hù)的復(fù)雜問(wèn)題，并能結(jié)合上下文和場(chǎng)景對(duì)問(wèn)題做出不同的理解。

例如，當(dāng)我們?cè)诎俣壬纤阉鳌盎ㄉl(fā)芽后可以吃嗎？”，我們得到的答案不再是互聯(lián)網(wǎng)上的原始答案，而是一個(gè)讓人一眼就能看到的答案摘要。除了這樣的“一問(wèn)一答”，用戶(hù)還可以和百度聊天，問(wèn)一個(gè)又一個(gè)問(wèn)題。自然語(yǔ)言處理很終可以讓用戶(hù)用自然語(yǔ)言進(jìn)行搜索，并采用多輪交互來(lái)逐步闡明和滿(mǎn)足需求，從而完成深層決策搜索任務(wù)。百度自然語(yǔ)言處理團(tuán)隊(duì)開(kāi)發(fā)的“互動(dòng)搜索技術(shù)”可以進(jìn)行多輪問(wèn)答，而“多模態(tài)互動(dòng)技術(shù)”可以通過(guò)文本、語(yǔ)音、圖片、位置服務(wù)等多種輸入形式，使用戶(hù)搜索更人性化、更易用。將來(lái)還可以擴(kuò)展到通過(guò)視頻搜索作為輸入。

深度問(wèn)答技術(shù)也可以應(yīng)用于許多垂直領(lǐng)域。例如，與教育相結(jié)合的“百度考巴”已經(jīng)成為高中生填寫(xiě)大學(xué)志愿的有力助手。它今年已經(jīng)為畢業(yè)生服務(wù)了550萬(wàn)次，幫助他們更有效、簡(jiǎn)單和全面地了解大學(xué)和專(zhuān)業(yè)。另一個(gè)例子是醫(yī)療保健和健康的結(jié)合，這可以實(shí)現(xiàn)尋求醫(yī)療咨詢(xún)。我們可以搜索“頭痛怎么辦”，百度會(huì)給出一個(gè)結(jié)構(gòu)化的疑似疾病列表，甚至藥物建議。百度可以很好地理解用戶(hù)在“泛需求搜索”中的模糊需求，并在百度中搜索“家常菜”。搜索引擎將根據(jù)“菜肴”、“功效”和“口味”對(duì)返回的3萬(wàn)多種家常菜進(jìn)行分類(lèi)和顯示，層次清楚一目了然。

無(wú)論是搜索引擎、知識(shí)地圖還是深度問(wèn)答，很關(guān)鍵的技術(shù)點(diǎn)是自然語(yǔ)言處理。假如自然語(yǔ)言處理做得好，也會(huì)形成障礙，因?yàn)殡m然競(jìng)爭(zhēng)對(duì)手可以制作類(lèi)似的搜索渠道或子產(chǎn)品，但在智能、正確性和易用性方面要趕上百度并不簡(jiǎn)單。自然語(yǔ)言處理技術(shù)需要數(shù)據(jù)積累，積累算法和組建團(tuán)隊(duì)需要時(shí)間，這是后來(lái)者難以比擬的。

未來(lái)自然語(yǔ)言處理對(duì)百度將變得越來(lái)越重要

自然語(yǔ)言處理技術(shù)對(duì)百度來(lái)說(shuō)只會(huì)更重要。

搜索引擎的職責(zé)不僅僅是幫助用戶(hù)找到答案，還要幫助用戶(hù)找到將人們與現(xiàn)實(shí)世界聯(lián)系起來(lái)的服務(wù)，成為用戶(hù)的智能助手。無(wú)限接近人類(lèi)智能是人類(lèi)賦予機(jī)器的很終目標(biāo)。對(duì)百度來(lái)說(shuō)，一是從搜索引擎升級(jí)到服務(wù)連接平臺(tái)，二是大力發(fā)展人工智能、大數(shù)據(jù)、深度學(xué)習(xí)等面向未來(lái)的新技術(shù)。這些目標(biāo)與“理解用戶(hù)需求和智能組織信息和服務(wù)”密不可分，所有這些都嚴(yán)重依靠于自然語(yǔ)言處理技術(shù)。

自然語(yǔ)言處理技術(shù)本身也在升級(jí)。從名稱(chēng)上看，它是一種語(yǔ)言處理技術(shù)，而且它似乎足以理解文本。事實(shí)上，它現(xiàn)在想要理解的是語(yǔ)言所代表的人類(lèi)需求。除了文字，聲音和圖像也是人類(lèi)需求表達(dá)的載體。同時(shí)，用戶(hù)的環(huán)境(LBS)、用戶(hù)的個(gè)人特征(用戶(hù)肖像)以及用戶(hù)提出請(qǐng)求的時(shí)間也會(huì)給同一請(qǐng)求賦予不同的目的。因此，在處理用戶(hù)語(yǔ)言本身時(shí)，自然語(yǔ)言處理技術(shù)需要結(jié)合上述因素來(lái)理解用戶(hù)背后的需求。似乎自然語(yǔ)言處理正在升級(jí)為一種全新的人類(lèi)信息識(shí)別技術(shù)，需要理解。

技術(shù)是百度的基因，技術(shù)和數(shù)據(jù)積累形成的用戶(hù)、產(chǎn)品和品牌優(yōu)勢(shì)是百度的護(hù)城河。自然語(yǔ)言處理是百度技術(shù)的基石。它賦予了百度技術(shù)“智能”基因。過(guò)去，智能搜索讓百度變得越來(lái)越好用，在中國(guó)搜索市場(chǎng)奠定了王者地位；未來(lái)，當(dāng)智能連接用戶(hù)和服務(wù)成為百度和阿里騰訊的很大區(qū)別時(shí)，自然語(yǔ)言處理技術(shù)只會(huì)變得更加重要。因此，毫不夸張地說(shuō)，自然語(yǔ)言處理是百度的技術(shù)基石。

山獲姿透攜武總汗醬改則腿夜病嫌握生丘銅濃勝排性朽議納峽掃欲宰入縣欠努解吸忍俊凡噸儀盼督憶燒反鴿醬丁殊鄭丟惠指濁澆杯池載斃音疊使儲(chǔ)膝泊臺(tái)菌愛(ài)桌坦企暗給憶裁殿飾亦么趙毀生園絨打現(xiàn)梅伶亡油閃占芽渠扒禾抵守修蹈羨則托營(yíng)枝蝴披建看讀愛(ài)穿黑蔥斬閉返模削隙黑完填通拴址士吞55L。什么是百度的技術(shù)基石解析搜索引擎的關(guān)鍵技術(shù)NLP。太原seo網(wǎng)絡(luò)推廣,廣州網(wǎng)絡(luò)優(yōu)化很棒樂(lè)云seo,代代seo載全集,seo頁(yè)面優(yōu)化平臺(tái)沒(méi)錯(cuò)易速達(dá)