python>>識別字符串語言(中文、漢語、英語、日語等等)

2020-12-21 默至

python>>識別字符串語言(中文、漢語、英語、日語等等)

有時做項目時，會識別字符串是什麼語種：中文、韓語、日語等，篩選掉其他不需要的語種，這裡我們使用 python中的第三方庫langid 庫來實現識別字符串是什麼語言

1.首先，安裝langid

pip install langid

2.測試語種

import langidstr1 = '你好'str2 = 'hello world'str3 = '你好 hello world'#韓文str4='.'#日語str5='こんにちは'str6='你好，根據所寫的文字，進行語種的識別'--------------------------------------------str1_1 = langid.classify(str1)str2_2 = langid.classify(str2)str3_3 = langid.classify(str3)str4_4 = langid.classify(str4)str5_5 = langid.classify(str5)

langid.classify() 方法會返回一個元組，第一項為語言的種類，第二項為佔比

str1_1 = langid.classify(str1)[0]print('漢語:'+str1_1)str2_2 = langid.classify(str2)[0]print('英語：'+str2_2)str3_3 = langid.classify(str3)[0]print('漢語：'+str3_3)str4_4 = langid.classify(str4)[0]print('韓語：'+str4_4)str5_5 = langid.classify(str5)[0]print('日語：'+str5_5)

相關焦點

  • 百度開發可攜式自動翻譯機 目前支持漢語、日語、英語等
    原標題：百度開發可攜式自動翻譯機 還能當路由器用 　　TechWeb報導9月20日消息，據國外媒體報導，百度開發出了可在旅遊時攜帶的自動翻譯機，只要對著它說出中文，馬上就能聽到翻譯過來的日語或英語等，還能當路由器用。
  • 聯合國六大工作語言:漢語在列,為何沒有德語和日語?
    到目前為止，聯合國確定的六大工作語言分別是英語、法語、漢語、阿拉伯語、西班牙語、俄語。 作為戰勝的同盟國主力，美英法中俄作為聯合國五常的絕對大佬，是不可替代的存在，因此即使考慮政治因素，五常的母語肯定要作為聯合國的工作語言之一。 而美英共同以英語作為母語及官方語言，因此，英語、法語、漢語、俄語四個語種在一開始就作為聯合國的工作語言而存在。事實上，這些語言也是世界範圍內使用作為廣泛的語言之一。
  • python字符的編碼與解碼
    什麼是字符編碼計算機裡面是由各種電子電路組成的，它是如何識別我們的寫的字符的，比如hello ,你，我。直接識別是不可能，它只能識別 二進位的0，1字符。所有我們輸入進去的字符，最終都會被轉化成0，1這種組合在一起的一串數字。
  • 日語、韓語、越南語……哪種語言最像漢語?
    日語、韓語、越南語，這三種語言和漢語有什麼關係？其實，從語系上來說，這三種語言並不是屬於漢藏語系。日語屬於日本-琉球語系，韓語屬於孤立語系（尚未有定論），而越南語則屬於南亞語系。但是，眾所周知，日語、韓語、越南語，這三門語言曾經都不同程度地受到了漢語的影響，它們的語言層次都和漢語有一定的聯繫。
  • 漢語不是世界上最難學的語言,最難的語言竟然是鄰國的它?
    網絡上一度流傳著，聯合國教科文組織發布的世界上最難學的十大語言排行，漢語被認為是全世界最難學的語言，想必大家都聽說過。在實際教學中，據美國外交學院的統計，以母語為英語者，至少需要學滿2200個小時，漢語才能達到精通水平。
  • 聯合國最終確認6種世界語言:我國漢語在列,日語為何沒有資格?
    詳情聯合國六種工作語言包括了聯合國創始國的語言:漢語、英語、法語、俄語,後來還加上了使用很廣泛的語言:阿拉伯語、西班牙語。聯合國的所有會議都有這些語言的口譯,以及在所有的官方文件,都列印或在網上出版這些語言的翻譯版本。
  • 聯合國確定6大通用語言,日語再次落選,原因與中國漢語有關
    據日本《朝日新聞》近日報導，日本政府一直以來都致力於將日語納入聯合國的官方通用語言。但是聯合國官方日前以日語源自漢語為由，拒絕了將日語列入聯合國官方語言的要求。為了方便各個成員國之間的交流，其設立了六種工作語言，分別為英語、法語、俄語、漢語、阿拉伯語和西班牙語。日本在繩文時代是沒有文字的。後來受到隋唐文化的影響，借用漢字的一些偏旁，創造了片假名和平假名，從此有了自己的文字。其把取自漢字楷書偏旁的稱為片假，把漢書草書演變的稱為平假，片假名和平假名都是以漢字為基礎的表音文字。
  • 聯合國確定了通用語言名單,日語落選了,漢語入選了!
    當今世界基本各國都有自己的語言，有的語言使用得很普遍，有的語言使用人數則很少，為了能夠讓大家更好交流，以及保證各項工作的安排，聯合國確定了幾種通用語言分別是漢語、英語、法語、俄語、阿拉伯語和西班牙語。日本人看到這份名單急了，日本現在科技這麼發達，為什麼日語沒能入選？
  • 聯合國確認6種公用語言,日語被「無情拒絕」:憑什麼中文可以?
    然而這個語言也不是隨便就能規定的，哪個國家想要自己國家的語言成為世界通用語言都可以的話，那整個世界不亂套了嗎？所以最終確定下來的6種聯合國確認的世界公用語言為英語，漢語，阿拉伯語，俄語，西班牙語以及法語。日本卻一直不滿，因為本國的日語被無情地拒絕，他表示：憑什麼中文就可以了。
  • 如何學習日語?學習日語你覺得難?那與漢語和英語比一下就簡單多了
    一、日語與漢語的比較 從語言學上來講，日語和漢語都應該屬於漢藏語系的，好多日語單詞就是從漢語裡來的,被語言學家稱為sino-Japanese.兩者應該有著很大的相似之處。日語中平假名和片假名甚至就是以漢字為基礎創造的表音文字。如「ぁ」來自漢字的「安」的草體。 但我覺得，事實上，要學好日語並不是一件容易的事，因為上面所述都是一些表層的東西。從深層次上來講，兩者有很大的不同之處。
  • 百度、微軟的漢語英語識別準確率已分別超越人類
    近日， 微軟宣布英語的語音識別轉錄詞錯率僅 5.9%，達到了專業速錄員水平超越了人類。百度首席科學家吳恩達（Andrew Ng）發推特對此表示恭賀：「在 2015 年我們就超越了人類水平的漢語識別；很高興看到微軟在不到一年之後讓英語也達到了這一步。」
  • python入門教程06-01(python語法入門之字符編碼)
    人在與計算機交流的時候，用的都是人類能讀懂的字符，如中文字符、英文字符、日文字符等毫無疑問，由人類的字符到計算機中的數字，必須經歷一個過程，計算機所識別出來的文字都是二進位的0011等等，所以此次課程講的是字符編碼的介紹和如何深刻認識字符編碼？
  • 聯合國確定6種通用語言,漢語位列其中,緣何日語多次申請被拒?
    近日，聯合國宣布漢語列為全球通用語言。聯合國已確定世界六種通用語言，分別是英語、漢語、阿拉伯語、俄語、西班牙語和法語。反觀日本多次申請將日語列入聯合國的通用語言，都被聯合國拒絕了。這是什麼原因呢？下面我們來對比一下日語和漢語的區別，首先漢語在全球使用人數多，除中國外，世界上許多國家甚至將中文作為中小學的必修課，特別是在亞洲國家；其次中國文化對世界的貢獻，這次新冠病毒疫情，進一步證實了中國在世界上是不可或缺的；最後中國的漢語底蘊深厚，源遠流長。
  • 憑啥漢語被列為全球通用語言日語卻落選?光是這三點,它就沒資格
    據聯合國發布的消息稱，聯合國已確定世界6種通用語言，分別是英語、漢語、阿拉伯語、俄語、西班牙語以及法語！漢語歷史悠久，世界上使用漢語的人數至少15億，是中國、新加坡的官方語言，亦是聯合國六種工作語言之一。但是在此之前，漢語並不是世界通用語言，根本原因還是使用漢語的人數都是中國人，通用度一般。
  • 日語來源於漢語?別搞錯了,它們是兩種語言,那為何日文卻源於古代...
    下面，我們從語言文字上來談談日語漢語、日文中文的關係。儘管日語同漢語有差異，但日文同中文卻有極高的相似度。也正是因為這個原因，有人說中國和日本是「同文同種」的兩個國家。實際上，這個觀點並沒錯，只是很多人在看到這句話的時候，都會習慣性的將日語視為漢語的衍生品，如此大錯特錯了。
  • 聯合國6種國際通用語言,日本多次申請日語被拒,有沒有漢語?
    那麼既然聯合國的加入都是個困難的問題，又何必再談聯合國的工作語言呢？這兩者之間，有過之而無不及。其實聯合國一共有6種國際通用語言，日本多次申請日語被拒，有沒有漢語？其實現在人們隨便到什麼搜尋引擎中搜索一下「聯合國」就能知道，究竟哪幾種語言是聯合國的工作語言。單單只是「聯合國」這三個字，運用的便是漢語、英語、俄語、阿拉伯語、西班牙語以及法語這六種語言來翻譯。
  • NLP被英語統治?打破成見,英語不應是「自然語言」同義詞
    這導致了NLP領域中多資源語言和少資源語言之間的數字鴻溝。多資源語言是一個以英語、漢語（普通話）、阿拉伯語和法語開頭的列表，這個列表是在通過討論了這幾個語言的文獻範圍之後憑藉主觀判斷羅列出來的。可能還包括德語、葡萄牙語、西班牙語和芬蘭語。
  • 各國語言比較看漢語的優劣勢
    看各大語言的文字的字形、分析文字組成，分析語音音節來比較各大語言，由此來鑑別漢語的優勢和劣勢：語言舉例文字組成語音音節語系 國家 母語人數漢語簡：他們為什麼不說中文?繁：他們為什麼不說中文?近200個形旁、800多個聲旁，可上下左右二維組合成字，單字就能表義。23個聲母×33個韻母=759再×4個聲調=3036個音節，實際使用含聲調的音節為1315個。
  • 世界上最「難」的語言,不是英語,不是阿拉伯語,也不是日語
    國家與國家之間除了民族文化，其語言也是不一樣的，而現在的國家的發展越來越好，很多人都會選擇出國遊玩，那麼在外出遊玩的時候語言障礙是非常嚴重的，而我們國家在小學的時候就會學習英語，英語也算是比較通用的語言了。
  • 聯合國確定6種通用語言,日語被駁回後質疑:中文憑什麼可以?
    ，比如我們常用的英語，在我國內更是將英語作為我們的主要科目，在各大國際事務中，都是用英語進行交流的，因此語言在溝通中是非常重要的。如今聯合國的已經有193個成員國，為了便於國與國之間的交流，通用語言的確立便是重之又重的一環，為了讓溝通更加的便利，於是聯合國確立了6種通用語言：英語、俄語、西班牙語法語、漢語和阿拉伯語。隨著中國文化逐漸走向世界，漢語也越來越受人們的喜愛，許多國家也對漢語越來越重視。在聯合國的官方聲明中，確定了六種語言為目前世界上的通用語言。