ブログの説明

学校に通わないで学んだことを記しています。間違っているところが何かありましたらご指摘下さると幸いです。コメントに対する返信が遅れる可能性があります。その場合は申し訳ありません。

このブログではサイドバーに広告を表示しています。このブログ内の投稿記事を検索するには右上の拡大鏡のアイコンを、アーカイブやラベル付けから投稿記事を閲覧するには左上の三重線のアイコンをクリックして下さい。

数式の表示にはMathJaxを利用させていただいています。数式の表示のためにJavaScriptが有効である必要があります。そうでない場合、訳の分からないLatexのコードが表示されます。幾何学図形やチャートの表示にはHTML5 CanvasやGoogle Chartを使用しています。その表示のためにもJavaScriptが有効である必要があります。

DebianユーザーがNLTKで自然言語処理の初歩の初歩を試してみた

この投稿は自然言語処理の中で一番初歩的なテキスト分析（字句解析）についての事始め。

ダウンロードとインストール

Python 3のdebパッケージとPython3用のNLTK(Natural Language Toolkit)のdebパッケージを公式のリポジトリからダウンロードしてインストールした。

$ su
# apt install python3 python3-nltk

python3-nltkというdebパッケージは、Debianのバージョンのbusterにもbullseyeにもbookwormにも存在する。

NLTKは、そのホームページの説明等によれば、自然言語処理に必要な道具類をまとめたプラットフォームなのだそうで、しかもオープンソースの企画らしい。

ダウンロードとインストールがうまくいったのでPython3を早速起動し、NLTKのホームページに掲載されている簡単なコードを試してみた。

まずはPython3をターミナル・エミュレーター上で起動。

$ python3
Python 3.7.3 （省略）

次にNLTKをインポート。

>>> import nltk

適当に選んだ文字列をsentenceに代入した。sentenceは任意の識別子。

>>> sentence = """A similar argument applies
...  to any other a priori judgement."""
>>> print(sentence)
A similar argument applies
 to any other a priori judgement.

Python 3ではヒアドキュメントを3つの二重引用符号(""")で囲む。こうした場合、/nなどによって改行を明示せずとも複数行に渡って文字列を入力できる。ヒアドキュメントとはHTMLのpre要素のようなもの。

文字列として選んだのはバートランド・ラッセル著の『哲学の問題』からの一節。

そしてNLTKのword_tokenize()に引数としてその文字列を渡してトークンを抽出。

>>> tokens = nltk.word_tokenize(sentence)
Traceback (most recent call last):
（中略）
LookupError: 
**********************************************************************
  Resource punkt not found.
  Please use the NLTK Downloader to obtain the resource:

  >>> import nltk
  >>> nltk.download('punkt')
  
  Attempted to load tokenizers/punkt/PY3/english.pickle
（以下省略）

ここでいきなりエラーが生じた。リソースのpunktが見つからないと言われた。エラーのメッセージにあるとおり、NLTKのdownload()によってpunktをダウンロードしたみた。

>>> nltk.download('punkt')
[nltk_data] Downloading package punkt to（中略）
[nltk_data]   Unzipping tokenizers/punkt.zip.
True

こうしたリソースはNLTK Dataと呼ばれていてnltk.download()によってダウンロードすることができる。

もう一度やり直し。キーボードの上矢印キーを押すと前に入力したコードを順番に出力してくれるので、その機能を利用すると便利。

>>> tokens = nltk.word_tokenize(sentence)
>>> print(tokens)
['A', 'similar', 'argument', 'applies', 'to', 'any', 'other', 'a', 'priori', 'judgement', '.']

うまくいった。個々の単語や符号に分割してくれているのが見て取れる。この処理はトークン化と呼ばれているらしい。英語ではtokenization。

英文の場合はそのほとんどが分ち書きされるので、このメソッドの内部コードは簡単そうだ。日本語や中国語やタイ語だと複雑になりそう。

トークン化で生成したtokensをNLTKのpos_tag()に渡して単語に品詞タグを付ける処理を行うコードが次。ただしこの処理にはaveraged_perceptron_taggerというリソースが必要になるので先ほどと同じようにダウンロードした。

>>> nltk.download('averaged_perceptron_tagger')
[nltk_data] Downloading package averaged_perceptron_tagger to（中略）
[nltk_data]   Unzipping taggers/averaged_perceptron_tagger.zip.
True
>>> tagged = nltk.pos_tag(tokens)
>>> print(tagged)
[('A', 'DT'), ('similar', 'JJ'), ('argument', 'NN'), ('applies', 'NNS'), ('to', 'TO'), ('any', 'DT'), ('other', 'JJ'), ('a', 'DT'), ('priori', 'JJ'), ('judgement', 'NN'), ('.', '.')]

この処理は品詞タグ付けと呼ばれているらしい。英語ではpart-of-speech tagging、略してPOS tagging。

DTは決定詞、JJは形容詞、NNは名詞の単数形、NNSは名詞の複数形、TOはtoを直接指す。

タグがどの品詞を意味しているかについて知りたい場合は「part-of-speech tagging tagset NLTK」などの文字列でインターネット上を検索してみれば見つかる。英文だけど。

よく見ると、appliesを名詞の複数形(NNS)と判断している。これは誤りだと思う。appliesは動詞applyの三人称単数現在(VBZ)が正しいはず。

次に行う処理はチャンキングと呼ばれていること。英語ではchunking。「分割すること」というような意味。この処理にはmaxent_ne_chunker とwordsというリソースが必要になるので予めダウンロードする。

>>> nltk.download('maxent_ne_chunker')
[nltk_data] Downloading package maxent_ne_chunker to（中略）
[nltk_data]   Unzipping chunkers/maxent_ne_chunker.zip.
True
>>> nltk.download('words')
[nltk_data] Downloading package words to
（中略）
[nltk_data]   Unzipping corpora/words.zip.
True

品詞タグ付けで生成したtaggedを与えてNLTKのchunk.ne_chunk()を実行する。

>>> entities = nltk.chunk.ne_chunk(tagged)
>>> print(entities)
(S
  A/DT
  similar/JJ
  argument/NN
  applies/NNS
  to/TO
  any/DT
  other/JJ
  a/DT
  priori/JJ
  judgement/NN
  ./.)

チャンキングの処理結果を見ると、ディレクトリ状にまとめられ、その先頭には'S'という文字があるのが見て取れる。前者をセグメント化と呼び、後者をラベル付けと呼ぶらしい。

名詞句のルールを追加

名詞句(NP)を分類するために更に文法ルールを適用する。NPは名詞句を表すタグ名。波括弧内では正規表現を用いて名詞句の構造を定義している。

>>> grammar = "NP: {<DT>?<JJ>*<NN>}

波括弧内の正規表現が意味するのは、DT（決定詞）かJJ（形容詞）で始まり、NN（名詞）で終わるもの。?がorを表し、*が任意の文字列を表している。

これをRegexpParser()に引数として渡してチャンキングのルールを追加する。

>>> cp = nltk.RegexpParser(grammar)

追加したこのルールに基づいて構文解析を行う。

>>> result = cp.parse(entities)
>>> print(result)
(S
  (NP A/DT similar/JJ argument/NN)
  applies/NNS
  to/TO
  any/DT
  other/JJ
  (NP a/DT priori/JJ judgement/NN)
  ./.)

決定詞と形容詞と名詞から成る2つの名詞句が分類されているのが見て取れる。

これを構文木として視覚化するにはdraw()を実行する。

>>> result.draw()

別ウィンドウが開いてその中に構文木が表示された。

正規表現は本当ならば"NP: {<DT>?<JJ>?<JJR>?<JJS>*<NN>?<NNS>?<NNP>?<NNPS>}"としたかったが、appliesを名詞の複数形と認識してしまっているので誤った結果になってしまう。この修正ができるかどうかについてはまたの機会に。

コメント

コメントを投稿

このブログの人気の投稿

Visual Studio 2019にはC++のためのフォームデザイナーがない件

イメージ
Visual Studio 2019を利用してC++でWindowsフォームアプリを作成しようと「新しいプロジェクトの作成」で「Windowsデスクトップアプリケーション」を選んでみたものの、フォーム・デザイナーが見当たらないことに気が付いた。ユーザー・インターフェイスはソースコードを直接いじれということか。これは厳しい。 C++を諦めてC#でフォームをデザインしろというのが常識的な対処法になるのかもしれないが、それでもC++で作る必要があるという隙間需要を考慮し、今回はこの問題に対処する二通りの対処法をインターネット上で見つけることができたので紹介したいと思う。 Visual Studio Installerでは、「.NETデスクトップ開発」と「C++によるデスクトップ開発」にチェックを入れてインストールしておいたのだけれど、これだけではデフォルトで「ビルドツールC++/CLIサポート」がインストールされないようだ。これを追加インストールする必要がまずあった。その手順は次のとおり。 対処法１ コードを追加する方法 Visual Studio Installerをまず起動した。 「インストール済み」のVisual Studio **** 2019に対して「変更」を選んだ。 「ワークロード」タブで「.NETデスクトップ環境」と「C++によるデスクトップ環境」の両方にチェックが入っていることを確認した。 「個別のコンポーネント」タブを選び、「C++/CLI」として検索した。そうするとビルドツールのC++/CLIサポートの一覧が表示された。 この執筆時点では「v142ビルドツール(14.27)のC++/CLIサポート」がどうやら最新版のように見えたのでこれにチェックを入れた。 そうしておいてからそのダイアログ・ボックス右下の「変更」ボタンを押した。 これでダウンロードとインストールが自動的に行われるので、しばらくの間待つ。 インストールが完了したが、「警告あり」と表示されてしまった。「問題の表示」によればMicrosoft.VisualStudio.AspNetDiagnosticPack.Msiのインストールに失敗したらしい。ここではこの問題には対処せず、無視して次の手順に進んだ。 Visual Studio Installerを終了
続きを読む

10の補数と9の補数と2の補数と1の補数

10進数と10の補数 10進法の四則演算に慣れている人なら算術的な直感で分かるのが10の補数。 算盤 そろばん を使っている人は10の補数と5の補数を出力する函数を会得しているかもしれない。 例えば、2に対して10の補数はいくつかと問われればそれは8だと分かるし、6に対して10の補数はいくつかと問われればそれは4だと分かるし、5に対して10の補数はいくつかと問われれば5だと直感的に分かる。 また、3に対して5の補数はいくつかと問われればそれは2だと分かるし、2に対して5の補数はいくつかと問われれば3だと分かる。 10の補数とは、ある自然数に対してそれにいくつの自然数を加えれば10になるのかという問いに答えたもの。自然数とは、ここでは0, 1, 2, 3, 4, 5, 6, 7, 8, 9のこと。 ある自然数xに対する10の補数yは次のように計算することによって答えることができる。 \[ y = 10 - x \] 10進法の位取り記数法では、桁上がり（位上がり）が起こる数が10であるので、ある数にあといくつ足すと桁上がりが起こるかを理解していることは、その四則演算においてとても重要な暗記事項になっている。 10進法の四則演算に慣れた人の頭の中には次のような函数または対応表があるのかもしれない。 \[ f(x) = 10 - x \] xは引数。「xに対する10の補数」を出力してくれる函数f(x)。 10の補数の対応表 10進数 10の補数 0 10 1 9 2 8 3 7 4 6 5 5 6 4 7 3 8 2 9 1 10 0 補数のこの対応表を見ると、数値を小さい順から並べた昇順と数値を大きい順から並べた降順との写像（マッピング）関係に見える。 10の補数と桁上がり 例えば、\( 6 + 7 = \)を計算するとき、人は6または7の補数を瞬時に思い浮かべ、加える数がそれを上回っている場合に桁上がりが起こると即座に認識するはず。つまり、6に対する10の補数である4を思い浮かべ、その4より大きい7から4を引いた数である3と10を足し合わせて答えを計算するかもしれない。 \[ \begin{align*} 6 + 7 &=
続きを読む

LATEXで数式：指数と順列などで使う添数・添字

累乗（べき乗）で使われる指数（べき）など、右上に添えられる数や文字や記号はキャレット記号を用いて次のように表記することができる。添えられる数や文字や記号が複数に及んだり数式になる場合はそれらを{}で囲う必要がある。ちなみに、・は\cdotを、÷は\divを、≠は\neqをそれぞれ用い、分数は\frac{}{}で乗根は\sqrt[]{}で表すことができる。スペースを有効にするには\をスペースの前に付ける。 aのn乗 \( a^n \) a^n \( a^3 = a \cdot a \cdot a \) a^3 = a \cdot a \cdot a \( a^{m+n} \) a^{m+n} 指数法則 \( a^0 = 1 \ (a \neq 0) \) a^0 = 1 \ (a \neq 0) 指数法則 \( a^{\frac{1}{n}} = \sqrt[n]{a} \) a^{\frac{1}{n}} = \sqrt[n]{a} 指数法則 \( a^{\frac{m}{n}} = \sqrt[n]{a^m} \) a^{\frac{m}{n}} = \sqrt[n]{a^m} 指数法則 \( a^{-\frac{m}{n}} = \frac{1}{\sqrt[n]{a^m}} \) a^{-\frac{m}{n}} = \frac{1}{\sqrt[n]{a^m}} 指数法則 \( a^m a^n = a^{m+n} \) a^m a^n = a^{m+n} 指数法則 \( \frac{a^m}{a^n} = \frac{1}{a^{n-m}} \ (m < n) \) \frac{a^m}{a^n} = \frac{1}{a^{n-m}} \ (m < n) 指数法則 \( (a^m)^n = a^{mn} \) (a^m)^n = a^{mn} 指数法則 \( (ab)^n = a^n b^n \) (ab)^n = a^n b^n 指数法則 \( \left(\frac{a}{b}\right)^n = \frac{a^n}{b^n} \) \left(\frac{a}{b}\right)^n = \frac{a^n}{b^n} 指数法則 \( \frac{a^m}{a^n}
続きを読む