これまで単語（ワード）を中心に行われてきたテキストマイニングだが、ＡＩ（人工知能）を活用することによってきっちりとフォーマット化された文章でなくても解析できるようになり、新聞記事から経済動向の予想までできるようになってきた。また書き手の性格まで分析できるAIが、社員の離職防止にも活用されるなど、自由に記述された文章を分析する手法が、より高度化しつつある。
続きを読むAIがテキストマイニングでどのように活用されているのか
AI（人工知能）の活用形態として、自然言語処理に利用する場合が増えて来ている。最も多いのは「チャットボット」での利用だろう。さまざまなAIのAPIを提供している企業があるが、実際に自然言語系のAPIを利用して開発されるサービスの7割以上がチャットボットだと言われている。
だが、単にチャットボットとして利用する段階は、終わりつつある。自然言語系は更にその先の活用法を模索しつつある。その一つのアイデアとして利用が進んでいるのがテキストマイニングにAIを活用しようという動きである。
実際に、インターネット上に書き込まれるSNS、ブログ、掲示板のコメントなど、これまで人間がチェックしてきた内容を、AIによって自動的にネガティブワードが使われていないか、特定のワードがネガティブな雰囲気の文章中で頻出していないかなどをチェックして、即時の対応が必要と認められた場合には管理者にアラートを送るという仕組みができて来つつある。
また、社員の日報から感情を分析して離職防止につなげる取り組みや、新聞記事などから企業業績を予想する、ひいては経済全体の成長率を予想しようという取り組みも行われてきている。
これらは、それまで紙媒体や、手書きで残されてきた文章が、インターネットを始め、デジタルのテキストデータとして蓄積されるようになって初めてできたことである。
AIをテキストマイニングに活用するメリットとは
テキストマイニングとは、自然言語の文章を単語（ワード）や文節で区切り、それらの出現頻度、共出現相関、出現傾向、時系列などを解析して有用な情報を取り出すとする分析方法である。これまでは形態素解析や係り受け解析を中心として行われる事が多かった。しかし、日本語は英語などの西欧言語と比較すると形態素解析が難しいという問題点があった。従って、研究レベルでも、フォーマットのキッチリ決まっているテキストデータを分析対象にすることが多かった。
だが、ここにAIを利用することで事情が変わってきた。これまでのようにフォーマットの決まっていない、誰がどの様に書いた文章であっても、大量のテキストデータとしてAIに学習させることで、どの様なワードや言い回しが、どういったシチュエーションで使われやすいのかなどを、判断できるようになってきた。
例えば「遺憾」という言葉はいわゆるネガティブワードである。フォーマット化された文章の中では間違いなくネガティブワードとして利用されるが、一般的な会話では冗談めかして言うときなど、必ずしもネガティブなシチュエーションでのみ使われることはない。また使い方を間違える人もいるだろう。
AIを使って学習させることで、前後の文脈から「遺憾」がどの様なシチュエーションで使われているのか、どの様なワードとセットで利用された場合はネガティブなのかなどを判断できるようになる。これは通常のSNS監視で利用される「ネガティブワード監視」では頻繁に上がってくるアラートを軽減し、管理者の負担を減らすことにもつながる。その際、テキストデータからは文章自体を「ポジティブ」「ニュートラル」「ネガティブ」に３分類することで、「ネガティブ」に分類されたものだけをチェックするような仕組みとして構築されている。
また、ここから発展して、ネガティブワードが利用されていなくても、ネガティブな雰囲気の会話の中で頻出するワードが検知できれば、大変重要な示唆となる。実際、同じ人物が書いたテキストであれば、そこから性格やその時の気分を推測できるようなAIも誕生し、すれに提供が始まっているので、これまでとはひと味違った、より深いところまでチェックできるテキストマイニングが行えるようになった。
AIを用いたテキストマイニングの活用事例
では、ここでAIを活用したテキストマイニングの実例を3つ紹介しよう。
市場動向を分析
1つ目は新聞記事やブログ、SNS、掲示板などの書き込みを中心に解析を行い、市場動向を分析することである。従来は株式指標などの数値データを基にして解析を行っていた。またテキストデータの解析では日本銀行の金融経済月報が比較的形式の決まった文書であったため、これを利用していたが、新聞記事のようなフォーマットの決まっていない文章についても、AIを活用することで、市場動向の分析ができる様になりつつある。
ただし、まだ研究段階の技術であり、東京大学大学院 工学系研究科の和泉潔氏の論文では、約10年間のデータを分析し、1ヵ月後の予測では市場平均株価において60%以上の騰落正答率を収めたと報告されているが、精度としてはまだそのレベルであるということを念頭に置いておく必要がある。
またその後の研究においても、企業の不祥事が業績に与える影響を新聞記事から解析するという手法などが研究されている。
ビッグデータを分析
2つ目は企業内に溜まっている各種データ、特にその中で記述された文章をビッグデータとして解析する手法である。例えば業務日報などは社員が毎日記述している自由記述のテキストデータであるため、様々な解析に利用することができる。
例えば、IBMの「Watson Personality Insights」はテキストから性格を推定するWatsonのAPIであり、フリーテキストから書き手の性格特性を推定するシステムとされている。その際、心理学の分野で世界的なスタンダードとなっている「ビックファイブ」と呼ばれる指標を使う。この「ビッグファイブ」というのは具体的には、「好奇心の強さ（Openness to experience）」「勤勉さ（Conscientiousness）」「外交的（Extraversion）」「人当たりの良さ（Agreeableness）」「繊細さ（Neuroticism）」であり、ここから性格を推定する。
また、この「ビッグファイブ」は日によって、つまりその時の気分によっても変動すると言われており、精神的な状態も把握することができる。ただし、最初に学習させるデータが年齢や性別などに片寄りがあると、分析時にバイアスがかかってしまうこともわかっている。データを如何に集めてくるかは、AIを学習させる上で大変重要な要素である。
顧客の声を分析
3つ目はアンケートや電話による問い合わせなど、商品やサービスに対する顧客からの声を分析することである。特に自由記述欄に書き込まれた文章をテキストマイニングで形態素解析などを使いながら解析するというのは以前から行われてきた。しかし、今ここにAIを投入して、あらかじめ設定されたネガティブワードがどのようなシチュエーションで使われているのかを分析し、スコア化することができるようになってきている。それにより、トラブルが発生しそうなスコア値になった場合にはアラートを出すことができる。また、これまではネガティブワードではなかったワードも、AIが自身で上記と同様のスコア値の時に同時に出ていることを発見すれば、新たな注目ワードとしてチェック対象にくわえるということもできる。アンケートやSNSへの書き込みにリアルタイムに反応できるようになった。
同じ事がコールセンターに寄せられる問い合わせなどでも可能になってきている。特に問い合わせ内容をレポート化する部分は、これまで人間（オペレーター）の能力に依存していたが、これがAIによって自動的にレポート化されるようになってきている。
さらに、一日一回、バッチ処理によって作成されていたレポートを待たなくても、先のアンケートやSNSと同様、問い合わせ内容の中のワードをリアルタイムにスコア化し、管理者に対してアラートを出す仕組みが構築されている。
まとめ
日本語の文章は分析するのが難しい。英語をはじめとする西欧系の言語はワードがキッチリとわかれているため分析しやすいが、日本語はどこからどこまでが一つの言葉なのかを判断するのが難しかったからだ。
これまではフォーマット化された文章を中心にテキストマイニングによる分析が行われてきたが、ここにAI（人工知能）を利用することで、どのような文章であっても分析の対象にすることができるようになった。また、心理学をはじめとした様々な知見を用いることで、書かれている内容がネガティブな雰囲気であるかどうかをスコア化するだけでなく、書き手の性格まで分析できるようになってきた。
今後の課題はこのようなテキストデータをどの様にして集め、それをどのように活用していくのかをしっかりと考えることが、AIを使おうとする者に求められるようになる。」｛＊
<参考>
- テキストマイニングにおける人工知能（AI）の活用（ITトレンド）
https://it-trend.jp/textmining/article/use_of_ai#chapter-1 - 「単語レベルのテキストマイニングを壊す。」文章解析AIで隠れた本音を可視化（Ledge.ai）
https://ledge.ai/theai-2nd-insight-tech/ - 大規模テキストを利用した経済指標分析手法に関する研究
https://jhpcn-kyoten.itc.u-tokyo.ac.jp/ja/docH24/ProgRep/JHPCN12-DA05_ProgRep.pdf - 新聞記事上の分散表現の時系列変化と企業業績の連動性
https://www.ai-gakkai.or.jp/jsai2017/webprogram/2017/pdf/1074.pdf - 最強のチームはAIが作る!? Watsonの性格分析ツール開発秘話
https://www.ibm.com/think/jp-ja/business/personality-Insights
役にたったらいいね！
してください
No related posts.
