テキストマイニング雑感１（「できますできます」について）

投稿者:オロナイン - 投稿日時:2001年10月01日 11時32分08秒

　「Kuro's Room」にアップされていたくろさんのテキストマイニングへのコ
メント拝見しました。

　僕もテキストマイニングには非常に興味があり、ちょこちょこっといじっ
てるので、コメントさせていただきます。

＞何を聞いても「できます、できます」といい、ちょっと突っ込んで聞くと
＞「それはプログラミングしないと・・・」。。。それって、できないって
＞ことじゃないの？！といいたくなってしまいました。

　あまり話を広げると収拾がつかなくなるので「テキストマイニング」のソ
フトを想定して書きますが、テキストマイニングでは、対象データの形態、
質、そして何をしたいかが、使う人によって全く異なるためソフトのデフォ
ルト機能では、「いろんな人に共通する基本的なことまでしか出来ない」と
いうことになります。

　ここまではいいんですが、問題なのは、各社ソフトの中身が何を行ってい
るかがブラックボックスになってるところです。特に日本語処理の部分なん
てまったく伏せられているのが現状です。

　結局、SPSSでもClementineでも、SASでも、ちょっとこった処理をするには、
シンタックスを書いたり、プログラムを書かないといけない訳で、そのため
には、内部でどんな処理がなされているかを知っておかなければ、どうしよ
うもありません。（＊ここで言う処理とは分析手法のロジックのことです）

＞「それはプログラミングしないと・・・」

　ユーザーがプログラムを組んで解決しようとすると、内部での処理の仕組
みを知る必要があるのですが、肝心なところを思いっきり伏せているので、
実際には何も出来ません。

　この状況で、先のソフト会社の言葉を理解すると以下のようになります。

　「（利用者が個別に望んだ）それ（機能）は、（うちの開発部隊がそれ用
に）プログラムしないと（実現できないので、カスタマイズに○○○万かか
ります）」

　実際、某社の担当さんに処理方法のことを聞いたところ（担当者も仕組み
を理解できていなかった可能性が大ですが）処理の中身は、企業秘密なので
明らかに出来ません。カスタマイズはこちらで行いますが、○○○万かかり
ます」という回答でした。

　どこがどう企業秘密になるかは意見が分かれるでしょうけど、そのソフト
利用者が、出てきた結果を解釈する上で、知る必要がある処理内容が企業秘
密に該当するとなると、「データ入れたら、ガラガラポンで結果が出ます。
でもそのガラガラポンには触れないでね」って言っているようなもので、
「当たるも八卦、はずれるも八卦の占い」と変わらないような気がしちゃう
のは、僕だけでしょうか。

　と、ちょっと辛口になってきましたが、テキストマイニングがまだまだ初
期の段階で、ちょっとしたノウハウで他社と差を付けざるを得ないというこ
ともあるのでしょうね。

　くろさんのご紹介のClementineユーザー会で発表されたストリームは、か
なり初歩的な機能しか持っていないものでしたが、ストリームをみれば、処
理の中身が丸見えなので使う方は安心ですし、カスタマイズも出来るので、
便利そうではありました。とはいえ、発表者も言っていましたが、まだまだ
実用段階ではないそうです。

　あまりに長くなってきたので、この続きは、また別途にします。

この投稿へのコメント
がらがらぽん