【ChatGPTの限界】GPTは次にくる単語を統計学的な確率に基づいて生成しているだけ

ChatGPTについて考えたことを適当にまとめました。細かいところのリサーチはあまりせず、適当に思考しているので、ここで出た結論はあくまで仮説に過ぎませんので悪しからず。

ChatGPTが得意なこと、可能性

ChatGPTは翻訳、要約、テンプレート出力、Q&A対応などが得意だ。

文章などのテキストに依らず、生成系AIによって、テキスト指示から画像を生成、動画から概要文を生成などのマルチメディアでの変換も可能になってきている。

思考メモ

内部的に音声や画像を一回テキストに翻訳(変換)してからGPTにぶちこんでアウトプットをさらに音声や画像に翻訳(変換)しているのかもしれないし、画像や音声をバイナリデータのまま使っているかもしれないし、RGBデータの配列などの何らかのデータに変換してから使っているのかもしれない。

ただ、これによって何でも創造できるかというとそんなこともないと思っている。

ChatGPTの限界

ここでChatGPTの限界を考えておきたい。

何でもかんでもChatGPTのプロンプトを試行錯誤すれば、やりたいことが実現できると思い込むと、実際はそんなこともなくて、時間の無駄になってしまう。手を動かすなりして、次世代の技術を待つほうが早いことも多い。

ChatGPTにアイデア出しをさせたり質問の回答を求めると酷く抽象的で優等生のような無難な答えが返ってきて上手だと思うことはあっても面白いと思うことは少ない。

何がを要約してもらったり概要をつくってもらう場合も、まとめ方や構造化の仕方に新鮮さがない。新しい切り口や解釈によって物事がシンプルにまとまるという現象が世の中にはあるが、これらはChatGPTにあまり期待しにくい。(自分の思考がそもそも整理されていない場合は、助けになることも多いが、使っていてやはり限界を感じる)

計算も苦手だ。一定の確率で正しい計算をしてくれるが、桁数がそもそも間違っていたりすることも多く、電卓や人間に頼った方がぶっちゃけ速いのでは?と思うこともある。(一発でうまくいくこともあるので、ギャンブルに勝った場合は人間や電卓より生産的だ。)

統計学的な確率に基づく推論であるということ

ChatGPT生成系AIなどは、大量のデータを深層学習し、次にくるデータを統計学的な確率を元に生成しているらしい。

自分が使っていて感じる上述の限界は、どことなく統計学的な確率によるものだといわれると納得がいく。

もしかすると、GPTの学習データ量がさらに増えたり、何か別のロジックがはいると振る舞いが変わって限界を突破する可能性はあるので、それは今後に期待するとして、これらの限界に目を向けながら、使いこなしていきたい。