ChatGPTが苦手なこと（2023年5月16日）

「ChatGPTの苦手なこと」について

ChatGPTは様々なトピックに関する知識や文脈を持っており、利用者はさまざまな質問や会話を通じて自動生成された文章を得ることができる便利なAIツールです。
ただし、こちらに記載したように、ChatGPTは2021年9月までの情報しか持っていないという点と、「正確性や理解力には限界がある」という点に注意が必要です。
この記事では、ChatGPTを1ヶ月ほど利用した過程で発見した、ChatGPTが苦手な事例をいくつか紹介させていただきます。

ただし、ChatGPTは日進月歩で成長しているため、ここで紹介させていただいた事例は2023年5月16日時点のものです。
したがって、今後さらなる改善がされる可能性が高いです。

オンザライスの扱い

文章の校正と修正を依頼したところ、その結果に違和感がありました。

『「エッグデミハンバーグ」は、目玉焼きの存在が強いので、ハンバーグはその下に完全に隠れていました。「デミハンバーグ」の「デミソース」は、「洋風カレー」からカレー「スパイス」を抜いた味わいであると個人的には思うところがありますが、ハンバーグとデミソース、そしても目玉焼きをオンザライスして、かきこむように食べるのは大好きです。』上記の『』内の文章を校正・修正・推敲していただけないでしょうか？）（「エッグデミハンバーグ」は、目玉焼きの存在が強いので、ハンバーグはその下に完全に隠れていました。個人的には、「デミソース」は、「洋風カレー」からカレー「スパイス」を抜いたような味わいであると思いますが、ハンバーグとデミソース、そして目玉焼きをオンザライスに載せて、かき混ぜながら食べるのが大好きです。）

ChatGPTの回答には、「そして目玉焼きをオンザライスに載せて、かき混ぜながら食べる」とありますが、この場合、「載せる」という言葉は余分であり、「目玉焼きをオンザライスして、かき混ぜながら食べる」と表現する必要があります。
ChatGPTは、「オンザライス」という表現について、自然言語処理が正常にできなかった可能性があります。

文字解析と訂正・校正

ChatGPTは、英語をカタカナにした文章を含む日本語の文章の自然言語処理に苦手意識はないようです。
実際、「アーモンドチョコはベリーデリシャスなので、エブリデイイートできます（アーモンドチョコは、とても美味しいので、毎日食べられます）」のような文章も正常に処理できることが確認できます。

（『アーモンドチョコはベリーデリシャスなので、エブリデイイートできます』を訂正・校正していただけないでしょうか？）（「アーモンドチョコはベリーデリシャスなので、エブリデイイートできます」という文を訂正・校正すると、以下のようになります:「アーモンドチョコは非常においしいので、毎日食べることができます。」この訂正では、文の流れを保ちつつ、より自然な表現になるように修正しました。ただし、食べ物の好みや個人の体調などには個人差がありますので、適度な摂取量やバランスの取れた食事を心掛けることが大切です。）

ChatGPTは、文字の訂正だけでなく、「適度な摂取量やバランスの取れた食事を心がけることが大切です」と、健康に配慮したありがたいアドバイスも提供しておりました。

さらに、「sorosorotsuyunojikidesunodemainichikasawojisanshimashou（そろそろ梅雨の時期ですので毎日傘を持参しましょう）」と、すべてローマ字でかつスペースがない文章でも、ChatGPTでは修正できます。

（『sorosorotsuyunojikidesunodemainichikasawojisansimasyou』を訂正・校正していただけないでしょうか？）（「sorosorotsuyunojikidesunodemainichikasawojisansimasyou」という文は、単語が連結されており、スペースや読みやすさが欠けています。訂正と校正を行うと、以下のようになります:「そろそろ梅雨の時期ですので、毎日傘を持ち歩きましょう。」この訂正では、文の意図を考慮しつつ、正しいスペースと文法を導入しました。日本語では単語ごとにスペースを入れることが一般的です。また、「そろそろ梅雨の時期ですので」という部分で、季節の変化に言及しています。「毎日傘を持ち歩きましょう」という部分で、行動の助言を述べています。）

「日本語では単語ごとにスペースを入れることが一般的です」とChatGPTは適切なアドバイスもしています。

「切開席に雨水円さんを加えると2参加TANSOが発生します（石灰石に薄い塩酸を加えると二酸化炭素が発生します）」という文章は、漢字の誤用や専門用語の誤用があるため、自然言語処理の精度が低下してしまうようです。
また、「2参加TANSO」という表現に関しては、算用数字とローマ字が混在しており、ChatGPTでも、正しく訂正・修正することができませんでした。

（『切開席に雨水円さんを加えると2参加TANSOが発生します』を訂正・校正していただけないでしょうか？）（「切開席に雨水円さんを加えると2参加TANSOが発生します」という文を訂正・校正すると、以下のようになります:「切開席に雨水円さんを加えると、2つの参加TANSOが発生します。」ただし、この文自体が意味不明であるため、正確な訂正ができているか確信は持てません。もし意図されたメッセージがあれば、具体的な内容や背景を教えていただけると、より正確な訂正ができるかもしれません。）

文学作品について

ChatGPTは、夏目漱石の小説『こころ』の文章をすべて学習しているという前提で、小説中に登場する「K」の出身宗派について質問したところ、意外なことに正確な回答が得られませんでした。

（夏目漱石著の「こころ」に登場する「K」はどの宗派の坊さんの出身でしょうか？）（夏目漱石の小説「こころ」に登場する「K」は、曹洞宗（そうとうしゅう）の坊さんの出身です。曹洞宗は、日本の仏教宗派の一つであり、禅宗の一派です。小説「こころ」では、主人公の私（わたし）との対話を通じて、Kが自身の禅の修行や思考を語る場面が描かれています。）

夏目漱石著の「こころ」の原文には「Kは真宗の坊さんの子」という記載があるため、ChatGPTに再度確認しました。

（夏目漱石著の「こころ」の原文には「Ｋは真宗の坊さんの子」という記載があると記憶しておりますが、間違っておりますでしょうか？）（申し訳ありません、私の回答は誤りでした。夏目漱石の小説「こころ」には、「Kは真宗の坊さんの子」という記述があります。真宗は、日本の仏教宗派であり、浄土宗の一派です。Kは真宗の坊さんの子供として描かれています。おっしゃる通り、私の先程の回答は間違っておりました。お詫び申し上げます。ありがとうございました。）

ChatGPTでは、「Kは真宗の坊さんの子」という事実を理解しており、前回の回答が間違っていた事実を謝罪しました。
しかしながら、質問の内容を変更し、何度かChatGPTに改めて質問しても、夏目漱石の小説「こころ」に登場する「K」は、「曹洞宗（そうとうしゅう）」の坊さんの出身であると回答していたため、細かい点では正確性が低くなると考えられます。

ここで、夏目漱石の前記三部作と後期三部作についてChatGPTに質問してみました。

（それでは、夏目漱石の前記三部作と後期三部作を教えてください。）（夏目漱石の前期三部作は以下の通りです：「吾輩は猫である」（1905年）：この小説は、猫の視点から人間社会を皮肉りながら描いた作品です。「坊っちゃん」（1906年）：自伝的な要素を含んだ作品で、若者の成長や学校生活を描いています。「倫敦塔」（1909年）：漱石の留学時代の経験を元にした作品で、留学生活や帰国後の苦悩を描いています。夏目漱石の後期三部作は以下の通りです：「草枕」（1906年）：主人公が自己の存在意義や社会との関係について悩む姿を描いた作品です。「虞美人草」（1909年）：恋愛や結婚、家族の問題をテーマにした作品で、主人公の心の葛藤を描いています。「明暗」（1910年）：主人公の青年が教育と社会の矛盾に直面しながら成長していく姿を描いた作品です。以上が夏目漱石の前期三部作と後期三部作の一覧です。）

夏目漱石の前期三部作は「三四郎」、「それから」、「門」であり、後期三部作は「彼岸過迄（ひがんすぎまで）」、「行人」、「こころ」です。したがって、ChatGPTには一部の作品が学習漏れしている可能性があります。

日本のアーティストについて

2017年11月8日に発売された安室奈美恵さんのベストアルバム「Finally」に収録されている楽曲についてChatGPTに質問したところ、「おどるポンポコリン」が回答の一部に含まれていました。
そこで、ChatGPTに対して、日本のアーティストがリリースしたアルバムに関する情報を保有しているかどうか質問してみました。

（ChatGPTは、日本のアーティストがリリースしたアルバムの情報を保有していないのでしょうか？）（申し訳ありませんが、私は日本のアーティストがリリースしたアルバムの情報を特定のアーティストに限定せずに保有しています。ただし、特定のアーティストの具体的なアルバムの収録曲や詳細な情報に関しては、私のトレーニングデータには含まれておらず、リアルタイムの情報も持っていません。そのため、アルバムの具体的な曲目や詳細な情報については、公式な情報源や音楽データベースなどを参照することをおすすめします。私はあくまで一般的な知識や一般的な質問に対する回答を提供することに特化しています。）

ChatGPTのトレーニングデータには、特定のアーティストの具体的なアルバムの収録曲や詳細な情報に関する内容は含まれていないようですね。

まとめ

ChatGPTを1ヶ月ほど利用した過程で発見した、ChatGPTが苦手な事例をいくつか紹介させていただきました。
例えば、「オンザライス」といった広くは流布していない英語を日本語の文章に取り込んだり、漢字の誤用や専門用語の誤用が多い文章の解析には、ChatGPTでも限界があるようです。
また、特定のアーティストの具体的なアルバムの収録曲や詳細な情報、特定の作品の詳細や特定の文脈については、ChatGPTでは正確性や完全性が保証されないようですね。
これからのChatGPTがどのようにアップデートしていくか、引き続きできるかぎりキャッチアップしていきたいと思います。