AI・機械学習 自然言語処理

OpenAI の ChatGPT がセンター試験の英語を受けたら何点ぐらい取れるか試してみた

2023年1月29日

2022年11月にOpenAIから“ChatGPT: Optimizing Language Models for Dialogue”というタイトルでChatGPTのアプリケーションが公開されました。

かなり話題になっているので知っている方や実際に使ったことがある方も多いかもしれませんが、ChatGPTとは、AI、特に自然言語処理の技術を使った対話のためのシステムといったところです。

今回はそのChatGPTの概要を簡単に説明し、ChatGPTが大学センター試験の英語を解いたら何点になるかを検証したいと思います。

私自身センター試験を受けたのは25年前ぐらいで、試験問題を解いたりする気にはならないので、基本的に答えが合っているか?だけを見ていきます。

深堀りしないので、そこはご容赦ください。

あと、下線を表現できないのどの問題があるので、ある程度質問の仕方を調整しています。

ですので厳密な一発勝負(ゼロショット)ではありません

正解するようにはいじったりはしていませんが、あくまでChatGPTを理解したり楽しむためのもので、完全にフェアな評価とは言えない点はご留意いただければと思います。

なお、2023年3月1日から ChatGPT の API が公開されました。

その使い方については以下の記事で解説しています。

ChatGPTの概要

まずはChatGPTはどんなものか?について簡単に触れておきます。

ChatGPTの“GPT”はGenerative Pretrained Transformerの略です。

GPTもOpenAIが作成した文章生成モデルで、Transformerというディープラーニングの仕組みを利用しています。

Transformer

ややこしいですが、すごく簡単に単語を説明しますと、TransformerというのはGoogleが2017年に提案したディープラーニングモデルの名前です。

(Transformerの詳細はこちらをご参照ください ⇒ 『【論文解説】Transformerを理解する』

それまで文章生成や翻訳タスクなどの自然言語処理でよく使われていたモデルは、文章を前から順番に処理する必要があったため、学習に時間がかかっていました

それがネックで大規模なデータセットで学習する負荷が非常に高かったのですが、Transformerでは文章を一気に読むことができるように改良したことで、大規模なデータセットで学習できるようになりました

また、Transformerは事前の仮定が少なく非常に汎用的な仕組みを持っているため、大規模なデータセットと相性が非常に良いものでした。

事前学習とTransformerの組み合わせ

そのTransformerという仕組みに、大規模な事前学習を組み合わせたものがGPTです。

それまでのモデルは、いきなり分類タスクや翻訳タスクなどの、解きたいタスクをいきなり学習させていましたが、GPTではWikipediaなどの大量にある文章で事前に言語を学習します

人間で言うと、いきなり国語の試験勉強をする前に、大量の本やWikipediaを読んで文章の構造や使われ方といったものを事前に学習し、それから国語の試験を学習するというものです。

大量の本やWikipediaで次の単語、次の単語を予測しながら学習することを事前学習、事前学習で言語を理解したうえで、国語の問題とその解答を見て国語の試験を学習することをファインチューニングと言います。

機械は人間では読めないほどの大量の文章を眠らずに読む(事前学習する)ことができますので、それをまずインプットすることで飛躍的に成績が上がります。

それがOpenAIのGPTやGoogleのBERTで、ここからGPT-2GPT-3DialogGPTBERTを改良したRoBERTaELECTRAXLNentなどの新しいモデルが生まれてきました。

GPTの詳細はこちらをご参照ください ⇒ 『【論文解説】GPTを理解する』

GPT-3からChatGPTへ

では、ChatGPTとは何かというと、GPTを対話型のタスクをこなせるように応用したものと言えます

GPT-2、GPT-3と改良されて、モデルのパラメータが約1億から15億、1750億と大幅に増え、人間のような文章を書いたり、様々なタスクを一発で解いたり(zero-shot)、数少ない例示だけで解けるようになったり(few-shot)と素晴らしい発展がありました。

GPT-3でどのような文章が生成されるかは以下の記事をご参照ください。なかなか興味深いものになっています。

rinna社の13億パラメータのGPT-2はこちらです。

これはこれですごいのですが、GPT-3も勝手に文章を生成して、ユーザーが真に求めている文章を作成しているか?と言われるとそうではありませんでした

事実とまったく異なる話を作り上げたり、偏見が入った文章を生成したり、ユーザの求めていない文章を生成したりするケースも多々ありました。

そのような問題意識から、OpenAIが『Training language models to follow instructions with human feedback』という論文で「InstructGPT」を発表しました。

これはGPTのようにただただ大量の文章を読み込んで文章を生成するというのではなく、人間のフィードバックをもとに学習することで、よりユーザーの意図を捉えた自然な対話ができるようにする、というのが目的です。

学習には人によるフィードバックを利用した強化学習(HFRL; Human Feedback Reinforcement Learning)を使っていて非常に興味深いのですが、この詳細については今後解説したいと思ってます。

ChatGPTの使い方

ChatGPTの使い方は非常に簡単です。

まずOpenAIのアカウントを作成する必要がありますが、アカウントの作成方法は『OpenAI GPT-3 APIの使い方を解説』をご参照ください。

アカウントを作成できたら、OpenAIのブログ『ChatGPT: Optimizing Language Models for Dialogue』から『TRY CHATGPT』をクリックするか、直接こちらにアクセスするとChatGPTのAPIに飛ぶことができます。

すると以下のような画面がでますので、質問や文章を英語や日本語で入力すると対話することができます。

試験開始

では、実際に動かしてセンター試験の英語を解いてみましょう!

今回受けてみるのは、令和2年度の本試験です。

繰り返しになりますが、問題文そのままでは下線部などが表現できず、またChatGPT用にうまく説明してあげる必要があるので、問題文を多少調整しています。

第1問 

A 発音

第1問のAは発音問題です。

では問1から順番に見ていきます。

以下の4つのうちから、カッコの発音記号がほかの三つと異なるものを教えてください。

  1. scarce
  2. scenery
  3. scratch
  4. scream

ChatGPTの答えは、

2. scenery 「scenery」の発音記号がほかの三つ「scratch」、「scarce」、「scream」と異なります。 「scenery」は「ˈsiːnərɪ」の発音記号になります。 それらのほかの3つは「skrætʃ」、「skɛrs」、「skri:m」の発音記号になります。

2番ということで見事に正解ですね!

ちなみに、「カッコの発音がほかの三つと異なるものを教えてください」ではダメで、発音記号としないとうまく伝わらないようです。

では問2です。

以下の4つのうちから、カッコの発音記号がほかの三つと異なるものを教えてください。

  1. ari(s)e
  2. de(s)ire
  3. loo(s)e
  4. re(s)emble

ChatGPTの出した答えは、以下です。

  1. loo(s)e
    「loo(s)e」の発音記号がほかの三つ「ari(s)e」、「de(s)ire」、「re(s)emble」と異なります。 「loo(s)e」は「lu:s」の発音記号になります。 それらのほかの3つは「aɪz」の発音記号になります。

答えは3なのでまたしても正解ですね。

では問3です。

以下の4つのうちから、カッコの発音記号がほかの三つと異なるものを教えてください。

  1. acc[u]se
  2. c[u]be
  3. c[u]cumber
  4. c[u]ltivate

ChatGPTの出した答えは、以下です。

  1. acc[u]se 「acc[u]se」の発音記号がほかの三つ「c[u]be」、「c[u]cumber」、「c[u]ltivate」と異なります。
    「acc[u]se」は「əˈkjuːz」の発音記号になります。それらのほかの3つは「kjub」、「ˈkʌkəmbər」、「ˈkʌltɪveɪt」の発音記号になります。

あれ!?間違えました!

ChatGPTは1と答えましたが、答えは4です。

3番目の「c[u]cumber」の発音記号は「「ˈkʌkəmbər」」で合っているのでしょうか? キューカンバーですよね?

もう一度ChatGPTに聞いてみます。

「cucumber」の発音記号は「「ˈkʌkəmbər」」で合っていますか?

ChatGPTの答えは

「cucumber」の発音記号は「ˈkjuːkʌmbər」になります。
「kju:」と読むことで、「c」と「u」の音を組み合わせて発音します。
「kʌkəmbər」が発音記号であるように記述されたのは誤りでした、ご迷惑をおかけし申し訳ございません。

間違いだったようですね。

ちなみに、もう一度同じ問題を出すとcucumberの発音記号は訂正されていますが、答えは変わっていません。[u]の部分の発音記号というのがいまいち伝わっていないのかもしれませんね。

(現時点ではcucumberの発音が訂正されているようです。ただ、回答は相変わらず間違えていました)

B アクセント

では問4です。

問4. 以下の4つのうちから、第一アクセント(第一強勢)の位置がほかの三つと異なるものを教えてください。

  1. allergy
  2. objective
  3. physical
  4. strategy

ChatGPTの出した答えは

objective 「objective」の第一アクセント(第一強勢)の位置が、ほかの三つ「allergy」、「physical」、「strategy」と異なります。「objective」の第一アクセントは、オブジェクティブのオが強勢になります。それらのほかの3つは「allergy」の「a」、「physical」の「ph」、「strategy」の「s」が強勢になります。

う~ん、何か説明がおかしいですが、とりあえず2という答えは合っていますね。

では、第5問です。

以下の4つのうちから、第1アクセント(第一強勢)の位置がほかの三つと異なるものを教えてください。

  1. alcohol
  2. behavior
  3. consider
  4. magnetic

ChatGPTの答えは、

consider 「consider」の第1アクセント(第一強勢)の位置が、ほかの三つ「alcohol」、「behavior」、「magnetic」と異なります。「consider」の第1アクセントは、considerのconが強勢になります。それらのほかの3つは「alcohol」の「al」、「behavior」の「be」、「magnetic」の「ma」が強勢になります。

正解は1なので間違えてます!

これは私でもわかりますね。ルコホーですよね。

では、第6問です。

以下の4つのうちから、第1アクセントの位置がほかの三つと異なるものを教えてください。

  1. canal
  2. instance
  3. island
  4. workshop

ChatGPTの答えは、

instance 「instance」の第1アクセントの位置が、ほかの三つ「canal」、「island」、「workshop」と異なります。「instance」の第1アクセントは、インスタンスのインが強勢になります。それらのほかの3つは「canal」の「ca」、「island」の「i」、「workshop」の「wo」が強勢になります。

正解は1なので違います…。

問7も間違えてますので割愛しますが、どうやらアクセントはうまくいかないようですね。

ただ、質問の仕方が悪いかもしれません。

まとめると7問中4問正解の14点中8点になります。

第2問

ここからは文章問題です。

あまり幸先の良くないスタートだったのでちょっと不安になりますね。

A 穴埋め

問1です。

[8]に入る最も適切な単語を選んでください。
Due to the rain, our performance in the game was [8] from perfect.

  1. apart
  2. different
  3. far
  4. free

ChatGPTの答えは、

far 「far」が最も適切な選択肢です。「Due to the rain, our performance in the game was far from perfect」と言う文章は、「雨のせいで、ゲームのパフォーマンスは完璧から遠く離れていた」という意味になります。 「apart」は分離される、「different」は違う、「free」は自由なを表しますが、これらは「雨のせいで、ゲームのパフォーマンスは完璧から遠く離れていた」という意味には合っていません。

正解は3ですので見事に正解しました!

しかもちゃんと解説も付けてくれています。

これからは人が解説を作成しなくても良くなるかもしれませんね。

問2です。

[9]に入る最も適切な単語を選んでください。
Emergency doors can be found at [9] ends of this hallway.

  1. both
  2. each
  3. either
  4. neither

ChatGPTの答えは、

both 「both」が最も適切な選択肢です。「Emergency doors can be found at both ends of this hallway」と言う文章は、「このホールウェイの両端に緊急ドアがある」という意味になります。 「each」はそれぞれ、「either」はどちらか、「neither」はどちらでもないを表しますが、これらは「このホールウェイの両端に緊急ドアがある」という意味には合っていません。

正解は1ですので正解ですね。

続いて問3ですが、ここは正解しているので割愛します。

続いて問4です。

問4. [11]に入るもっとも適切な単語を選んでください。
Noriko can speak Swahili and [11] can Marco.

  1. also
  2. as
  3. so
  4. that

ChatGPTの答えは、

also 「also」が最も適切な選択肢です。「Noriko can speak Swahili and also can Marco」と言う文章は、「ノリコはスワヒリ語を話すことができて、マルコもそうできる」という意味になります。 「as」は同様に、「so」はそうなので、「that」はそれを表しますが、これらは「ノリコはスワヒリ語を話すことができて、マルコもそうできる」という意味には合っていません。

答えは3番となっているので間違えています!

ChatGPTも自身満々に説明付きで答えているので、もう少し確認してみましょう。

1と2どちらが正しいですか?

  1. Noriko can speak Swahili and also can Marco.
  2. Noriko can speak Swahili and so can Marco.

ChatGPTによると、

両方とも正しい文章です。 1.「Noriko can speak Swahili and also can Marco」は、「ノリコはスワヒリ語を話すことができて、マルコもそうできる」という意味になります。「also」は「も」という意味で、それによって、主語「Noriko」と「Marco」が同じ能力を持っていることを示します。
2.「Noriko can speak Swahili and so can Marco」は、「ノリコはスワヒリ語を話すことができるので、マルコもそうできる」という意味になります。「so」は「そうなので」という意味で、それによって、主語「Noriko」がスワヒリ語を話すことができるという事実が、マルコも同じ能力を持っていることを示します。
どちらかを選ぶかは文章によって異なりますが、意味的にはどちらも同じです。自分の文章に合った方を使っていただければと思います。

自分に合った方を使えば良いとのことですので、どちらも文法的には問題ないということですね。

実際どうなんでしょうか、私にはわかりませんのでネイティブの人に聞きたいところです…。

いずれにしても結構微妙な問題なのかもしれません。

では次ですが、問5は正解でしたので割愛します。

問6です。

[13]に入るもっとも適切な単語を選んでください。
Our boss is a hard worker, but can be difficult to get [13].

  1. along with
  2. around to
  3. away with
  4. down to

ChatGPTの答えは、

around to 「Our boss is a hard worker, but can be difficult to get around to」と言う文章は「私たちの上司は努力家だが、連絡を取るのは難しいことがある」という意味になります。「around to」は「連絡を取る」という意味で、これによって、上司が忙しく、タイミングを合わせるのが難しいことを示します。 「along with」は「と共に」、「away with」は「取り除く」、「down to」は「結果」を表しますが、これらは文章の意味に合っていません。 「around to」が文脈に合っていると考えられます。

答えは1なので間違いですね。

「私たちの上司は努力家だが、連絡を取るのは難しいことがある」というのは若干意味が変ですが、along withではないと言ってますね。

問7は正解しましたので省略します。

問8からは以下の用な複数の穴埋め問題になります。

では問8です。

[A]、[B]に入るもっとも適切な組み合わせを番号で選んでください。
We’ll be able to get home on time as [A] as the roads are [B].

  1. A:far B:blocked
  2. A:far B:clear
  3. A:long B:blocked
  4. A:long B:clear

ChatGPTの答えは、

A:long B:clear 「We’ll be able to get home on time as long as the roads are clear」と言う文章は「道が空いている限り、私たちは家に帰ることができます」という意味になります。「long」は「長い」、「clear」は「空いている」を表します。 「far」は「遠い」、「blocked」は「遮られている」を表しますが、これらは文章の意味に合っていません。 「long」と「clear」の組み合わせが文脈に合っていると考えられます。

合っていますね!

問9: ×、問10: 〇となっています。

B 並べ替え

ここは並べ替え問題で、並べ替えたうえ、対象となる位置にある単語の番号を答えるのですが、表現が難しいので並べ替えだけさせます。

それができれば、あとは機械的に該当位置の単語の番号を選ぶだけなので、ルールベースでできると考えるからです。

段々難しくなってきますね。

問11です。

それぞれ下の語句を並べかえて空所を補い,最も適当な文を完成させてください。
Tony: Those decorations in the hall look great, don’t they? I’m glad we
finished on time.
Mei: Yes, thank you so much. Without your help, the preparations
[] [] [] [] [] [] all the guests arrive this afternoon.

  1. been
  2. by
  3. completed
  4. have
  5. the time
  6. would not

ChatGPTの答えは、

Tony: Those decorations in the hall look great, don't they? I'm glad we finished on time. Mei: Yes, thank you so much. Without your help, the preparations would not have been completed by the time all the guests arrive this afternoon.

2番目と5番目はそれぞれhaveとbyなので答えは④と②になります。

両方正解ですね!

これは文章生成問題なので、得意そうですね。

問12です。

それぞれ下の語句を並べかえて空所を補い,最も適当な文を完成させてください。
Ichiro: Mr. Smith has two daughters in school now, right?
Natasha: Actually, he has three, the [] [] [] [] [] [] London.
I don’t think you’ve met her yet.

  1. in
  2. is studying
  3. music
  4. of
  5. whom
  6. youngest

ChatGPTの答えは、

Ichiro: Mr. Smith has two daughters in school now, right? Natasha: Actually, he has three, the youngest of whom is studying music in London. I don’t think you’ve met her yet.

2番目と5番目はofとmusicですので答えは④と③になります。

両方とも正解です。

問13も両方正解したしたので省略します。

C 文章埋め

Cは四角内にはいる文章を連続する二つずつの選択肢から3つ選んでいく問題です。

では、問14から見ていきましょう。

カッコに入る意味的にもっとも適切な文章を1,2,3から順番に選び、文章を作成してください。選んだ答えも教えてください

Chisato: I heard a new amusement park will be built in our neighborhood.
Luke: Really? That will be great for the kids in our area.
Chisato: Yes, but nobody is happy about the increased traffic near their houses.
Luke: But [] young people. It will definitely have a positive economic effect on our city.

  1. A. according to the experts, B. thanks to the neighbors,
  2. A. it will create less noise, B. it will create more jobs
  3. A. for, B. in

ChatGPTの答えは(答えの部分だけ抜き出しています)

A. according to the experts,
B. it will create more jobs
A. for
Therefore, the complete sentence is: "But according to the experts, it will create more jobs for young people. It will definitely have a positive economic effect on our city."

A → B → Aなので③となります、見事正解です!

続いて問15です。

カッコに入る意味的にもっとも適切な文章を1,2,3から順番に選び、文章を作成してください。選んだ答えも教えてください。

Yu: I heard Emma is planning to quit her full-time job. Lee: Yeah, she’s going to start her own company. Yu: Wow! Her husband must be angry because they need money for their new house. Lee: Very much so. But [] to Emma’s plan. They always support each other in the end.

  1. A. although B. because
  2. A. he is quite upset, B. he isn’t so upset,
  3. A. he doesn’t object B. he objects

ChatGPTの答えは、

A. although
A. he is quite upset,
A. he doesn’t object
"Very much so. But although he is quite upset, he doesn't object to Emma’s plan. They always support each other in the end."

A → A → Aなので①となり、正解です。

問16も正解しています。

賢いですねぇ。

問題2は47点中41点でした。

第3問

A 不要な文を特定

ここからは長文の問題になり、第3問は不要な文章を選ぶ問題です。

では問1です。

以下の文章の中で、前後の文章関係がおかしいことから、もっとも除いた方がよい1文はどれか理由とともに教えてください。
In the early history of the NBA, the biggest professional basketball league
in North America, the games were often low scoring and, as a result, not
always exciting.
These games frustrated fans of the day, and this became a major motivation to introduce a new rule to increase scoring: a 24-second limit for each shot.
The pressure of the time limit caused players to miss their shots more often.
After much discussion, the rule was first used in an official game on October 30, 1954.
Ever since, individual teams have often scored over 100 points in a game.
This simple change made the game more exciting and saved the league.

ChatGPTの答えは、

もっとも除いた方がよい1文は「The pressure of the time limit caused players to miss their shots more often.」です。この文章は、24秒ショット制限のルールが導入された理由とは関係がなく、前後の文章とも関連性がありません。そのため、削除することで文章全体の流れをより明確にすることができます。

この文章は②なので正解です!

続いて問2です。

以下の文章の中で、前後の文章関係がおかしいことから、もっとも除いた方がよい1文はどれか理由とともに教えてください。

You might have been told, “Sit up straight or you’ll get a backache.” But is it true? People have long assumed that posture has played some role in back pain. Surprisingly, the evidence from research linking posture and backache may be weak. Our back is naturally curved―from the side it is S-shaped. Individuals have their own unique bone sizes that determine their body shapes. It has been thought that good posture meant straightening out some of the curves. According to a study examining doctors’ opinions, it was found that there was no single agreed-upon standard of proper posture. One researcher even says that often changing your posture, especially when sitting, is more important for preventing back pain. The main source of back pain may be stress and lack of sleep, not the way someone is sitting.

ChatGPTが出した答えは

「It has been thought that good posture meant straightening out some of the curves.」が除いた方がよいです。なぜなら、この文章は前後の文章と関係がなく、前文は正確な姿勢と脊柱の曲がりについて話しているのに対して、この文章はそれに関係していないためです。

こちらは③になりますが答えは②の「Individuals have their own unique bone sizes that determine their body shapes.」が正しいようなので間違いですね。

問3は正しく②と答え、正解しました。

B 対話文の文章埋め

以下のように対話文を埋める問題です。

段々文章が長くなってきます。

では問1です。

1から4からカッコに入るもっとも適切な文章を選んだ番号と理由とともに教えてください。
Akira: Hey, guys. Thanks for dropping in. I’ve asked you all to meet here
today to come up with ideas about how to raise money for our annual
charity event. We’ll have about a month this summer to earn as much
as we can. Any thoughts?
Teresa: How about doing odd jobs around the neighborhood?
Akira: What’s that? I’ve never heard of it.
Jenna: Oh, I guess it’s not common here in Japan. It can be anything, you
know, doing stuff around the house like cutting the grass, washing the
windows, or cleaning out the garage. When I was a high school
student back in the US, I made 300 dollars one summer by doing yard
work around the neighborhood. And sometimes people will ask you to
run around town for them to pick up the dry cleaning or do the grocery
shopping. It’s a pretty typical way for young people to earn some extra
money.
Akira: So, Jenna, you’re saying that [] ?

  1. cleaning up the yard is quite valuable work
  2. dividing housework among the family is best
  3. doing random jobs is a way to make money
  4. gardening will surely be profitable in the US

ChatGPTの答えは、

doing random jobs is a way to make money 理由: Jennaは、自分がアメリカで高校生だった時に、近所での庭仕事をして300ドルを稼いだと説明している。それは、ランダムなジョブが稼ぐ方法であることを示している。

みごと正解です!

問2、問3も正解しました。

ということで第3問は33点中28点と、なかなかの好成績を収めています。

読解はさすがに得意のようですね。

第4問

A 長文読解

一通り文章を読んで続く問いに答えるというものです。

まずは、ChatGPTに以下を説明しておきます。

以下の文章を読んで、あとの質問に答えてください。

Sports coaches and players are interested in how training programs can be designed to enhance performance. The order of practice potentially facilitates learning outcomes without increasing the amount of practice. A study was conducted to examine how different training schedules influence throwing performance. In this study, elementary school students threw a tennis ball at a target laid on the floor. They threw the ball from three throwing locations at distances of 3, 4, and 5 meters from the target. The target consisted of the center(20cm wide)and nine larger outer rings. They served as zones to indicate the accuracy of the throws. If the ball landed in the center of the target, 100 points were given. If the ball landed in one of the outer zones, 90, 80, 70, 60, 50, 40, 30, 20, or 10 points were recorded accordingly. If the ball landed outside of the target, no points were given. If the ball landed on a line separating two zones, the higher score was awarded. The students were assigned to one of three practice groups: Blocked, Random, or Combined. All students were instructed to use an overarm throwing motion to try to hit the center of the target with the ball. On the first day of this study, they each completed a total of 81 practice throws. Students in the Blocked group threw 27 times from one of the three throwing locations, followed by 27 throws from the next location, and ended practice with 27 throws from the final location. In the Random group, each student threw the ball 81 times in the order of throwing locations that the researchers had specified. No more than two consecutive throws were allowed from the same location for this group. In the Combined group, the students started with a blocked schedule and gradually shifted to a random schedule. On the next day, all students completed a performance test of 12 throws. Results showed that during the practice of 81 throws, the Blocked group performed worse than the other two groups. Performance test scores were also analyzed. The Combined group showed the best performance among the three groups, followed by the Random group and then by the Blocked group. It is still uncertain if similar results can be obtained for adults in training programs for other throwing actions, such as those seen in bowling, baseball, and basketball. This will be addressed in the following section.

すると要約をしてくれていますが、まだ問題は出していないので無視します。

この研究では、小学生が床に設置されたターゲットにテニスボールを投げる際のトレーニングスケジュールがパフォーマンスにどのように影響を与えるかを調べるために行われました。研究参加者は、ブロック、ランダム、組み合わせの3つのグループに割り当てられ、最初の日に81回の練習投げを完了しました。結果は、ブロックグループは他の2つのグループよりもパフォーマンスが劣り、組み合わせグループが最も良いパフォーマンスを示し、ランダムグループが次に、ブロックグループが最後になりました。今後の研究では、ボウリング、野球、バスケットボールなどの他の投げ動作についてのトレーニングプログラムでも同様の結果が得られるかどうかを調べる必要があります。

ここは関係ないとして、問1から出していきましょう。

ただ、問1は以下のように図を読み取る問題でしたので、ここはChatGPTに聞けないので不正解としておきます。

では問2です。

ときどき、番号で選んでくれず、文章で答えるので、適当に“Choose the number.”と追加しておきました。

Which of the following statements is true about the experiment?

  1. Eighty-one throws were made from the same initial throwing location in the Blocked group.
  2. The distance from the target remained unchanged during the entire
    experiment for the Combined group.
  3. The set of throws from the same location involved various ways of
    throwing for the Combined group.
  4. Throwing three or more times in a row from the same location was against the rules for the Random group.

ChatGPTの答えは、

4. Throwing three or more times in a row from the same location was against the rules for the Random group.

正解です!

問3です。

Which of the following statements is true about the results?

  1. The Blocked group had the best score both during practice and on the
    performance test.
  2. The Blocked group showed the worst score among the three groups on
    the performance test.
  3. The Combined group showed lower accuracy than the Random group on
    the performance test.
  4. The Random group had the lowest accuracy both during practice and on
    the performance test.

ChatGPTの答えは、

2. The Blocked group showed the worst score among the three groups on the performance test.

2とのことですので、正解です。

こんな調子で問4も正解しました。

B 長文・表の読解

次は表を含めた長文読解問題です。

表のところは少し整形しました。

次のページにあるフリーマーケットの出店申請の説明を読み,次の問いに答えてください。
We are now accepting applications for the Fall Flea Market at Greenly Sports
Center! Please bring your used and/or handmade goods. We have only a limited
number of spaces and accept applications in order of arrival, so email your
application soon. We are a pet-friendly market, but if you are planning to bring
your pet, you must apply for an outdoor space. For outdoor spaces, the organizers
will help set up tents for no extra charge. Trucks are available for additional fees
if you need to transport your goods.
Saturday, October 3rd(13:00―17:00) Indoor space (2 × 2 meters) $8
Sunday, October 4th (10:00―15:00) Indoor space (2 × 2 meters) $10
Saturday, October 3rd(13:00―17:00) Outdoor space(4 × 4 meters)$9
Sunday, October 4th (10:00―15:00) Outdoor space(4 × 4 meters)$11

  • Water is available for indoor spaces.
  • If you apply for both Saturday and Sunday, you’ll get a $2 discount each day.

Keep in Mind
1.Location of the spaces is decided by the organizers. No requests or changes
are possible.
2.Any changes in opening and closing times are announced two days in advance.
3.If you cancel your application, 80% of all fees will be refunded.
4.Garbage must be separated and put into the appropriate garbage cans at the
end of each day.
5.Fires and open flames are prohibited.

問1は以下です。

Fran will sell her handmade jewelry on both days. She needs only a small space. How much will it cost? []

  1. $14
  2. $16
  3. $18
  4. $20

ChatGPT答えは、

  1. $14

で、見事正解しています

表を読み取れるか、というものですが、整形しているのでずるいかもしれませんね。

問2です。

カッコに入れるのに最も適当なものを,それぞれ下の1~4のうちから一つ選べ。
Pat wants to sell some big household items, including a refrigerator, so she needs an outdoor space. What offer can she take advantage of? []

  1. Free assistance in setting up her tent
  2. Full cash refund due to cancelation
  3. Selection of the location of her space
  4. Use of a large truck free of charge

ChatGPTの答えは、

  1. Free assistance in setting up her tent

1ということで正解です。

という感じで問3も問4も正解です。

長文読解は得意のようですね。

にしてもすごいですね。

ということで、第4問は40点中35点と割と高得点でした!

第5問

第5問も長文読解問題ですが、かなり文章が長くなっています。

こちらをChatGPTに教えます。

次の文章を読み、下の問いカッコ に入れるのに最も適当なものを、それぞれ下の4つのうちから一つずつ選べ。
A couple of weeks ago, I was hiking with my dog on a mountain when
something unexpected happened and I lost sight of him. I looked and looked
but couldn’t find him. He had been with me for so long that it was like I was
missing part of my soul.
Ever since that day, I had a strange feeling. It was beyond sadness―a
feeling that I didn’t quite understand, as if something were pulling me to go
back to the mountain. So every chance I got, I grabbed my backpack to see if
the mountain could offer me some sense of relief.
One sunny morning, I stood at the foot of the mountain. Something felt
different this day. “Please forgive me,” I said out loud. “I’ll find you!” I took
a deep breath and began my journey with this mysterious pull growing
stronger. After making my way along paths I thought I knew well, I realized I
was somehow in an unfamiliar place. I panicked a little, lost my footing, and
slipped. From out of nowhere, an elderly man came running towards me and
helped me up.
Looking at his gentle, smiling face, I felt a sense of ease. The old man
said he was looking for a way to the top of the mountain, so we decided to
climb together.
Soon the path began to feel familiar again. We talked about many things,
including my dog. I told him that he was a German shepherd. When he was
younger, he served briefly as a police dog but had to stop due to an injury.
The man let out a laugh saying he had been a police officer for a short time,
but he quit. He didn’t say why. Later, he spent a long time as a bodyguard.
He also had German roots. We laughed at these similarities.
Before we knew it, we reached a large open area and took a break. I told
the man what had happened to my dog. “He had a tiny bell on his collar to
scare away bears. We came to this very spot and saw a bear. It was looking
back at us. I should have held my dog because, sensing danger, he chased
after the bear. I couldn’t find him after that. I should have been more
careful.”
As I was telling the story, the man’s expression changed. “It wasn’t your
fault. Your dog just wanted to keep you safe,” he said. “I’m sure Tomo would
want to tell you this. Also, thank you for not giving up.”
Tomo is my dog’s name. Did I tell him this? The old man’s comment rang
in the air.
Before I could ask anything, the man proposed we hurry to get to the top
of the mountain. I was planning to do this with my dog a few weeks ago.
After two more hours of hiking, we reached the peak. I set down my backpack
and we sat taking in the magnificent view. The old man looked at me and said,
“Mountains offer truly magical experiences.”
I looked around for a place to rest. I guess I was pretty tired, because I
fell asleep right away. When I woke up, I noticed that the old man had
disappeared. I waited, but he never returned.
Suddenly, in the sunlight, something caught my eye. I walked over and
saw a small metal tag beside my backpack. It was the same silver name tag
that my parents originally gave to my dog. Tomo it said.
It was then that I heard a familiar noise behind me. It was the ringing of
a tiny bell. I turned around. What I saw caused so many emotions to rush
over me.
After a while on the mountaintop, I attached the name tag to my old
friend and carefully made my way home with the mountain’s gift beside me.
My soul felt very much complete.

かなり長いですね。

ちゃんと答えられるのでしょうか。

問1です。

The author kept returning to the mountain because []

  1. she felt an urge she couldn’t explain
  2. she planned to meet the elderly man
  3. she thought she could practice magic
  4. she wanted to find out about the bear

ChatGPTの答えは、

  1. she felt an urge she couldn’t explain

1ということで正解です!

問2です。

Which of the following happened first on the author’s most recent trip? []

  1. She arrived at a large open area.
  2. She climbed to the mountaintop.
  3. She saw a bear running away.
  4. She was assisted by an old man.

ChatGPTの答えは、

4. She was assisted by an old man.

4ということで正解です...。

何と第3問から第5問も正解し、第5問は30点中30点の満点でした!

かなりの長文を読解でき、その後に続く複数の問題も適切に答えられるようですね。

第6問

第6問は長文に対してパラグラフごとに設問がある問題です。

次の文章を読み,あとに続く問いに答えよ。なお,文章の左にある(1)~(6)はパラグラフ(段落)の番号を表している。

(1) Vending machines are so common in Japan that you can find one almost
anywhere you go. Some of these machines sell train or meal tickets, and
others sell snacks or drinks. They are especially useful for people who want
to get something quickly and conveniently.
(2) While vending machines are found throughout the country today, they
were not originally developed in Japan. It is generally believed that the first
one was constructed by a Greek mathematics teacher about 2,200 years ago.
This machine sold special water used in prayers at temples. People who
wanted to purchase the water put in a coin, which hit a metal lever attached
to a string. Then, the weight of the coin let a specific amount of water pour
out until the coin fell off. This ensured that people received an equal portion
of the special water.
(3) About 1,000 years ago, a vending machine that sold pencils was
developed in China. Later, in the 1700s, coin-operated tobacco boxes
appeared in English bars. When people wanted the product sold by one of
these boxes, they inserted a coin and turned a lever. The product then
dropped down for the customer to pick up. However, it was not until the
1880s that vending machines spread around the world. In 1883, an English
inventor created one that sold postcards and paper. This became popular,
and soon vending machines selling paper, stamps, and other goods appeared
in many countries. In 1904, vending machines came into service in Japan. In
1926, technology had advanced and machines could be set to sell products
with different prices. After that, a wider variety of products were sold.
When this happened, the vending machine industry expanded rapidly.
(4) The greatest problem faced by the global vending machine industry in
its expansion was not the use of coins; it was paper money. This was a
challenge as it proved easy for dishonest individuals to make money that
could fool machines. This forced the vending machine industry to establish
better detection methods and was one reason countries took steps to develop
money that was difficult to counterfeit. Now, vending machines have
become technologically advanced, not only to prevent problems with cash but
also to accept credit cards and more recent forms of electronic payment.
(5) It is in Japan that vending machines have become most popular.
Currently, Japan has more than 4.2 million vending machines, with about
55% of them selling beverages such as tea, coffee, and juice. One of the
main reasons Japan has become the vending machine capital of the world is
its overall level of safety. Unlike many places, where vending machines
must be monitored to prevent theft, they can be placed virtually anywhere in
Japan. This extraordinary degree of public safety is considered amazing by
visitors, as well as the range of products available. Tourists often take
pictures of machines that sell unexpected products like bananas, fresh eggs,
and bags of rice. It is understandable that visitors see them as one aspect
particular to Japanese culture.
(6) Given the popularity and usefulness of vending machines, it is unlikely
that they will disappear anytime in the near future. They provide a place
where various goods can be sold without the need for a sales clerk. The
next time you want to purchase a hot drink on a cold day, remember that, in
Japan at least, there is probably a vending machine just around the next
corner.

これもまたかなり長いですね。

期待してしまいますが、うまく解けるのでしょうか。

A

問1です。

According to paragraph (2), what was the first vending machine capable of
doing? Choose the number.

  1. Allowing people to acquire a fixed amount of liquid from it
  2. Offering books of ancient Greek mathematical principles
  3. Permitting visitors to enter temples when they wanted to pray
  4. Providing a regular income to the person who created it

ChatGPTの答えは、

2. Sales by vending machines increased when high value coins appeared.

2ということで正解です!

何と問2~問5も正解です。

B

Bは以下のように各パラグラフの内容をまとめるものです。

すべて合っていて6点もらえるというものです。

そのまま投入するとどこがパラグラフ(2)かがよくわからないようなので、この問題は不正解としておきます。

ただし、以下のように問題を調整すれば正解しました。

問1です。

(2) While vending machines are found throughout the country today, they
were not originally developed in Japan. It is generally believed that the first
one was constructed by a Greek mathematics teacher about 2,200 years ago.
This machine sold special water used in prayers at temples. People who
wanted to purchase the water put in a coin, which hit a metal lever attached
to a string. Then, the weight of the coin let a specific amount of water pour
out until the coin fell off. This ensured that people received an equal portion
of the special water.

上記のパラグラフをまとめた内容として最も適切なものを選んでください。 1. A certain factor that has allowed vending machines to exist widely in one country 2. Creation of one vending machine and a description of how the device was used 3. Difficulties in building vending machines after introducing a different form of money 4. Types of vending machine goods sold at different locations in the past

ChatGPTの答えは、

2. Creation of one vending machine and a description of how the device was used

正解ですね。

問2ですが、同じ回答を重複して選べないので、既に選択した2を選択肢から除きました。

除かなくてもうまくいくかもしれません。

About 1,000 years ago, a vending machine that sold pencils was
developed in China. Later, in the 1700s, coin-operated tobacco boxes
appeared in English bars. When people wanted the product sold by one of
these boxes, they inserted a coin and turned a lever. The product then
dropped down for the customer to pick up. However, it was not until the
1880s that vending machines spread around the world. In 1883, an English
inventor created one that sold postcards and paper. This became popular,
and soon vending machines selling paper, stamps, and other goods appeared
in many countries. In 1904, vending machines came into service in Japan. In
1926, technology had advanced and machines could be set to sell products
with different prices. After that, a wider variety of products were sold.
When this happened, the vending machine industry expanded rapidly.

上記のパラグラフをまとめた内容として最も適切なものを選んでください。

1. A certain factor that has allowed vending machines to exist widely in one country

3. Difficulties in building vending machines after introducing a different form of money

4. Types of vending machine goods sold at different locations in the past Creation of one vending machine and a description of how the device was used

回答は4ということで正解しています。

このような感じで4問とも正解しています。

ただ、かなり問題に手を加えているので、これは不正解としておきます

ということで第6問は36点中30点となりました。

結果発表

では、最終的な結果発表です。

合計は172点となりました!!

長文などの読解問題は、かなりの長文になってもほとんど間違えていません。

アクセントや発音はChatGPTに聞きづらく、問い方が悪いのかもしれませんので、そこを工夫すればもう少し得点は上がるかもしれませんね。

質問の仕方によっては解説も付けてくれるのですごく便利ですね。

まとめ

ChatGPTでセンター試験の英語を受けてみました。

200点中172点なので、なかなか高得点ですね。

BERTが出現する前は、センター試験の英語で172点なんて夢のまた夢という人も多かったと思いますが、今はほぼゼロショットでこれぐらい取れるレベルにまで来ているので驚きですね。

しかも、「説明をつけてくれ」という伝えると、説明も付けてくれてなかなか優秀な結果になっていると思います。

アクセントや発音のところで少し落としているので、ここはうまくやればもう少し取れそうですね。

あらためてChatGPTのすごさがわかりますね。

今後はChatGPTの仕組みについても解説できればと考えています。

ではまた!

(ご参考) 参考書籍

GPTやBERTってどんなものか知りたい!という方のために、いくつか入門的な書籍を紹介しておきます。

AI関連の本は非常にたくさん出ていて、自然言語処理についても結構ありますが、ここでは入門的な本をご3冊挙げておきます。

その他については以下の記事もご参考にしてみてください。

自然言語処理を勉強する上でおすすめの本をご紹介

GPTやDALL-Eなど高性能なAIモデルが続々と出てきていますが、以下の本は詳しく知りたいというより使ってみたい、どんなものか理解したいという人のための本です。

実際に触れることによってAIを使ってどのようなことができるのかが理解できるようになります。

これから自然言語処理を学びたいという人向けです。

自分で手を動かしてスクラッチでモデルを作ることで、自然言語処理モデルの中身を詳しく理解することができます。

非常に人気のある入門者には最適の一冊です。

上記の本の前にディープラーニングをある程度理解しておかなければなりませんが、以下はディープラーニングってどんな仕組み?という人向けの本です。

こちらも非常に人気の高い本で、私も初学者のころはこちも使って勉強しました。

GoogleのBERTを使いたいのであれば、この本は非常に役に立ちます。

私も業務で固有表現抽出の実装などに利用させていただきました。

他にもオススメ本はありますが、これぐらいにしておきます。

皆さんがAIや自然言語処理に興味を持っていただいたり、勉強したい気になっていただけると嬉しいです。

-AI・機械学習, 自然言語処理
-, , ,