横須賀市のM田主任三郎です。だいぶ周回遅れですが、先日、ANTHROPICのClaude 3が発表されました。
既に解説記事は色々出ているので、詳細は省きますが…。
性能と軽量さは、基本的にトレードオフです。Claude 3も3パターン用意されました。最も軽量なものから、
Claude 3 Haiku
Claude 3 Sonnet
Claude 3 Opus
があり、この中でも、一番精度の良いClaude 3 Opusは、GPT-4の精度を上回るとされ、ベンチマーク結果がWebサイトに堂々と掲げられていますし、実際触ってみてもかなり高性能であることがわかります。
(その分料金も少々お高めですが…。Opusの100万トークンあたりの料金は、GPT-4-Turboの料金(Input $10、Output $30)より高く、Inputが$15、Outputが$75です。とはいえWeb版の有償版はChatGPT Plusと同額の$20/月なので、乗り換える人が結構出ているとか)
今回は、Claude 3 Haikuを使って俳句を作ってみようという小ネタです。
Claude 3 Haikuは軽量で返事が早いのがウリですが、当然、能力は上位モデルには及びません。まあとはいえ、俳句なら有限(50の17乗、厳密にいえば107の17乗通り)なので、いけるっしょ!ということで。
Claude3 Haikuで俳句を作る
まず、Claude 3に俳句とはどういうものかを説明してもらいました。
俳句を知っていますか?
おお、最軽量モデルなのに、俳句のことを知ってるんですね。
では早速作ってもらいましょう。
それをふまえて、生成AIの発展を春にかけて俳句を作ってみてください
それっぽいですが、5-7-5になっていません。また季語も「春」をそのまま使ってしまっていますね。ただ返事はめちゃくちゃ早いです。この量を生成しても3秒ちょっとしかかかっていません。
Haikuは「季語」の概念を知っているのでしょうか?聞いてみましょう。
俳句における季語とは何でしょうか?例えばどのようなものがありますか?
(私も俳句に詳しいわけではないですが)概念はわかっていても、例示は怪しい感じがします・・・。まあともかく、これをふまえて再度作ってみてもらいましょう。
これらをふまえて、生成AIの発展を春にかけて俳句を作ってみてください
それっぽくできましたが、やはり文字数を守るのが結構難しいようですね。
Claude3 Opus(高性能モデル)でも試してみた
GPT-4を超えるという高性能モデル、Claude3 Opusでも試してみました。
俳句を知っていますか?
先ほどのHaikuと同じことを言っているのに、こちらの方がスッキリ整理されている印象です。何でしょう・・・言葉の流れ?のようなものがより自然な文章になっているように感じます。
ただ生成は17秒超えと、さすがに時間がかかりますね。。
引き続き、同じことをしてもらいましょう。
俳句における季語とは何でしょうか?例えばどのようなものがありますか?
これらをふまえて、生成AIの発展を春にかけて俳句を作ってみてください
季語の知識もちゃんとしてますし、生成された俳句は字余りですが、流石高性能モデル。説明もそれっぽいです。ただ生成は20秒超と、かなりかかっています。
まとめ
今回は、AnthropicのLLMの新モデルClaude 3の、最軽量モデルであるClaude 3 Haikuを使って俳句(っぽいもの)を作ってみました。
やはり最軽量モデルとあって、5-7-5の文字数を守ったり、適切な季語を入れたりすることなどは厳しそうでした。
とはいえ、優れたところも分かりました。まず当然なのですが、とにかく生成が早いこと。レスポンスが早くほしいとき・・・例えばAIアバターで音声を使ってコミュニケーションする場面とかで重宝しそうです。
また、生成が早い割に日本語として破綻した部分が無いのも強いです。RAGで使うときなど、予めプロンプトで与えた知識を答える場面では充分使えそうな気がします。
それではまた。
(M田主任三郎)