月2000万文字！数字で見る横須賀市のChatGPT利用状況

2023年10月25日 10:13

こんにちは！横須賀市生成AI推進チームのM田です。
今回は我々がよく聞かれる、横須賀市のChatGPTの利用状況についてご紹介します！

定量的な利用状況

まずは、横須賀市役所全体の利用状況として、文字数（≒トークン数）を集計してみました。

月ごとにバラツキがありますが、概ね毎月2000万トークン前後の利用量となっています。8月までは利用量が伸び続けていますが、7月と8月は職員向け研修を行ったこともあり、特に利用量が多くなっています。

横須賀市は、ChatGPTをチャットボット経由で使用していて、チャットボット側で使用記録のログを保管しています。ログにはどういう属性の職員が使ったかが記録されているので、統計を取ってみました。

細かい部分はリンク先のグラフを直接見ていただきたいですが、ここから以下のことが読み解けると思います。

左下の会話件数のヒストグラムは「べき乗測」の分布を取っています。殆ど使わずに（使えずに）離脱している人と、少数のよく使っている人の2極化が起きているように見えます。

次に、部署別に利用状況を見てみます。
上位5%の利用者を「ヘビーユーザー」、上位6～25%の利用者を「コアユーザー」とした時に、部署別でそれぞれの利用者がどの程度含まれているかでプロットしました。

これだけ貼っても良く分からない図だと思いますので、是非リンク先で触って見ていただきたいと思いますが、以下のことが読み解けると考えています。

個人情報を扱わないルールとしていることと、間接業務では文書の作成を多く行っていることが影響していそうです。それぞれの部署の担当者にヒアリングすれば、より細かい利用状況や、利用への課題を分析できそうです。

横須賀市では、ChatGPTの利用についてのアンケートを3回とっています。

ここでは、過去3回のアンケート結果を分析します。

利用頻度は、先ほどの定量的な調査でも分かっている部分ではありますが、1度以上使った人の割合が、定量的な調査の約6割に対し、こちらだと約8割になっています。

アンケートは任意回答なので、ChatGPTを利用していない人よりも利用している人の方が積極的に回答していることが示唆されます。利用していない人も答える設問の結果は割り引いて見る必要があるでしょう。

庁内報等で「検索に使っても正しくない答えが来ることがある」と繰り返し周知したため、検索に使う割合が次第に減っていき、文書案の作成等に使う割合が増加しています。

この設問は、すべての回でほぼ同じ割合になっています。8割以上の職員が効率が向上すると考えているようです。

回数を経るごとに「おおむね適切～」の割合が上がってきています。庁内報や研修を繰り返し行ってきたため、利用者である職員のプロンプトを書く能力が上がっていることが推察されます。

回数を経るごとに「はい」の割合が増えています。こちらも、利用者である職員のプロンプトを書く能力が向上していることが推察されます。

「その他」にかなり多くの回答が入ってしまっているので、正直あまりいい設問ではないかもしれません。
一応分析すると、先ほどの設問と同様に、プロンプトを書く能力が上がったため、精度に関する要望が下がっていると思われます。

この設問は、ChatGPTをまだ使っていない人にも聞いていますが、75%もの職員が利用意向ありと答えています。時間が経っても下がっておらず、高い利用意向がうかがえます。

これらの結果から、横須賀市のChatGPTの利用実態は、以下の4点にまとめられます。

プロンプト・エンジニアリングのスキルアップは、次第に出来てきているものの、やはり「使える人はたくさん使う」「使えない人は全然使わない」という感じに2極化していると考えられます。

なので、以下の記事の最後でも触れましたが、やはり1からプロンプトを書くことには一定の難しさがあると考えるのが自然だと思います。

普段使いのチャットツールから使える今の形式にもメリットはありますが、分析結果もふまえて、今後はより簡単に使えるもの…例えばプロンプトのテンプレートが備わっているサービスを使用することも検討していきたいと考えています。

（M田主任三郎）

過去の記事は以下からご覧ください！