見出し画像

月2000万文字!数字で見る横須賀市のChatGPT利用状況

こんにちは!横須賀市生成AI推進チームのM田です。
今回は我々がよく聞かれる、横須賀市のChatGPTの利用状況についてご紹介します!


定量的な利用状況

まずは、横須賀市役所全体の利用状況として、文字数(≒トークン数)を集計してみました。

月ごとのモデル別のトークン数(数字は万単位)

月ごとにバラツキがありますが、概ね毎月2000万トークン前後の利用量となっています。8月までは利用量が伸び続けていますが、7月と8月は職員向け研修を行ったこともあり、特に利用量が多くなっています。

個人別の利用状況

横須賀市は、ChatGPTをチャットボット経由で使用していて、チャットボット側で使用記録のログを保管しています。ログにはどういう属性の職員が使ったかが記録されているので、統計を取ってみました。

ChatGPTの利用状況https://public.tableau.com/app/profile/yokosuka/viz/ChatGPT_16965723392980/ChatGPT#1

細かい部分はリンク先のグラフを直接見ていただきたいですが、ここから以下のことが読み解けると思います。

  • 半数以上の人が、1度はChatGPTを利用している。

  • 上位5%の利用者が、会話件数の約半分を占め、上位25%の利用者が、会話件数の約9割を占める

  • 1回~数回使っただけで離脱している人が多くいる

  • 入庁からの経過年数の多い人=年配の人も多く使っている

左下の会話件数のヒストグラムは「べき乗測」の分布を取っています。殆ど使わずに(使えずに)離脱している人と、少数のよく使っている人の2極化が起きているように見えます。

部署別の利用状況

次に、部署別に利用状況を見てみます。
上位5%の利用者を「ヘビーユーザー」、上位6~25%の利用者を「コアユーザー」とした時に、部署別でそれぞれの利用者がどの程度含まれているかでプロットしました。

部署別のコアユーザーの割合とヘビーユーザーの割合
https://public.tableau.com/app/profile/yokosuka/viz/_16965829017760/sheet1#1

これだけ貼っても良く分からない図だと思いますので、是非リンク先で触って見ていただきたいと思いますが、以下のことが読み解けると考えています。

  • 比較的、間接業務の多い課で多く使われている

  • 一方、直接業務(特に現場業務)の多い課や、出先機関ではあまり使われていない

個人情報を扱わないルールとしていることと、間接業務では文書の作成を多く行っていることが影響していそうです。それぞれの部署の担当者にヒアリングすれば、より細かい利用状況や、利用への課題を分析できそうです。

定性的な利用状況

横須賀市では、ChatGPTの利用についてのアンケートを3回とっています。

  1. 回答期間:4月27日(木)~5月2日(火) 回答者数:693人(回収率17.3%)

  2. 回答期間:5月23日(火)~5月29日(月) 回答者数:433人(回収率10.8%)

  3. 回答期間:9月4日(月)~9月14日(木) 回答者数:500人(回収率12.5%) 

ここでは、過去3回のアンケート結果を分析します。

利用頻度

ChatGPTボットを利用している頻度はどの程度ですか

利用頻度は、先ほどの定量的な調査でも分かっている部分ではありますが、1度以上使った人の割合が、定量的な調査の約6割に対し、こちらだと約8割になっています。

アンケートは任意回答なので、ChatGPTを利用していない人よりも利用している人の方が積極的に回答していることが示唆されます。利用していない人も答える設問の結果は割り引いて見る必要があるでしょう。

行ったこと

ChatGPTボットを利用して行ったことは何ですか

庁内報等で「検索に使っても正しくない答えが来ることがある」と繰り返し周知したため、検索に使う割合が次第に減っていき、文書案の作成等に使う割合が増加しています。

効率が向上するか

ChatGPTを利用すると仕事の効率が向上すると思いますか

この設問は、すべての回でほぼ同じ割合になっています。8割以上の職員が効率が向上すると考えているようです。

回答の適切さ

ChatGPTの回答は、どの程度適切だったと感じましたか

回数を経るごとに「おおむね適切~」の割合が上がってきています。庁内報や研修を繰り返し行ってきたため、利用者である職員のプロンプトを書く能力が上がっていることが推察されます。

利用によるアイデアや知識の獲得

ChatGPTを利用することで、従来の方法では得られなかったアイデアや知識を得ることができましたか

回数を経るごとに「はい」の割合が増えています。こちらも、利用者である職員のプロンプトを書く能力が向上していることが推察されます。

要望

ChatGPTに対して要望・改善点があれば教えてください

「その他」にかなり多くの回答が入ってしまっているので、正直あまりいい設問ではないかもしれません。
一応分析すると、先ほどの設問と同様に、プロンプトを書く能力が上がったため、精度に関する要望が下がっていると思われます。

今後の利用意向

ChatGPTを今後も(もしくはこれから)利用したいと思いますか?

この設問は、ChatGPTをまだ使っていない人にも聞いていますが、75%もの職員が利用意向ありと答えています。時間が経っても下がっておらず、高い利用意向がうかがえます。

まとめ:利用意向は高いが、実態は2極化

これらの結果から、横須賀市のChatGPTの利用実態は、以下の4点にまとめられます。

  • 職員に広く周知できていて、利用意向も高い

  • 職員のプロンプトを書く能力は、次第に上がっている

  • 半数以上の職員が1度は使っているが、本格的に利用している人は職員全体からみると少数

  • 少し使っただけで離脱している人も多くいて、2極化している

プロンプト・エンジニアリングのスキルアップは、次第に出来てきているものの、やはり「使える人はたくさん使う」「使えない人は全然使わない」という感じに2極化していると考えられます。

なので、以下の記事の最後でも触れましたが、やはり1からプロンプトを書くことには一定の難しさがあると考えるのが自然だと思います。

普段使いのチャットツールから使える今の形式にもメリットはありますが、分析結果もふまえて、今後はより簡単に使えるもの…例えばプロンプトのテンプレートが備わっているサービスを使用することも検討していきたいと考えています。

(M田主任三郎)

過去の記事は以下からご覧ください!