別府市企画戦略部情報政策課デジタルファースト推進室です。

前回の記事では3つのLLMを比較し、市民向けの生成AIチャットボットにおいて Claude3.5 Sonnet を採用することをご紹介しました。

このたび、Claude3.5 Sonnetを活用した「子育て分野」のチャットボットサービスの実証運用第2弾を令和6年8月20日（火）から開始したことをご報告いたします！

実証運用第２弾について

実証運用期間

令和6年8月20日（火） ～  令和6年9月30日（月）

利用方法

別府市LINE公式アカウントの生活情報メニューの「子育てチャットボット（実証運用）」をタップ、もしくは、別府市公式ホームページのトップ画面や実証運用の紹介ページに設置しているアイコンをクリックしてご利用いただけます。

実証運用第１弾からの改善点

実証運用第１弾からの改善点をご紹介します。

改善点１　LLMの変更

実証運用第１弾からLLMを「Gemini 1.0 Pro」から「Claude3.5 Sonnet」に変更しました。

改善点２　RAG用のデータベースの調整

「子育て分野」のチャットボットサービスは、RAG（Retrieval Augmented Generation）の機能を使っています。
RAGのポイントは、RAG用のデータベース構築だと思っています。
生成AIはRAG用のデータベースを参照し回答を生成します。そもそも質問内容の回答がRAG用のデータベースになければ回答できません。
実証運用第１弾のRAG用のデータベースをLLM比較検証など多くの検証作業を通じて調整を行なってきました。これにより「子育て分野」の幅広い質問に適切に対応できるのではないかと思っています。
回答ができなかったものについては、随時RAG用のデータベースを拡充していきますので、使いながらさらに賢くなっていく予定です。

改善点３　「よくある質問」の初期表示

「よくある質問」を初期表示させるようにしました。
この「よくある質問」は管理画面で設定でき、時間帯（日中・夜間・週末）によって表示する質問を変えることができます。
例えば、夜間の時間帯であれば、「夜間診療について」など、その時間帯で多くなる質問を最初から表示させることができます。
この機能によって、ワンタップでほしい情報にたどりつくことも可能となりますし、質問の仕方の例もお示しできると考えています。

改善点４　評価アンケートの設置

生成AIからの回答内容の下に、評価アンケートを追加しました。
評価は５段階で評価してもらうようにしています。
回答への評価を加えることで、利用者が意図した回答だったのか数値でも判断していきたいと思っています。

改善点５　回答がなかった場合、関連する質問候補の表示

質問に対して回答がなかった場合、関連する質問を候補として出すようにしました。
質問の内容により回答ができないというケースもありますので、そのような場合に効果的と考えています。
なお、質問候補は、実際の質問データをもとに作成・更新していきます。運用開始直後は表示せず、ある程度質問が蓄積された後に表示を開始する予定です。

たくさんの人に利用してほしい

生成AIを活用した子育て分野のチャットボット実証運用第２弾は、たくさんの方にご利用いただきたいと思っています。
別府市独自のデータベースを構築しているので、別府市民の方はもちろんですが、市外、県外の方もClaude3.5 Sonnetが生成する回答をご体感いただきたいと思っています。

この試みがうまくいけば、将来的には
・子育て分野のデータベースをさらに拡充していく
・子育て分野以外の他の分野についても同様の仕組みを構築していく
このことにより、24時間、365日、ご自身のスマホを利用して別府市のあらゆる分野のサービスのご案内ができるようになります。
利用する市民は便利になり、利用が進むことで職員の負担の軽減にもつながっていく。関係する人みんながメリットを享受できる、そのように考えて取り組みを進めています。

別府市は、最新のAI技術を活用し、市民サービスの向上に努めてまいります。今後もご注目ください！