PF-002 / 個人開発生成AI利用時の確認負荷を削減するローカル音声アシスタント

個人開発

生成AI利用時の確認負荷を削減するローカル音声アシスタント

回答を削らず、確認の詰まりを減らす。

AIで処理できる仕事量が増えるほど、人間側の「確認」がボトルネックになりました。そこで、画面の詳細は残したまま、要点を音声と字幕でも確認できる仕組みを作りました。

何を解いたか複数ChatGPT利用時の確認負荷
どう変えたか回答量ではなく、受け取り方を変えた
どこまで進めたか設計・試作・障害時動作確認・継続利用まで

なぜ、受け取り方を変えたのか

問題は「音声がないこと」ではなく、AIで増えた処理量を人間が確認しきれないことでした。

複数のChatGPTで調査や作業を並行できるようになると、AI側では仕事が進みます。一方、返ってきた内容を読む人間は一人なので、読む速度と集中力が次のボトルネックになりました。

最初は「短くする」「読みやすくする」と指示しました。しかし、必要な情報量はTaskごとに違います。回答を一律に短くすると、今度は判断に必要な情報まで減ります。

だから、回答そのものを削るのではなく、受け取り方を変えることにしました。

先に条件を決めてから、仕組みに落とす

「読み上げられればよい」ではなく、普段の作業を邪魔せず使い続けられる条件を先に決めました。

守る条件

01

画面の詳細は残す

深掘りが必要なときは、通常のChatGPT回答をそのまま読めるようにする。

02

音声と字幕をずらさない

読み上げ中の文章と同じ内容を字幕に出す。音声と字幕は同じ文章単位を使用

03

複数タブでも音声を重ねない

再生対象を一つに保ち、タブを切り替えても二重再生しない。Single Playback Session

04

別作業中でも確認できる

ChatGPT画面を見続けなくても、他のApplicationを操作しながら再生を続けられる。

05

音声用文章を勝手に外へ送らない

音声生成先を自分のPC内に限定し、失敗しても別の外部音声サービスへ自動で切り替えない。localhost VOICEVOX / Remote TTS fallbackなし

06

音声が止まってもChatGPTは使える

音声生成や再生に失敗した場合は音声機能だけを止め、通常回答は残す。

役割を分ける

回答、制御、音声生成の役割を分け、音声生成はローカルPC内のVOICEVOXで行います。

困りごとごとに、解き方を決める

機能を先に足すのではなく、実際に何が困るのかを起点に設計を決めました。

01 / 音声に不要な情報まで入る

画面用の回答と、読み上げる文章を分ける

どう解いたか

回答全部ではなく、読み上げ用に分けた文章だけを音声化した。VOICE Block

その理由

画面では詳細を残しながら、音声では必要な内容だけを聞ける。

02 / 複数タブの音声が競合する

同時に再生する音声を一つだけにする

どう解いたか

新しい音声を再生すると、前の音声を止める。Single Playback Session

その理由

どの回答を聞いているかを常に一意にできる。

03 / 音声用文章の送信先を増やしたくない

音声生成を自分のPC内に限定する

どう解いたか

VOICEVOXだけを音声生成先にした。localhost VOICEVOX

その理由

失敗時も送信先を変えず、音声用文章の扱い範囲を固定できる。

04 / 字幕が欠ける・不自然に切れる

実際の表示幅を見て、自然な位置で文章を分ける

どう解いたか

固定文字数ではなく、表示幅を測って分割した。Rendered width + natural boundary

その理由

字幕を省略せず、音声と同じ内容を最後まで出せる。

05 / 音声生成が止まることがある

失敗したら、音声機能だけを止める

どう解いたか

別の外部音声サービスへ切り替えず、その場で停止する。No remote TTS fallback

その理由

ChatGPTの通常回答を残したまま、音声機能だけ停止できる。

複数タブ・障害時・情報境界を確認

複数タブ、VOICEVOX停止時、別Application操作中に加え、音声処理で扱う情報の範囲も確認しました。

複数タブでも音声を重ねない

再生する音声は一つに保ちます。

  • 新しい音声を再生すると前の音声は停止
  • タブ切替で一時停止・復帰
  • 停止した音声が勝手に再開しない

VOICEVOXが止まってもChatGPTは使える

音声生成に失敗したら、音声機能だけ停止します。

  • 外部TTSへ自動で切り替えない
  • 通常のChatGPT回答はそのまま読める

音声処理で扱う情報を限定する

音声生成に必要な文章だけを扱います。

  • Cookie / Tokenを取得しない
  • 会話本文や音声用文章を別途保存しない
  • 音声用文章はPC内のVOICEVOXへ送る
ChatGPTの回答画面上でVOICE機能を再生中にし、上部にVOICE ON・停止・再読の操作、下部に読み上げ内容の字幕を表示している実画面
実画面|ChatGPTの通常回答を残したまま、音声再生と字幕表示を併用。

動作

音声と字幕で最後まで再生できる。
途中で止める、もう一度読む操作が使える。
2つのChatGPTタブでも音声が重ならない。
別Applicationを操作している間も再生を継続する。
VOICEVOX停止時は音声だけ停止し、通常回答は残る。

課題を見つけ、条件を整理し、動く形へ

同じ課題に対して、次の範囲を一連で進めました。

課題整理

複数のChatGPTを並行利用したとき、AIの処理量ではなく、人間側の回答確認が詰まることを課題として整理しました。

条件整理

画面情報を残す、音声と字幕を同期する、複数タブで音声を重ねない、障害時もChatGPTを使えるなど、成立させる条件を整理しました。

構成・試作

ChatGPT、Browser Extension、VOICEVOXの役割と情報の流れを分け、AIの支援を使いながら動作する形まで試作しました。

検証・例外対応

Stop / Replay、複数タブ、Tab切替、別Application操作中、VOICEVOX停止時など、通常時以外の状態も確認しました。

現在も個人利用を継続しています。

技術詳細

複数タブとPlayback Session
  • 同時に1件の再生Sessionだけを許可。
  • 新しい再生開始時は競合する旧Sessionを停止。
  • Tab切替ではPause / Resume時の重複を防止。
  • Stop時は未再生状態や復帰状態も破棄。
字幕の分割と音声との同期
  • 音声と字幕は同じ文章単位を使用。
  • 実際の表示幅と最大2行条件を確認。
  • 句読点、接続表現、助詞など自然な境界を優先。
  • 省略記号で文字を落とさず、残り文章を次の単位へ送る。
障害時と情報境界
  • VOICEVOXへ接続できない場合は音声処理を停止。
  • Remote TTSへ自動切替しない。
  • Cookie、認証Token、Password、Session、Account情報を音声処理用に取得しない。
  • 会話本文または音声用文章を永続保存しない。

経験上の位置づけ

本件はAI / DX案件、Software Engineer / AI Engineerとしての有償実績ではなく、個人で自身の作業上の課題を起点に、AIの支援を使いながら要求・制約の整理、設計、実装、動作確認まで行った個人開発です。

使用技術・環境:ChatGPT Web / Microsoft Edge Extension / JavaScript / ローカルVOICEVOX