画面用の回答と、読み上げる文章を分ける
回答全部ではなく、読み上げ用に分けた文章だけを音声化した。VOICE Block
画面では詳細を残しながら、音声では必要な内容だけを聞ける。
個人開発
回答を削らず、確認の詰まりを減らす。
AIで処理できる仕事量が増えるほど、人間側の「確認」がボトルネックになりました。そこで、画面の詳細は残したまま、要点を音声と字幕でも確認できる仕組みを作りました。
問題は「音声がないこと」ではなく、AIで増えた処理量を人間が確認しきれないことでした。
複数のChatGPTで調査や作業を並行できるようになると、AI側では仕事が進みます。一方、返ってきた内容を読む人間は一人なので、読む速度と集中力が次のボトルネックになりました。
最初は「短くする」「読みやすくする」と指示しました。しかし、必要な情報量はTaskごとに違います。回答を一律に短くすると、今度は判断に必要な情報まで減ります。
だから、回答そのものを削るのではなく、受け取り方を変えることにしました。
「読み上げられればよい」ではなく、普段の作業を邪魔せず使い続けられる条件を先に決めました。
深掘りが必要なときは、通常のChatGPT回答をそのまま読めるようにする。
読み上げ中の文章と同じ内容を字幕に出す。音声と字幕は同じ文章単位を使用
再生対象を一つに保ち、タブを切り替えても二重再生しない。Single Playback Session
ChatGPT画面を見続けなくても、他のApplicationを操作しながら再生を続けられる。
音声生成先を自分のPC内に限定し、失敗しても別の外部音声サービスへ自動で切り替えない。localhost VOICEVOX / Remote TTS fallbackなし
音声生成や再生に失敗した場合は音声機能だけを止め、通常回答は残す。
画面用の回答と、読み上げ用に分けた文章を出す。
VOICE Block通常回答は画面に残したまま、音声化する部分と再生状態を管理する。
localhostで読み上げ用文章から音声を生成する。
Local TTS機能を先に足すのではなく、実際に何が困るのかを起点に設計を決めました。
回答全部ではなく、読み上げ用に分けた文章だけを音声化した。VOICE Block
画面では詳細を残しながら、音声では必要な内容だけを聞ける。
新しい音声を再生すると、前の音声を止める。Single Playback Session
どの回答を聞いているかを常に一意にできる。
VOICEVOXだけを音声生成先にした。localhost VOICEVOX
失敗時も送信先を変えず、音声用文章の扱い範囲を固定できる。
固定文字数ではなく、表示幅を測って分割した。Rendered width + natural boundary
字幕を省略せず、音声と同じ内容を最後まで出せる。
別の外部音声サービスへ切り替えず、その場で停止する。No remote TTS fallback
ChatGPTの通常回答を残したまま、音声機能だけ停止できる。
複数タブ、VOICEVOX停止時、別Application操作中に加え、音声処理で扱う情報の範囲も確認しました。
再生する音声は一つに保ちます。
音声生成に失敗したら、音声機能だけ停止します。
音声生成に必要な文章だけを扱います。
同じ課題に対して、次の範囲を一連で進めました。
複数のChatGPTを並行利用したとき、AIの処理量ではなく、人間側の回答確認が詰まることを課題として整理しました。
画面情報を残す、音声と字幕を同期する、複数タブで音声を重ねない、障害時もChatGPTを使えるなど、成立させる条件を整理しました。
ChatGPT、Browser Extension、VOICEVOXの役割と情報の流れを分け、AIの支援を使いながら動作する形まで試作しました。
Stop / Replay、複数タブ、Tab切替、別Application操作中、VOICEVOX停止時など、通常時以外の状態も確認しました。
現在も個人利用を継続しています。
本件はAI / DX案件、Software Engineer / AI Engineerとしての有償実績ではなく、個人で自身の作業上の課題を起点に、AIの支援を使いながら要求・制約の整理、設計、実装、動作確認まで行った個人開発です。
使用技術・環境:ChatGPT Web / Microsoft Edge Extension / JavaScript / ローカルVOICEVOX