CLINEでワイワイしながら作ったやつ。
- 5分ごとにスクリーンショットを撮ります（cronで設定した場合）
- macOSのネイティブコマンドを使用して画面の内容をキャプチャします
- 開いているアプリケーションに関する情報を取得します
- GoogleのGemini Flash APIを使用してスクリーンショットを分析する
- 以下の詳細なアクティビティ情報を記録します:
- タイムスタンプ
- スクリーンショットのパス
- 開いているアプリケーションとウィンドウのタイトル
- AIが生成した画面コンテンツの説明
仕組み的には、macOSのスクリーンショットコマンドを定期的に撮ったり、プロンプトに今開いているアプリをプロンプトや前のアクティビティをプロンプトに詰めたりしてる。
💭 osascript -e 'tell application "System Events" to get name of every process where background only is false'
Discord, Obsidian, Notion Calendar, Figma, Spotify, superwhisper, Finder, ChatGPT, Arc, ghostty