- SFTTrainerでdataset_text_fieldの引数を使う場合、学習データの構造次第では意図した学習が行われない可能性がある
- トラブルがあったコンペに学ぶデータ分析
- LangGraph Agents with Amazon Bedrock
- 「関西Kaggler会 交流会 in Osaka 2024#3」に参加してきました
- 好みの定量化に基づいてLLMを改善するOffline RLHFの検討
- S3にあるALBログの調査はAthenaよりDuckDBのほうが簡単
- Personalization of Large Language Models: A Survey
- 生成AIにアプリを作らせるコツ
- llama-3-1-swallow-8b-instruct-v0.2をColabでためしてみる。
- Llama 3.1 Swallow
- karakuri-8x7B
- とある生成AIに関する調査について思ったこと
- 「次世代メルカリ市場を支える生成AI」 by Mercari, Teo Narboneta Zosa氏 【Fully Connected Tokyo 2024】
- sarashina2-8x70bを動かすメモ (24/11/12追記)
- HtmlRAG: HTML is Better Than Plain Text for Modeling Retrieved Knowledge in RAG Systems
- マネージャーが「面倒なことをやってくれる人」と思われないためにやること
- Azure の仮想ネットワークで複数の DNS Server を指定した際の動作
- RAGが「複雑な質問に弱い問題」を解決する「Plan×RAG」
- アラフィフのエンジニアでもAIの最新論文を毎週７本以上読み続ける方法
- Jailbreak データセット収集アプリケーションの開発について
- AI時代におけるSRE、 あるいはエンジニアの生存戦略
- Amazon Bedrock 上で基盤モデルのコストと利用状況を追跡できる社内 SaaS サービスを構築する
- ドメイン名の終活について - JPAAWG 7th -
- データ分析業務での生成AI活用：対話型分析アシスタントAIの導入による、ECサイト売り上げ分析の効率化
- Lambdaと共に歩んだAWS
- 信頼性に挑む中で拡張できる・得られる１人のスキルセットとは？
- Qwen2.5-Coder-32B-Instructを使ってみた（前半）
- 残業＆出張ありの共働き夫婦。子ども3人を育てるための分担のコツ【みんなの1日のスケジュール】
- はてなインターンシップ2024 ブログライティング講義資料
- AWS Lambdaと歩んだ“サーバーレス”と今後
- 【開催報告】データガバナンス事例祭り 〜AWS で実現するモダンな取り組み〜
- 【最新版】大学が公開しているエンジニア向け学習資料まとめ
- Kaggle's 5-Day Gen AI Intensive Course
- Rapid Response: Mitigating LLM Jailbreaks with a Few Examples
- マルチモーダル / AI Agent / LLMOps 3つの技術トレンドで理解するLLMの今後の展望
- TinyTroupe
- State of AI Agents
- Anthropic Console の Prompt Improver の使い方
- なぜ今 AI Agent なのか _近藤憲児
- LLMアプリにグラフベースのメモリレイヤーを追加する「Zep」を試す
- Improve your prompts in the developer console
- Azure Developer CLI (azd) – November 2024
- Paper Reviewer
- [ECCV2024読み会] 衛星画像からの地上画像生成
- 米国優位が揺らぐ？ひろゆき「CPUの進化でGPU神話って崩壊しません？」【AI研究者・今井翔太が回答】
- Athene-V2-ChatをOllama＋Colabでためす。
- Jailbreak で遊べるゲーム AILBREAK を開発しました
- Turing TechTalk #7 E2E自動運転AIの開発プロセス
- 高校生が開発：楽器別の音声分解と楽譜化をゼロから実現「Audio Decomposition」オープンソースで公開
- 事業成長と個人情報保護両立のポイント
- Depth Up-Scalingを用いた「Llama-3-ELYZA-JP-120B」の開発
- 開発チームから始める 「学習する組織」に 成長するための取り組み
- Pycon-mini-Tokai-2024-VLM-Colaboratory-Sample
- 書評『LangChainとLangGraphによるRAG・AIエージェント入門』
- 【2024/11/14】書籍『LangChainとLangGraphによるRAG・AIエージェント［実践］入門』の歩き方【アーカイブ】
- ペアーズにおけるAmazon Bedrockを⽤いた障害対応⽀援 ⽣成AIツールの導⼊事例
- GitHub Copilot in VS Code でカスタムインストラクションを利用可能になりました
- microsoft/orca-agentinstruct-1M-v1
- Ai Workforceのインフラ構成
- 強いチームと開発生産性
- RepoGPT: AI-Powered GitHub Assistant
- 【総まとめ】これまでに紹介したワークフローの一覧
SFTTrainerでdataset_text_fieldの引数を使う場合、学習データの構造次第では意図した学習が行われない可能性がある
トラブルがあったコンペに学ぶデータ分析
LangGraph Agents with Amazon Bedrock
- AWS Bedrockと連携してLangGraphを活用する方法を学ぶワークショップ
「関西Kaggler会 交流会 in Osaka 2024#3」に参加してきました
好みの定量化に基づいてLLMを改善するOffline RLHFの検討
S3にあるALBログの調査はAthenaよりDuckDBのほうが簡単
Personalization of Large Language Models: A Survey
- LLMのパーソナライゼーションのサーベイ論文
生成AIにアプリを作らせるコツ
llama-3-1-swallow-8b-instruct-v0.2をColabでためしてみる。
Llama 3.1 Swallow
karakuri-8x7B
とある生成AIに関する調査について思ったこと
「次世代メルカリ市場を支える生成AI」 by Mercari, Teo Narboneta Zosa氏 【Fully Connected Tokyo 2024】
sarashina2-8x70bを動かすメモ (24/11/12追記)
HtmlRAG: HTML is Better Than Plain Text for Modeling Retrieved Knowledge in RAG Systems
- RAGで与える外部知識をHTMLフォーマットにする方法を提案する論文
- HTMLの構造を維持しつつ、不要な情報を削除する方法を提案
マネージャーが「面倒なことをやってくれる人」と思われないためにやること
Azure の仮想ネットワークで複数の DNS Server を指定した際の動作
RAGが「複雑な質問に弱い問題」を解決する「Plan×RAG」
- 計画を立ててから検索する手法
- ユーザーの質問を小さな単位に分解し、それらの関係性を整理し、計画を立ててから検索する
- 小さなサブクエリの関係性をDAGとして表現してから検索する
アラフィフのエンジニアでもAIの最新論文を毎週７本以上読み続ける方法
Jailbreakデータセット収集アプリケーションの開発について
AI時代におけるSRE、 あるいはエンジニアの生存戦略
- アラートの分析やオペレーションの補助にLLMを利用できる
- LLMを利用することで存在を知っている技術を用いて実現することが比較的に容易になった
Amazon Bedrock 上で基盤モデルのコストと利用状況を追跡できる社内 SaaSサービスを構築する
ドメイン名の終活について - JPAAWG 7th -
データ分析業務での生成AI活用：対話型分析アシスタントAIの導入による、ECサイト売り上げ分析の効率化
- 専門知識を持たない従業員でもデータ分析を実施できるソリューションを紹介した記事
Lambdaと共に歩んだAWS
信頼性に挑む中で拡張できる・得られる１人のスキルセットとは？
Qwen2.5-Coder-32B-Instructを使ってみた（前半）
残業＆出張ありの共働き夫婦。子ども3人を育てるための分担のコツ【みんなの1日のスケジュール】
はてなインターンシップ2024 ブログライティング講義資料
AWS Lambdaと歩んだ“サーバーレス”と今後
【開催報告】データガバナンス事例祭り 〜AWSで実現するモダンな取り組み〜
【最新版】大学が公開しているエンジニア向け学習資料まとめ
Kaggle's 5-Day Gen AI Intensive Course
Rapid Response: Mitigating LLM Jailbreaks with a Few Examples
- jailbreakに対する防御方法を提案する論文
マルチモーダル / AI Agent / LLMOps 3つの技術トレンドで理解するLLMの今後の展望
TinyTroupe
- 特定の性格や興味、目標を持つエージェントを活用して、人間の行動や消費者のタイプをシミュレーションするライブラリ
- 仮想オーディエンスで効果を事前検証するなどのユースケースを想定
State of AI Agents
- 1300人以上のプロフェッショナルにAIエージェントの採用状況や課題について調査した記事
Anthropic Console の Prompt Improver の使い方
なぜ今 AI Agent なのか _近藤憲児
LLMアプリにグラフベースのメモリレイヤーを追加する「Zep」を試す
- ライセンスはapache-2.0
- 構成は、PostgerSQLとNeo4Jとなる
- 会話メッセージからグラフが作成される
- LangChainやAutogenなどと統合されている
Improve your prompts in the developer console
- Claudeがプロンプト設計を強化する新機能を発表した
Azure Developer CLI (azd) – November 2024
Paper Reviewer
[ECCV2024読み会] 衛星画像からの地上画像生成
米国優位が揺らぐ？ひろゆき「CPUの進化でGPU神話って崩壊しません？」【AI研究者・今井翔太が回答】
Athene-V2-ChatをOllama＋Colabでためす。
Jailbreakで遊べるゲーム AILBREAK を開発しました
Turing TechTalk #7 E2E自動運転AIの開発プロセス
高校生が開発：楽器別の音声分解と楽譜化をゼロから実現「Audio Decomposition」オープンソースで公開
事業成長と個人情報保護両立のポイント
- 他者での事例が事業部門に対して持つ説得力が高い
- 委託先は委託された業務の範囲でのみ取り扱いが許される
- システムの設定ミスなどによりインターネット上で個人データの閲覧が可能になっていた場合は漏洩に当てはまる
Depth Up-Scalingを用いた「Llama-3-ELYZA-JP-120B」の開発
開発チームから始める 「学習する組織」に 成長するための取り組み
Pycon-mini-Tokai-2024-VLM-Colaboratory-Sample
- こちらがスライド
書評『LangChainとLangGraphによるRAG・AIエージェント入門』
【2024/11/14】書籍『LangChainとLangGraphによるRAG・AIエージェント［実践］入門』の歩き方【アーカイブ】
ペアーズにおけるAmazon Bedrockを⽤いた障害対応⽀援 ⽣成AIツールの導⼊事例
- ステークホルダーへ障害状況を報告する中間文書を自動生成する機能を影響
- 振り返りの際に作成するポストモーテム文書についても生成をサポート
- LLMが生成する必要がない/不得意な部分はLLMに生成させない
GitHub Copilot in VS Codeでカスタムインストラクションを利用可能になりました
microsoft/orca-agentinstruct-1M-v1
Ai Workforceのインフラ構成
強いチームと開発生産性
- 今の戦力で限られた戦い方を探すよりも、個人技を鍛える方が楽になることは多い