- LLMのための日本語インストラクションデータ作成プロジェクト
- 拡散モデルによる金融時系列生成
- ブラウザでリロードしながらキャッシュの挙動を確認してる全ての開発者へ
- Retrieval-based LM (RAG system) ざっくり理解する
- 日英・英日機械翻訳モデルALMA-7B-Ja-V2の公開
- New models and developer products announced at DevDay
- Build your own gen AI-powered vector search applications with Vertex AI Search
- OpenAIのgpt-4-vision-previewに画像を投げてどんなことをしてくれるのか試してみた
- Google Colab で DALL-E 3 のAPIを試す
- OpenAI Python API Library v1.0 入門
- OpenAI APIのJSON modeを使ってみる
- Google Colab で OpenAI API の Retrieval を試す
- 指示学習済み大規模言語モデル PLaMo-13B-Instruct を公開しました
- 【緊急生配信】OpenAI『DevDay』から考える、これからのAIがどうなるか。
- CyberAgentにおける日本語LLMの開発について CyberAgent石上様
- OpenAI Assistants API(Playground)を使ってコーディングのアドバイスをしてくれるアシスタントを作る
- OpenAI API の Assistant API のしくみ
- Come build with us: Microsoft and OpenAI partnership unveils new AI opportunities
- AIが「言語生成AIとの対話」で賢くなり続ける自動成長モデル 米Meta含む研究者らが開発
- Google Colab で OpenAI API の Function Calling を試す
- Google Colab で OpenAI API の Code Interpreter を試す
- Quality at a Glance: An Audit of Web-Crawled Multilingual Datasets
- Amazon Bedrock を利用した Alexa スキル「AI 基盤くん」を公開しました！
- OpenAI API で提供されている モデル まとめ
- マルチモーダルな GPT-4V は画像形式の文章をマークダウン化するのに使えるんじゃないか説
- Function callingをローカルLLMで動かしてみよう。
- OpenAI の Assistant Playuground の Function Calling を試す
- OpenAI の Assistant Playground の Code Interpreter を試す
- GPT-4-1106-Previewの日本語能力を試す
- rinnaのYouri 7Bで8GB GPUでもLLM翻訳ができるかも
- OpenAIの音声テキスト変換whisperの新モデル"large-v3"を試す
- A Survey of Large Language Models for Autonomous Driving
- GitHub Universe 2023 での AI に関する発表まとめ！Copilot Chat の12月からの一般提供開始など
- Instruction Tuningを行なった130億パラメータの日本語LLMの公開：Stockmark-13b-instruct
- RAGにおけるドキュメント検索精度向上について(概要編)
- Labsから事業部へ、生成AIによるプロセスのリデザイン
- GPTs はシュッと作れるけど注意が必要よ
LLMのための日本語インストラクションデータ作成プロジェクト
- 日本語インストラクションを開発するプロジェクトを開始した
- 共同研究以外の企業・団体に対しても、データ完成時に有償にてデータの商用ライセンスを提供する予定
拡散モデルによる金融時系列生成
- 拡散モデルによる金融時系列生成について取り組んだ記事
ブラウザでリロードしながらキャッシュの挙動を確認してる全ての開発者へ
- ブラウザから発生するリクエストの説明と、ユーザが体験するキャッシュの挙動の検証方法について
Retrieval-based LM (RAG system) ざっくり理解する
- Retrival-based LMの推論フレームに沿って、RAGを改善するためにはどのようなことを気を付ければよいかを説明した資料
- 引用元の論文が多数掲載されており、非常に参考になる資料
日英・英日機械翻訳モデルALMA-7B-Ja-V2の公開
- 日英・英日機械翻訳モデルALMA-7B-Jaの性能を更に向上したV2が公開された
- 翻訳機能に特化されたモデル
- 一般消費者向けのGPU付きパソコンで実用的な速度で動かせる
- Llama 2ライセンスで公開されている
New models and developer products announced at DevDay
- OpenAI社のDevDayで以下のような多くの発表がされた
Build your own gen AI-powered vector search applications with Vertex AI Search
- Vertex AI Searchプラットフォームのベクトル検索が改善された
OpenAIのgpt-4-vision-previewに画像を投げてどんなことをしてくれるのか試してみた
Google Colab で DALL-E 3 のAPIを試す
- DALL-2とは違い、テキストからの画像生成しかできない
OpenAI PythonAPI Library v1.0 入門
OpenAI APIのJSON modeを使ってみる
Google Colab で OpenAI APIの Retrieval を試す
指示学習済み大規模言語モデルPLaMo-13B-Instruct を公開しました
- Preferred Networks では、11月1日に指示学習（instruction tuning）を行った大規模言語モデル「PLaMo-13B-Instruct」と「PLaMo-13B-Instruct-NC」を公開した
- 公開したモデルは商用・非商用でそれぞれ2モデル「PLaMo-13B-Instruct」「PLaMo-13B-Instruct-NC」に分かれている
- 非商用のモデルでは、商用不可のデータセットを加えて、よりスコアが高くなっている
【緊急生配信】OpenAI『DevDay』から考える、これからのAIがどうなるか。
CyberAgentにおける日本語LLMの開発について CyberAgent石上様
- LLMモデルの開発方法の振り返り
- OpenCalmの開発にみる実際のLLM開発
- 新しい取り組み
OpenAI Assistants API(Playground)を使ってコーディングのアドバイスをしてくれるアシスタントを作る
- OpenAI Assistants APIをPlaygroundを試した記事
OpenAI APIの Assistant APIのしくみ
- OpenAI APIの 「How Assistants work 」を日本語でまとめた記事
- アシスタントは永続的なスレッドにアクセスできる。
- スレッドはメッセージ履歴を保存し、会話長がモデルのコンテキスト長より長すぎる場合の切り捨てが自動的に行われる
- アシスタントごとに最大20個のファイルを添付できる
- 各ファイルの最大サイズは512MB
- 組織がアップロードする全ファイル限界サイズは100GB
- メッセージに注釈が含まれる場合がある
- ファイルの引用した場合、回答を作成するために使用した特定のファイル内への特定の引用への参照が含まれる
Come build with us: Microsoft and OpenAI partnership unveils new AI opportunities
- Azure OpenAI Serviceでも年内にGPT-4 Turboなどの今回発表されたモデルを利用できるようになる
AIが「言語生成AIとの対話」で賢くなり続ける自動成長モデル 米Meta含む研究者らが開発
- 環境と直接対話せずに大規模言語モデル（LLM）からのフィードバックを用いてAIエージェントを強化学習で訓練する手法が提案された
- 事前に学習されたLLMから報酬関数を抽出し、その報酬を利用してAIエージェントを訓練する
- LLMを活用して観測データから得られたイベントの説明のペアの重要性を判定し、その結果を報酬として定義する
- 報酬は、単体で最大化することも、環境から得られる外部報酬と併用することもできる
- Motifの核心的なアイデアは、イベントを評価することが、イベントを0から生成するよりも容易であるという点
Google Colab で OpenAI APIの Function Calling を試す
Google Colab で OpenAI APIの Code Interpreterを試す
- 「Google Colab」で「OpenAI API」の「Code Interpreter」を試した記事
Quality at a Glance: An Audit of Web-Crawled Multilingual Datasets
- (CCAligned、ParaCrawl、WikiMatrix、OSCAR、mC4) とともにリリースされた 205 の言語固有のコーパスの品質を手動で監査した論文
Amazon Bedrock を利用した Alexa スキル「AI 基盤くん」を公開しました！
- Amazon Bedrock を利用した Alexa スキル「AI 基盤くん」を説明した記事
- 東京リージョンだとClaude Instant V1しか利用できない
OpenAI APIで提供されている モデル まとめ
マルチモーダルな GPT-4V は画像形式の文章をマークダウン化するのに使えるんじゃないか説
- GPT-4V を使って画像形式の文章を簡単にマークダウン形式に変換できるかを検証した記事
- 英語はほぼ完ぺきにマークダウン化できている
- 日本語は文字認識の精度がやや低い
Function callingをローカルLLMで動かしてみよう。
- Function callingをローカルLLMで動かすことにトライした記事
OpenAI の Assistant Playuground の Function Calling を試す
OpenAI の Assistant Playground の Code Interpreterを試す
GPT-4-1106-Previewの日本語能力を試す
rinnaのYouri 7Bで8GB GPUでもLLM翻訳ができるかも
OpenAIの音声テキスト変換whisperの新モデル"large-v3"を試す
A Survey of Large Language Models for Autonomous Driving
- 自動運転のためのLLMに関する研究ラインを体系的にレビューする論文
GitHubUniverse 2023 での AI に関する発表まとめ！Copilot Chat の12月からの一般提供開始など
- GitHub Copilot Chatが12月から一般提供開始
- GitHub Copilot Enterprise が 2024年2月より一般提供開始
- GitHub Copilot Workspaceの発表
- タスクを与えるとそれを解決するためのプランや実際のコードを提案してくれる
- それをビルドテストする環境がセットになったもの
Instruction Tuningを行なった130億パラメータの日本語LLMの公開：Stockmark-13b-instruct
- Stockmark-13bに対して追加の学習を行い、ユーザーの指示に従うように訓練したStockmark-13b-instructが公開された
- Stockmark-13b-instructのライセンスはCC BY-NC-SAで、研究目的のみに利用できる
RAGにおけるドキュメント検索精度向上について(概要編)
- RAG（Retrieval Augmented Generative）の構築において、ドキュメント検索精度の向上にどのように取り組んだ内容の概要が紹介された記事
Labsから事業部へ、生成AIによるプロセスのリデザイン
- LLMは多様なタスクを一つのモデルで取り組むことができるため、一部の部門のニーズを満たすだけでもコストに見合う形でAIによる業務変化を生み出せる可能性がある
- LLMや生成AIによる業務の自動化は、置き換えることではなく、より良いユーザーエクスペリエンス（UX）を追求し、生産性の向上を目指すもの
- これまでのSaaSでは「システムに人が合わせる」という時代でしたが、LLMを組み合わせることで「人にシステムが合わせる」が実現できる時代が来た
GPTs はシュッと作れるけど注意が必要よ
- 一般公開するGPTsには他の人に見られて困る情報は絶対に入れてはだめなことを説明した記事