2023年10月30日の週に気になった記事などまとめ

IBIS2023チュートリアル「大規模言語モデル活用技術の最前線」

speakerdeck.com

Chain of ThoughtやReActを始めとする大規模言語モデルを使うために役立つ技術や知見を最新の研究成果に基づいて紹介したチュートリアル
- LLMはどのようなことができるか
- LLMの性能を最大限出すための技術・研究の解説
- プロンプト設計の実例紹介

2023年度版「データサイエンティストスキルチェックリストver.5」および「データサイエンス領域タスクリスト ver.4」を発表

www.datascientist.or.jp

データサイエンティストに必要とされるスキルをまとめた「データサイエンティストスキルチェックリスト」の第５版が公開された
変更点
- 生成AI時代における「AI利活用スキル」を新たに追加。69項目を定義
- データサイエンス力のカテゴリ、サブカテゴリを目的軸、技術軸で再編成
- クラウド環境の管理スキル、学習済みモデルの利用スキルなどを追加
- DS領域スキルであったデータ理解カテゴリの一部をBZ領域スキルへ移管
- 各領域のカテゴリ、サブカテゴリや領域を跨るスキル、必須スキルの見直し
- 全体として572項目→650項目とした

MT-Benchによる各種LLMの日本語運用能力評価まとめ(23/10/31更新)

note.com

MT-Benchを使ってさまざまなLLMの日本語の性能評価をした記事
以下の記事にもベンチマークがまとめられている
- note.com

【独自分析】チャットGPTで大注目...「LLM=大規模言語モデル」を事業化するスタートアップが出現中

journal.startup-db.com

LLMを事業に取り込むスタートアップを抽出した記事
- 調査ではSTARTUP DBに収録されているスタートアップおよそ21,000社を対象に、事業内容やプレスリリースにLLMの関連用語が含まれる企業を機械的に抽出した
- LLMを活用したプロダクトを展開している」か「LLMに関する研究開発を実施している」のいずれかに当てはまると判断できたケースを「LLM関連スタートアップ」と定義

rinna、Llama 2の日本語継続事前学習モデル「Youri 7B」を公開

rinna.co.jp

Llama 2に日本語の学習データで継続事前学習を行った「Youri 7B」シリーズがLLAMA 2 Community Licenseで公開された
「Youri 7B Instruction」は、日本語の一問一答に応える能力が高くベンチマークにおいて高いスコアを達成
「Youri 7B Chat」は、複数ターンの対話データを用いて追加学習しているため対話性能が高いモデル
GPTQで 4bit 量子化したモデルも公開された

LLMのファインチューニングのためのツール Axolotl

note.com

ELYZA、東京海上日動の事故対応におけるお客様応対業務で言語生成AIの活用に成功

prtimes.jp

お客様への応対文面の作成業務において約50%の省力化に成功した
- 物損事故と人身事故のお問い合わせ複数ケースに対し、オペレーター単独で回答作成した処理時間と、言語AIの回答素案をもとに整形して回答作成した処理時間を比較し、省力化の程度を検証
- 言語生成AIが作成した発話草案のうち、そのまま回答に利用された文の割合は最低でも61％以上であった
オペレーターの応対品質の均質化・向上にも寄与
国産の大規模言語モデル「ELYZA Brain」を活用した

AWS re:Invent 2023 で Generative AI を学ぼう！関連セッションを一挙紹介！

speakerdeck.com

Whisper-rinna/youri-7b-chat-VOICEVOX

colab.research.google.com

rinna/youri-7b-chat デモに音声入力(Whisper)と音声合成(VOICEVOX)を追加して google colabの無料枠で動くノートブック

gguf版、japanese-stablelm-instruct-gamma-7b　実用 APIサーバ・クライアント例

note.com

⼤規模⾔語モデルとVision-and-Language

speakerdeck.com

IBIS2023の企画セッション「Vision and Languageの最前線」の資料
NLP、V&Lの基盤モデルがどう学習され、何ができるか
基盤モデルを人間を使いやすくするためのInstruction-tuningとその代表的モデル
GPT-4VがどのようなV&L能力を獲得したのか

Youri 7BをFastChatでChatGPT互換APIサーバとして動かして遊ぶ

qiita.com

Evaluating Large Language Models: A Comprehensive Survey

arxiv.org

LLMの包括的なサーベイ論文
知識と能力評価、アライメント評価、安全性評価の3つの主要なグループにカテゴライズした

LangChain Templates

blog.langchain.dev

さまざまなタスクに対応する参照アーキテクチャを簡単にデプロイできるコレクション

Unleashing the potential of prompt engineering in Large Language Models: a comprehensive review

arxiv.org

現時点で主要なプロンプトエンジニアリングを整理した論文
以下の動画で解説されている
- www.youtube.com
- 発表は10分頃から

Amazon Bedrock で Interpreterを開発 !~ 日本語だけで AWS Lambda のコード生成とデプロイとテストまで完結 ~

aws.amazon.com

ユーザーは使用する Lambda の Runtime を選択し、 Lambda 関数で実現したいことを日本語で入力して submit すると、アプリは Lambda のコードを出力するアプリを構築した記事

福井県、全庁で生成AIの実証を開始、若手職員による検証で業務削減などの効果

it.impress.co.jp

生成AIサービスの有効な利用法や課題を把握することを目的に若手職員約30人による検証を実施した結果の紹介記事

NTT版大規模言語モデル「tsuzumi」

www.rd.ntt

軽量でありながら世界トップレベルの日本語処理性能を持つ大規模言語モデル「tsuzumi*2」を開発
「tsuzumi」のパラメタサイズは6～70億 -「tsuzumi」は英語と日本語に対応し、1GPUやCPUでの推論動作を実現 -「 tsuzumi」は視覚や聴覚といったモーダルに対応
Rakudaベンチマークでは、GPT-3.5にも勝率52.5%と上回り、その他の国産トップのLLM群に対しては勝率70%超と大きく上回る結果

rinna-youri-7b-instructionを作成済みの試験PGやAPIサーバ・クライアントで試す。

note.com

日本語大規模言語モデル「Japanese Stable LM Beta」シリーズをリリースしました

ja.stability.ai

オープンな日本語大規模言語モデルの中で最高性能*のものを含む「Japanese Stable LM Beta (JSLM Beta)」シリーズがリリースされた
「JSLM Base Beta」は、Llama-2のbase モデルに対し、継続事前学習 (continued pretraining) を行ったもの
- 継続事前学習は Wikipedia, mC4, CC-100, OSCAR, SlimPajama（Books3を除く）等の日本語と英語データを利用し、のべ約1000億トークンで行われた
SFT には Databricks Dolly-15k, Anthropic HH などの公開データセットが利用された
「JSLM JA-Vocab Beta」は、上述のプロセスに加え語彙の拡張を行ったモデル
- トークナイザに日本語の語彙を追加

独自の日本語LLM（大規模言語モデル）のバージョン2を一般公開 ―32,000トークン対応の商用利用可能なチャットモデルを提供―

www.cyberagent.co.jp

70億パラメータ・32,000トークン対応の日本語LLMが公開された
日本語および英語データで事前学習を行なった70億パラメータのベースモデルであるCyberAgentLM2-7Bと、チャット形式でのチューニングを行ったCyberAgentLM2-7B-Chatの2種類
- CyberAgentLM2-7B-Chatは入出力の長さとして32,000トークンに対応
モデルは商用利用可能なApache License 2.0で提供