Sudy / すでぃー (@sudy_super)

手作業で作成した高品質な事前学習・事後学習両用の論理推論データセット。
oasst2という一般的な対話データセットを用いた実験において、大規模言語モデル「Qwen2.5-7B」に対しMalumの追加の有無で比較学習を行い、論理的推論 (Reasoning)タスクの性能向上を実証。

LLMの事前学習のテスト向けに160万件 (0.5b tokens)程度の小規模な日本語コーパスを構築。

日本語Instruction-tuning/RLHFデータセット生成を目的として、既存データセットの高品質化および指示生成モデルと応答生成モデルの作成を行ったプロジェクト。
LOCAL AI HACKATHON #000にて銅賞を受賞。
既存データセットの高品質化と一部の学習コードの実装を担当。

LLMの事前学習のテスト用に1600万件 (10b tokens)程度の小規模な日本語・英語・コード混合のコーパスを構築。

大規模言語モデル「CALM2-7b」の同じ層を再利用することによりパラメータを増やしたモデル。

• 1~24層、8~32層をslerpマージしたbaku-10b
• 1~16層x1、8~24層x2、16~32層x1をpassthroughマージしたbaku-13b
• 同構成でslerpマージしたbaku-13b-v2

多言語対応のプロンプトインジェクション判定器。
原理的にハックされることがないため、対話モデルの前段に配置することで既存LLMのプロンプトを操作する事に比べて効果的にプロンプトインジェクションやジェイルブレイクを防止可能。
Meta社のLlama Guardの45倍小規模なため低レイテンシで動作する。

LLMに能動的推論機能と疑似意識を実装するツール。
人間に近い思考を再現することで素のLLMより高い問題解決・対話能力を発揮可能。

手作業で作成した高品質な100件の日本語CoT (Chain of Thought) データセット。

AITuber等のAIキャラクターに特化した記憶・想起システム。