チャットメッセージまたはプロンプト/コンプリーションの JSONL を検査し、不正な行、ロールの問題、重複を検出して、正規化された有効なレコードをコピーします。
ブラウザ内でローカルに実行このプロバイダー中立のチェックは、JSONL 構文、ロール、内容、アシスタントの例、重複、おおよそのサイズを対象とします。ジョブを作成する前に、必ず対象プロバイダーの最新の検証とポリシーチェックを実行してください。
1行につき1件の学習データを並べた JSONL を貼り付けてください。messages 配列を持つチャット形式か、prompt/completion のペアのどちらかです。検証ツールは不正な行を行番号付きで報告し、重複レコードを検出し、テキストのトークン数を見積もり、合格した行だけを返します。
検証はこのブラウザタブ内で実行されます。データセットはどこにも送信されず、ページを読み込んだ後はオフラインでも動作します。
messages 配列を持つレコードには少なくとも1件の要素が必要です。各要素には system、developer、user、assistant、tool のいずれかの role と、空でない文字列か、中身が空にならない {type:"text",text} パーツ配列の content が必要です。prompt と completion を持つレコードは、両方とも空でない文字列である必要があります。どちらの形式にも当てはまらない行は、不明なスキーマとして報告されます。
assistant の発話がないレコードは出力に残りますが警告が付きます。重複検出はキーを並べ替えた正規形で比較するため、同じ内容でキーの順序だけが違う場合も重複として扱われます。テストでは、配列 content や tool・developer ロールを含め、上記のすべての形式が期待どおりに検証されました。
トークン数は推定値であり、実際のトークナイザーではありません。CJK 以外の文字を4で割り、CJK 文字は約1文字1トークンとして数え、切り上げます。AI ラボの各ページと同じヒューリスティックで、正確な請求ではなく計画づくりに使うものです。
エラー・警告・重複はメトリクス行で別々に集計されます。重複は警告にとどまるため、重複行もコピー出力に残ります。削除したい場合は検出結果リストと突き合わせてください。
検証は構造レベルのもので、特定プロバイダーの正確なスキーマを知っているわけではありません。ここを通過しても、特定のファインチューニング API が拒否することがあります。ジョブを作成する前に、対象プロバイダーの最新の検証とポリシーチェックを必ず実行してください。
ファイルは1回のパスで解析されます。テストでは2000件を数百ミリ秒で検証できたため、数メガバイト程度なら通常は問題ありません。それより大きい場合はローカルのコマンドラインパイプラインで処理するのが適しています。CRLF 改行と先頭の BOM も受け付けます。