データ重複チェック
目的
このutilityページは、二つのデータセット間に同じ観測が再収録されている可能性を確認します。統計、図版、解釈のためにデータセットを統合する前の出典監査に使います。元workbookの変更、重複の確定、観測値の削除は行いません。
概要
このツールは重複データ候補を抽出するだけです。 元のworkbookを変更せず、重複を確定せず、解析から記録を除外しません。元データの出典、航海、観測点、測定メタデータを確認する前の、監査可能な候補一覧を作成するために使います。
ブラウザの現在のセッションでアップロードしたユーザーデータについても、選択したEnvGeo同梱データセットとの重複候補を確認できます。サイドバーのUploaded data overlayを使用し、必要な列を指定してください。各探索ページでは、Data filtering → Duplicate-candidate displayで候補データを表示するか非表示にするかを選べます。これは可逆的な表示設定であり、元データは変更しません。
基本操作
- 比較するデータセット対を選びます。
- サイドバーでStrongと、より広いReviewの閾値を設定します。
- Run overlap screenを選びます。
- 出力された表と、左右の元行を並べた確認表示を調べます。
- 元論文・データベース、航海、観測点、日付、分析メタデータを確認し、最終判断は元workbookとは別に記録します。
同梱データでは、EnvGeo Dataset [ECS–Japan Sea]、Around Japan、NASA GISS global、CoralHydro2k globalを比較できます。画面では選んだ一組を比較し、複数のペア候補を自動的に複数データセット間の重複確定として扱うことはありません。
有効な採水年・月が一致する行だけを比較します。日がある場合は左右の元行表示で確認できますが、初期スクリーニングの一致条件には使いません。
候補の区分
- Strong candidate：座標、深度、塩分、δ18Oの厳しい閾値をすべて満たす候補です。現在の暫定既定値は、緯度≤0.1°、経度≤0.1°、深度≤5 m、塩分差≤0.1、δ18O差≤0.1‰です。
- Review candidate：広いReview閾値内にはあるものの、厳しい閾値を少なくとも一つ超える候補です。現在の暫定Review既定値は、緯度≤0.2°、経度≤0.2°、深度≤10 m、塩分差≤0.2、δ18O差≤0.2‰です。
- Provisional one-to-one rounding-compatible match：Strongの中でもさらに厳しい候補です。取り込み後の数値から推定した小数桁の丸め幅に全項目が整合し、同一年月内で各元行が一度だけ対応するよう選びます。
暫定候補一覧は、一次資料を確認する優先順位付きリストであり、重複を確定するものではありません。異なる出典では丸め、メタデータ不足、近接する別試料があり得ます。 これらの既定値は透明な初期スクリーニング基準であり、普遍的な測定誤差閾値ではありません。監査ページのサイドバーで調整でき、科学的な結果を示す際は用いた基準を併記してください。
現行の同梱データに対するスクリーニング記録
以下は、2026-10-07に、現在v1.3.4と表示しているv1.3.5前の開発コード、同梱の
11_AROUND_JAPAN_PUB_20260305.xlsx、71_GLOBA_NASA_20260226.xlsx、
71_GLOBAL_Atwood_et_al_2026_v02.xlsx、および上記の暫定既定基準で
計算した再現可能な記録です。
| データセット対 | 候補対 | Strong | Review | 暫定的一対一・丸め整合 |
|---|---|---|---|---|
| Around Japan × NASA GISS global | 65 | 55 | 10 | 8 |
| Around Japan × CoralHydro2k global | 0 | 0 | 0 | 0 |
| NASA GISS global × CoralHydro2k global | 2,185 | 1,830 | 355 | 1,347 |
この基準では、三つの同梱データセットすべてを結ぶ候補クラスターはありませんでした。 ここでの数は重複確定観測数ではなく候補対の数です。source workbookの版や監査基準が変われば値も変わるため、今後の確認結果を示す際には、日付・使用データ版・判定基準を併記してください。
別途同梱しているEnvGeo Dataset [ECS–Japan Sea]コレクション
（01_ECS_JAPAN_SEA_Kodam_et_al_2024.xlsx）についても、同じ日・同じ基準で確認しました。
主要出典はKodama et al. (2024)です。
Around Japan、NASA GISS global、CoralHydro2k globalのそれぞれとの比較で、いずれも候補対 0件（Strong・Reviewともに0件）でした。
これはスクリーニング結果であり、コレクション間のあらゆる関係を完全に解決したことを意味するものではありません。
解析ページの任意の表示スクリーン
共通のデータフィルタリング・サイドバーは、既定では全観測を表示します。解析結果の感度確認が必要な場合だけ、以下の同梱データ用の可逆的な表示モードを選び、設定を適用します。
- Hide one-to-one rounding-compatible candidates (recommended)：暫定的一対一候補だけを非表示にします。各候補対では、出典・分析メタデータがより多く入った行を残し、同点の場合は文書化した一定の出典優先順を使います。
- Hide Strong candidates broadly (screening use)：すべてのStrong候補を使います。Strongには一対多候補が含まれるため、これは意図的に広い感度確認用であり、重複の確定処理として報告してはいけません。
初めて選んだ時点で、同梱データの監査結果を計算し、そのアプリ・セッション内でキャッシュします。どちらのモードもworkbook、アップロード表、元の測定値を変更しません。Show all records (default)に戻せば、全行をすぐ再表示できます。
出力
- Strong候補とReview候補を分けた監査CSV
- 暫定的一対一・丸め整合候補CSV
- 全候補を含む監査CSV
- 英語・日本語の監査列ガイドCSV
Inspect one Provisional one-to-one candidate pairでは、暫定的一対一候補の二つの元行を左右に並べて確認できます。判断前に必ず元データを確認してください。
Record a provisional-candidate decisionは通常の候補確認では必須ではありません。Pending、Confirmed duplicate、Keep bothと、根拠または次の確認事項を記録できます。判断はブラウザの現在のセッション内だけに保持されるため、必要な場合だけ独立したreview-decision CSVをダウンロードして保存してください。この操作は元workbookを変更せず、恒常的なmanifestを作成せず、可逆的な表示スクリーンの動作も変更しません。
監査表には、出典名、元行ID、引用のfallback、絶対差と符号付き差、厳しい閾値の超過フラグ、丸め幅を含めます。Right_minus_Left列は常に「画面で選んだ右側のデータセット − 左側のデータセット」です。
Candidate pairsは左・右の元行の組合せ数です。一つの行が複数の近接候補に対応すると、候補対の数はユニークな観測行数を超えます。画面には、左右それぞれで候補に含まれたユニーク元行数も表示します。 候補数の前には、今回の監査で読み込んだ左右の元データ行数も表示します。
アップロードデータ
必要な列をサイドバーで割り当てれば、セッション限定のアップロード表と、同梱する一つの参照データセットを比較できます。アップロード表どうしの比較は、このページでは行いません。アップロード内容はブラウザの現在のセッションだけに保持され、アプリは書き込みません。
制約と今後の利用
小数桁の確認は取り込み後の数値に基づく監査用推定であり、分析誤差モデルではありません。任意の表示スクリーンは可逆的な感度確認用であり、既定ではすべての観測を保持します。恒常的な判断記録や除外は現行ワークフローの対象外であり、必要になった場合に別途、原典を確認した手順として検討します。