Готовые датасеты

Данные

Как и бандлы, несколько датасетов доступны в готовом виде. С ними можно анализировать качество исполнения и ликвидность на разных площадках без собственного пайплайна воспроизведения, даже если команда только знакомится с моделью программирования Solana.

Точнее, эти датасеты отвечают на такие вопросы: где котировки площадки расходятся с тем, что видят агрегаторы, какая на самом деле глубина у каждого пула при заданном объеме, какие свопы площадка проиграла и по какой цене.

Датасет	Описание	Путь для загрузки
Ончейн-глубина	Глубина ликвидности по каждой площадке, рассчитанная напрямую из ончейн-состояния пулов.	datasets/depth/v2/
Глубина по данным агрегатора	Глубина ликвидности по тем же площадкам в котировках Jupiter Metis.	datasets/depth-diagnostic/v2/
Фактические и гипотетические исполнения	Исполнения, которые произошли на самом деле, и рядом исполнения, которые получила бы каждая площадка, если бы выиграла своп.	datasets/estimated_fills/v2/

Схемы

Все датасеты хранятся в формате Parquet и разбиты по дате, рынку и площадке. Шаблон пути для каждого датасета указан в его разделе.

Объемы токенов указаны в базовых единицах (например, у SOL 9 знаков после запятой, у BTC 8, у USDC 6).

Ончейн-глубина

datasets/depth/v{version_number}/date=YYYY-MM-DD/market={token_pair}/venue={venue}/part-{start_slot}-{end_slot}.parquet

Колонка	Примечание
slot
input_token	тикер (например, SOL)
output_token
in_amount
out_amount
price_impact_bps	курс в сравнении с уровнем 0
trigger	by grid: всегда один раз за слот by event: может быть внутри слота или раз в несколько слотов
rung_index	размер уровня удваивается на каждом шаге; уровень 0 базовый

Глубина по данным агрегатора

datasets/depth-diagnostic/v{version_number}/date=YYYY-MM-DD/market={token_pair}/venue={venue}/part-{start_slot}-{end_slot}.parquet

Колонка	Примечание
slot
router_slot	слот, до которого Jupiter Metis обработал данные на момент ответа (может отставать от slot)
pool	адрес пула
router_label	понятное название пула (например, SolFi V2)
input_token	тикер (например, SOL)
output_token
in_amount
out_amount
usd_value	in_amount в USD
account_hashes	отпечаток каждого аккаунта, на котором Metis строил цену
quote_error	почему Metis был недоступен
error	почему Metis не вернул цену (например, в пуле не хватило ликвидности)
raw_entry	полный JSON-ответ Metis

Фактические и гипотетические исполнения

datasets/estimated-fills/v1/date=YYYY-MM-DD/dex={program_id}/part-{start_slot}-{end_slot}.parquet

Колонка	Описание
slot
block_time	временная метка
swap_mode	exact in: входной объем фиксирован, выходной меняется (например, продать ровно 10 USDC) exact out: выходной объем фиксирован, входной меняется (например, получить ровно 1 SOL)
input_mint	тикер (например, SOL)
output_mint
amount	для исходного свопа
l1_fill	для исходного свопа
l1_program	адрес DEX, который исполнил исходный своп
l1_venue	понятное название DEX
input_amount	равен l1_fill, если swap_mode равен exact out равен amount, если swap_mode равен exact in
output_amount	равен l1_fill, если swap_mode равен равен amount, если swap_mode равен
original_failed	прошел ли исходный своп или упал
quote_lag_blocks
estimate_fill	версия l1_fill для симулированной площадки
replay_input_amount	input_amount симулированной площадки
replay_output_amount	output_amount симулированной площадки
outcome	результат симулированного свопа один из вариантов: filled, reverted, unattributed, unsimulatable
category	причина отката симулированного свопа

Доступ

Датасеты хранятся в S3 в формате Parquet. Запросите учетные данные по адресу авторизации ниже, а затем обращайтесь к бакету напрямую, как показано в примере кода.

	URL
Авторизация для датасетов	https://simulator.termina.technology/datasets/credentials
S3-бакет	s3://data.termina.technology

example_access.py

import boto3
import requests

API_KEY = ""
AUTH_URL = "https://simulator.termina.technology/datasets/credentials"
DATA_URL = "data.termina.technology"

# получить учетные данные для доступа
creds = requests.post(AUTH_URL, headers={"X-API-Key": API_KEY}).json()
print(f"creds: {creds.keys()}\n")

# создать авторизованный клиент s3
s3 = boto3.client(
    "s3",
    aws_access_key_id=creds["access_key_id"],
    aws_secret_access_key=creds["secret_access_key"],
    aws_session_token=creds["session_token"],
    region_name=creds["region"],
)

# вывести список всех parquet-файлов в датасетах
resp = s3.list_objects_v2(Bucket=DATA_URL, Prefix="datasets/")
files = [obj["Key"] for obj in resp.get("Contents", [])]
print(files)