Для любого из 100+ commodities в выбранной точке (хаб / страна / регион / глобально) нужен математический и статистический алгоритм оценки рыночного спроса, предложения и, главное, физических остатков (стоков) через прокси-метрики — с объяснением, как заявленная «точность 90%» должна измеряться формально, а не на глаз.
Отчёт опирается на 4 якорных наблюдения по пшенице в Египте (годовой баланс USDA/FAS MY 2025/26 и три независимых point-in-time прокси) и 6 описаний слоёв наблюдения (официальная статистика, AIS/портовый nowcast, спутник/SAR), каждое со своим источником. Годовой численный баланс — преимущественно один официальный якорь USDA/FAS; point-in-time кросс-чеки приходят минимум с двух других независимых хостов. Все тоннажи — в миллионах метрических тонн (MMT).
Водопад: зелёное — приход (supply), красное — уход (use), чёрное — итоговая колонна supply, золотое — ending stocks. Наведите на столбец, чтобы увидеть его роль в уравнении X_t.
Остаток Xt ненаблюдаем напрямую. Он эволюционирует по материальному балансу:
Спрос — это конечное использование (исчезновение). «Apparent demand = production + imports − exports» верно только при нулевом изменении запасов. Фактический спрос:
На глобальном уровне внутренняя торговля стран взаимно сокращается, но требуется согласование товарных эквивалентов (мука → wheat equivalent через extraction rate, с учётом отрубей) и потерь.
Каждый прокси k — это датчик со своим смещением bk и шумом vk,t. Инструменты: Kalman filter для почти линейной Gaussian-модели; robust Student-t ошибки или Huber-веса при выбросах; particle filter при нелинейных ограничениях ёмкости и заполнения; hierarchical partial pooling между странами и хабами; Bayesian model averaging / ensemble для моделей спроса. Прокси, восходящие к одному первоисточнику, нельзя усреднять как независимые — их ошибки коррелированы. Веса датчиков определяются out-of-sample ошибкой, задержкой публикации, историей ревизий и корреляцией ошибок.
Идентифицируемость. Из одного баланса нельзя одновременно узнать и спрос, и запасы — нужен хотя бы один внешний якорь на потребление или на запасы. Цена сама по себе запасов не определяет: она входит мягким сигналом через оценённые эластичности и regime-модель. Capacity ≠ inventory; import contracts ≠ arrivals; приход судна ≠ таможенная очистка; procurement ≠ остаток госрезерва; grade, влажность и metal content требуют conversion matrix.
Что измеряет: Country-level trade estimates (monthly trade values and statistical trade volumes) nowcast ahead of official statistics
Latency: Monthly estimates produced and released within 7 working days (updated weekly on the PortWatch Economy Monitor page)
Риск: The estimates are primarily a nowcast of maritime trade rather than total goods trade, and the fit is worse for smaller economies due to idiosyncratic shipments and methodological challenges such as transshipment
Что измеряет: Country-level maritime trade values and volumes (imports and exports), nowcasting official trade statistics
Latency: Monthly estimates produced and released within 7 working days after the end of the reporting period; nowcast estimates updated weekly on the PortWatch Economy Monitor page
Риск: The estimates are primarily a nowcast of maritime trade rather than total goods trade, so they miss trade by other transport modes (especially air freight); fit is worse for smaller economies and low-income countries affected by idiosyncratic shipments and transshipment, and the constructed price index does not account for seasonal trade composition or contract-based pricing
Что измеряет: Grain supply and export flows from field to port — leading indicators of grain port loading and US Gulf and Brazilian grain exports
Latency: USACE weekly; CONAB monthly; ANTT monthly; ANTAQ per vessel arrival/departure; CEPEA daily
Риск: Vessel-only AIS intelligence captures only the final act — the vessel arriving at port — by which point the loading decision was made 2–4 weeks earlier
Что измеряет: commodity production (supply) and bilateral trade flows of energy, mineral, and agricultural commodities
Latency: annual, covering the 1986-2022 period
Риск: different unit measurements between production and trade data for mineral commodities (metric tons of metal content in production data versus gross metric tons in trade data), and commodities with insufficient data had to be eliminated
Что измеряет: Grain stockpile and silo inventory volume (physical inventory at storage facilities, as an independent check on declared tonnage)
Latency: 6-12 day revisit for Sentinel-1 at mid-latitudes; daily or sub-daily revisit for tasked commercial X-band constellations; Capella Space typical delivery latency of a few hours after acquisition
Риск: Moisture on grain surfaces is the most consequential confound: wet grain raises C-band backscatter and can mimic a larger pile; additionally, SAR reveals maximum physical capacity rather than current fill level, and minimum detectable pile height is governed by resolution
Что измеряет: grain inventory stock levels (physical inventories at silos, port terminals, and open storage pads)
Latency: weekly optical cadence for priority sites (SkySat same-day to next-day tasked revisit; Sentinel-1 six-day repeat at the equator, three days with both satellites); monthly off-season monitoring
Риск: Cloud is the most persistent constraint — optical coverage can be lost for weeks at tropical and temperate coastal terminals, and SAR cannot replace stereo volume estimation; the shadow method is also blind to partially filled silos where grain sits below the rim
При годовом use 20.4 MMT средний burn ≈ 20.4/12 ≈ 1.70 MMT/месяц. Пусть prior текущего остатка 4.5 MMT (σ = 0.9), а независимый reserve proxy «3.4 месяца» после scope-калибровки трактуется как 4.8 MMT (σ = 1.2). Гауссовское обновление по точности:
Коэффициент перевода 3.4 месяцев в 4.8 MMT здесь условен и должен быть обучен на истории ownership/scope. Без калибровки механический пересчёт 3.4 × 1.70 дал бы 5.78 MMT — и смешал бы разные определения (стратегический резерв против total stocks). Значения из новостей — это measurement updates, их не складывают с балансом.
Что значит «90%». Эффективная точность измеряется backtest-метриками: MAE, WAPE, bias, interval coverage, directional accuracy. «90%» должно означать 90%-й prediction interval, покрывающий около 90% последующих официальных значений — а не заявление без определения.
Дополняется очередью судов/вагонов/грузовиков, throughput, dwell time и известными inbound/outbound потоками. Ключевое различие: physical capacity (видна со спутника) ≠ actual fill (нужны тени, DSM, backscatter-динамика, потоки).
Сумма хабов + inland / producer / processor / retail stocks с коэффициентами покрытия, которые обучаются на редких официальных якорях (как годовой баланс USDA/FAS). Якорь калибрует смещение всей пирамиды прокси.
Методологическая рамка, а не исчерпывающий список 100 товаров.
-- схема наблюдения (одна строка = одно показание датчика)
observation(timestamp, commodity_id, grade, location_id, node_type,
flow_type, value, unit, source_id, published_at,
effective_at, revision_vintage, confidence, ownership_scope)
# ежесуточный цикл
for t in schedule:
y = ingest(sources, since=t_prev) # сырые показания
y = normalize(y, unit_map, conversion_matrix) # wheat equivalent и т.п.
y = debias(y, learned_bias[source_id], revision_model)
u = estimate_latent_flows(y, seasonal_priors) # P, M, E, losses
x = state_update(x_prev, u, y, filter="kalman|particle",
constraints=(0, capacity))
x = reconcile_hierarchy(x, levels=["hub","country","global"])
out = quantiles(x, [0.10, 0.50, 0.90])
alert(residuals(y, x), anomaly_rules)
publish(out, freshness=t, decomposition=weights)
| Тип якоря | Период | Наблюдение | Роль в модели | Источник |
|---|
Метод: 4 якорных наблюдения по пшенице Египта (годовой баланс USDA/FAS MY 2025/26 в MMT; три point-in-time прокси за январь–июль 2025) и 6 описаний слоёв наблюдения (официальная статистика/таможня, AIS/портовый nowcast IMF PortWatch, спутник/SAR), каждое со ссылкой на первоисточник. Числа — как опубликованы источниками; nowcast-расчёт 4.61 MMT (σ 0.72) — демонстрация методики с условным коэффициентом перевода, не опубликованный факт. Полный текст первоисточников и промежуточные выкладки сокращены для места.