Новая схема работы Arweave через Turbo

2026-09-25 13:19:24 +03:00
parent ef707ec217
commit 408e474130
30 changed files with 544 additions and 241 deletions
@@ -1,108 +1,79 @@
-# Инструкция Codex: применить ANS-104 test5590 patch
+# Применение patch: Turbo + direct Arweave для `App=test5590`

-## Цель
+## Что меняется

-Перевести пользовательский blockchain SHiNE на Frame v1 внутри готовых ANS-104 DataItems и убрать старый SHINE-ARCHIVE/файловое хранение цепочек.
+- `arweave.blocks.publish.mode=turbo|arweave|none` вместо boolean publisher switch.
+- `turbo`: каждый готовый user-signed ANS-104 DataItem отправляется в Turbo отдельно.
+- `arweave`: сохранён прямой L1 fallback — несколько user DataItems собираются в standard ANS-104 bundle.
+- `none`: наружу ничего не публикуется.
+- Importer всегда ищет только individual `App=test5590` DataItems.
+- `App=test5590-batch` больше не используется.
+- Channel tag: `c_test5590=<canonical_channel_slug>` вместо `c=...`.
+- Удалены `blocks.arweave_root_tx_id` и `arweave_block_import_queue.root_tx_id`.
+- Схема PostgreSQL: v25.

-## Жёсткое ограничение
-
-**Не изменять ничего в `ESP32/`.** В этом patch нет ни одного файла `ESP32/**`.
-
-Remote/homeserver signer, завязанный на устройство, намеренно не мигрирован. Не пытаться «заодно исправить» его в рамках этого patch.
-
-## Применение
-
-1. Распаковать patch поверх корня репозитория, сохраняя относительные пути.
-2. Удалить все пути из корневого `DELETE_FILES.txt`.
-3. Проверить, что `git diff -- ESP32` пуст.
-4. Использовать чистую/dev test DB. `migration_v24.sql` намеренно откажется мигрировать непустую blockchain DB, потому что backward compatibility со старым block format не требуется.
-
-## Arweave config
-
-Минимально для публикации:
+## Минимальная настройка Turbo

 ```properties
-arweave.blocks.publish.enabled=true
-arweave.blocks.publish.intervalMinutes=15
-arweave.blocks.publish.gateway=https://arweave.net
-arweave.blocks.publish.walletJwkPath=/ABSOLUTE/SECRET/PATH/arweave-wallet.json
+arweave.blocks.publish.mode=turbo
+arweave.blocks.publish.turbo.uploadUrl=https://turbo.ardrive.io/tx
 ```

-JWK не коммитить.
+Для действующего free tier маленьких DataItem этого может быть достаточно.

-Для discovery/import:
+Если upload платный и расходы должны идти с server Turbo Credits:
+
+```properties
+arweave.blocks.publish.turbo.walletJwkPath=/home/player/SHiNE/secrets/turbo-wallet.json
+# либо вместо JWK сразу публичный адрес:
+# arweave.blocks.publish.turbo.paidByAddress=<server payer address>
+```
+
+JWK не отправляется Turbo: из него вычисляется публичный address для `x-paid-by`.
+Для чужого signed DataItem платные Turbo Credits требуют действующего Credit Share Approval от server payer к signer-адресу DataItem. Если его нет, Turbo вернёт HTTP 402, а блок останется pending для повторной попытки.
+
+## Direct Arweave fallback
+
+```properties
+arweave.blocks.publish.mode=arweave
+arweave.blocks.publish.walletJwkPath=/home/player/SHiNE/secrets/arweave-wallet.json
+arweave.blocks.publish.gateway=https://arweave.net
+```
+
+Root bundle больше не получает `App=test5590-batch`; child DataItems уже содержат `App=test5590` и именно их индексирует importer.
+
+## Отключение публикации
+
+```properties
+arweave.blocks.publish.mode=none
+```
+
+Это не отключает `arweave.blocks.sync.enabled`: read/import и publish независимы.
+
+## Importer

 ```properties
 arweave.blocks.sync.enabled=true
-arweave.blocks.sync.intervalMinutes=15
 arweave.blocks.sync.gateway=https://turbo-gateway.com
-arweave.blocks.sync.startBlockHeight=0
+arweave.blocks.sync.maxDataItemBytes=8388608
 ```

-На тестах желательно установить `startBlockHeight` на высоту начала `test5590`, чтобы не сканировать лишнюю историю.
+Importer:

-## Test namespace
+1. GraphQL `App=test5590`;
+2. `/ar-io/offsets/<dataItemId>`;
+3. range `GET /raw/<rootTxId>`;
+4. проверка exact signed DataItem ID + signature;
+5. обычный `AddBlock` import.

-Child DataItem:
+## Миграция БД

-```text
-App=test5590
-```
+При старте schema v24 автоматически применит `migration_v25.sql`, которая удаляет два root-tx поля и ставит version 25.

-Channel child:
+## Проверка после применения

-```text
-App=test5590
-c=<canonical_channel_slug>
-```
-
-Root bundle:
-
-```text
-Bundle-Format=binary
-Bundle-Version=2.0.0
-App=test5590-batch
-```
-
-Перед production-start test namespace должен быть заменён отдельным осознанным изменением.
-
-## Проверки после применения
-
-Из корня репозитория:
-
-```bash
-node --check shine-UI/js/services/ans104-data-item.js
-node --check shine-UI/js/services/auth-service.js
-node --check shine-UI/js/app.js
-node --check shine-UI/js/pages/settings-view.js
-```
-
-Java/Gradle:
-
-```bash
-./gradlew testClasses
-./gradlew test
-```
-
-Затем локальный smoke test по штатной инструкции проекта, например `./gradlew startLocal`.
-
-В среде, где готовился patch, Gradle wrapper не смог скачать Gradle 8.14 из-за отсутствия внешнего сетевого доступа к `services.gradle.org`. Поэтому полный Gradle compile/test обязательно прогнать после применения в обычной dev-среде.
-
-## Smoke scenario
-
-1. Создать/использовать тестового пользователя с локальным blockchain Ed25519 key.
-2. Добавить обычный block и убедиться, что `blocks.block_bytes` начинается с ANS-104 DataItem, а `data_item_id` заполнен.
-3. Создать channel и post; проверить `c=<canonical slug>`.
-4. Включить publisher, дождаться цикла или вызвать сервис тестом; проверить root Arweave tx.
-5. На второй чистой test DB включить importer и убедиться, что `App=test5590` blocks восстанавливаются в правильном порядке.
-6. Убедиться, что imported blocks имеют `arweave_publish_pending=false`.
-7. Проверить, что повторный discovery не создаёт дублей.
-
-## Не делать в этом patch
-
- не добавлять backward compatibility Frame v0;
- не возвращать `.bch` storage;
- не возвращать SHINE-ARCHIVE;
- не менять ESP32;
- не мигрировать remote/homeserver signing без отдельного решения пользователя;
- не заменять `prevHash` на Arweave DataItem ID.
+1. Создать новый channel/post и проверить signed tag `c_test5590=<canonical slug>`.
+2. В `mode=turbo` убедиться, что `blocks.data_item_id` совпадает с Turbo response `id` и pending становится false.
+3. На втором сервере включить sync и убедиться, что DataItem находится GraphQL-запросом `App=test5590` и импортируется без прямой server-to-server связи.
+4. Переключить первый сервер в `mode=arweave`, создать ещё несколько блоков и убедиться, что тот же importer второго сервера видит child DataItems без знания root bundle ID.
+5. Проверить `mode=none`: новые локальные блоки остаются pending, наружу ничего не отправляется.