Cloudflare Pages очищаем старые деплои

После переноса сайта на Cloudflare pages мы получили возможность создавать клоны сайта под каждый новый пуш в репозиторий. К сожалению нет автоматической очисти этих технических версий сайта.

Простое решение

Самым простым решением тут будет настроить branch deployments control:

Где можно как полностью выключить автодеплой, так и настроить поведение и запуск автодеплоя для не основной ветки:

После этого нужно будет:

• либо запускать руками деплой основной ветки, когда это нужно;
• либо деплоить только основную ветку, а руками удалять старые версии;
• либо деплоить только основную ветку и определенные по правилам включения и исключения дополнительные ветки, удаляя руками старые версии.

Как видно, все эти варианты подразумевают ручное удаление старья. Это не очень удобно, поэтому вернемся к нашему файлу .gitlab-ci.yml.

Правки .gitlab-ci.yml

В описание CI у GitLab можно привязаться к разным стадиям, в том числе и к внешней стадии Cloudflare Pages:

Тут тоже есть два пути через:

• Cloudflare API, где нужен раздел Workers and Pages > Pages > Projects;
• Wrangler, где есть отдельные команды для очистки деплоев.

Для обоих способов нужны переменные окружения:

• CLOUDFLARE_ACCOUNT_ID - ID аккаунта (находится на главной странице дашборда Cloudflare справа внизу);
• CLOUDFLARE_API_TOKEN - токен с доступом Cloudflare Pages: Edit;
• CLOUDFLARE_PROJECT_NAME - название проекта Pages

Где найти аккаунт ID:

Права для токена, на странице https://dash.cloudflare.com/profile/settings:

Выберем API, потому что там нам нужен только curl и базовый образ alpine. Для использования Wrangler нужен образ nodejs, что сам по себе весит сильно больше curl, и установка (или скачивание и запуск через npx) Wrangler. При этом плюсы этого сомнительны: не нужно писать работу с пагинацией самому и автоматический подхват переменных окружения CLOUDFLARE_ACCOUNT_ID и CLOUDFLARE_API_TOKEN. Итого добавляем такое описание в .gitlab-ci.yml:

1
2
3
4
5
6
7
8

cleanup_cf_pages:
  stage: deploy
  image: alpine:latest
  when: manual
  before_script:
    - apk add --no-cache curl jq bash
  script:
    - bash scripts/cleanup-cf-pages.sh

Теперь в любом pipeline-е можно руками запустить зачистку всех деплоев.

Сам файл scripts/cleanup-cf-pages.sh:

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49

#!/usr/bin/env bash

PAGE=1
TOTAL_PAGES=1
ALL_IDS=""

if [ -z "$CLOUDFLARE_ACCOUNT_ID" ]; then
  echo "Error: require env CLOUDFLARE_ACCOUNT_ID."
  exit 2
fi

if [ -z "$CLOUDFLARE_API_TOKEN" ]; then
  echo "Error: require env CLOUDFLARE_API_TOKEN."
  exit 3
fi

if [ -z "$CLOUDFLARE_PROJECT_NAME" ]; then
  echo "Error: require env CLOUDFLARE_PROJECT_NAME."
  exit 4
fi

while [ "$PAGE" -le "$TOTAL_PAGES" ]; do
  echo "Load page $PAGE..."

  RESPONSE=$(curl -s -H "Authorization: Bearer $CLOUDFLARE_API_TOKEN" \
    "https://api.cloudflare.com/client/v4/accounts/$CLOUDFLARE_ACCOUNT_ID/pages/projects/$CLOUDFLARE_PROJECT_NAME/deployments?page=$PAGE")

  if [ "$PAGE" -eq 1 ]; then
    TOTAL_PAGES=$(echo "$RESPONSE" | jq -r '.result_info.total_pages')
    if [ "$TOTAL_PAGES" = "null" ] || [ -z "$TOTAL_PAGES" ]; then TOTAL_PAGES=1; fi
  fi

  PAGE_IDS=$(echo "$RESPONSE" | jq -r '.result[]?.id')
  ALL_IDS="$ALL_IDS $PAGE_IDS"

  PAGE=$((PAGE + 1))
done

COUNTER=0
KEEP_COUNT=10

for ID in $ALL_IDS; do
  if [ -z "$ID" ]; then continue; fi

  echo "Remove deploy: $ID"
  curl -s -X DELETE -H "Authorization: Bearer $CLOUDFLARE_API_TOKEN" \
    "https://api.cloudflare.com/client/v4/accounts/$CLOUDFLARE_ACCOUNT_ID/pages/projects/$CLOUDFLARE_PROJECT_NAME/deployments/$ID?force=true" | \
    jq
done

В скрипте проверяются доступные переменные окружения. Если они все есть берет все имеющиеся деплои (с пагинацией) и пытается их удалить. Параметр force=true нужен, что бы можно было удалять деплои синонимы. Это такие деплои с именными доменами по названиям веток.