From 2006fa01d93f1462d3cf02bec598f94298e6753c Mon Sep 17 00:00:00 2001 From: Sluijsens Date: Sun, 1 Nov 2026 23:47:56 +0100 Subject: [PATCH] Removes a duplicate from the upload script and its backups The script body had been saved twice, so a production upload would have run twice and left web.config backups on the host. Browser tests also get longer limits on the slow CI runner; the page behaves the same. Co-Authored-By: Claude Opus 5.5 --- aidlc-docs/features/prerendering/audit.md | 12 ++++ web/deploy/upload-production.sh | 71 ++--------------------- web/e2e/deployScripts.e2e.ts | 45 +++++++++++++- web/e2e/reveal.e2e.ts | 13 ++++- web/e2e/support/browser.ts | 12 +++- 5 files changed, 82 insertions(+), 71 deletions(-) diff --git a/aidlc-docs/features/prerendering/audit.md b/aidlc-docs/features/prerendering/audit.md index 38ec590..b219cc8 100644 --- a/aidlc-docs/features/prerendering/audit.md +++ b/aidlc-docs/features/prerendering/audit.md @@ -455,3 +455,15 @@ **Context**: Build and Test. The nginx config is live and test serves 404 for pages until the deploy. --- + +## Build and Test - Duplicate in the Upload Script + +**Timestamp**: 2026-11-02T00:10:00Z + +**User Input**: (answer through the chat dialog: "Ja, verwijder het") + +**AI Response**: "CI run 598 showed a stray web.config backup. Root cause: upload-production.sh held its body twice since 6d4d012, so an upload would run twice. A sub-agent's deletion was refused by the permission classifier; the owner approved removing lines 87-152. Also turned off lftp backups, fixed a wrong regex in the test, and gave browser tests longer limits in CI for the slow runner." + +**Context**: Build and Test. Deploy to test succeeded in run 598 and is unaffected. + +--- diff --git a/web/deploy/upload-production.sh b/web/deploy/upload-production.sh index ba6d97f..b3911b8 100644 --- a/web/deploy/upload-production.sh +++ b/web/deploy/upload-production.sh @@ -45,73 +45,10 @@ case "$pass" in esac wants() { [ "$pass" = all ] || [ "$pass" = "$1" ]; } -settings="set ftp:ssl-force true; set ftp:ssl-protect-data true; set net:max-retries 3;" - -# Elke opdracht krijgt een eigen lftp-sessie, zodat het script bij een mislukte -# ronde stopt (set -e) voordat de volgende ronde begint: de HTML gaat nooit -# omhoog na een mislukte asset-ronde (FR-PR-18). -run_lftp() { - local commands="$settings $1 quit" - if [ -n "${LFTP_OPEN:-}" ]; then - lftp -e "$commands" "$LFTP_OPEN" - else - : "${FTP_HOST:?FTP_HOST ontbreekt}" "${FTP_USER:?FTP_USER ontbreekt}" - : "${LFTP_PASSWORD:?LFTP_PASSWORD ontbreekt}" - lftp --env-password -u "$FTP_USER" "$FTP_HOST" -e "$commands" - fi -} - -# Ronde 1: alles behalve HTML en web.config, dus ook /assets. Nieuwe -# bestanden met hash in de naam storen de oude release niet. -if wants 1; then - echo "== Ronde 1: alles behalve HTML en web.config" - run_lftp "mirror --reverse --verbose --exclude-glob '*.html' --exclude-glob web.config $dist/ $remote/;" -fi -# Ronde 2: web.config vlak voor de HTML (de regels passen bij de nieuwe -# bestanden), dan alle HTML, ook de geneste pagina's en 404.html. Pas nu -# verwijst iets naar de nieuwe assets. -if wants 2; then - echo "== Ronde 2: web.config en alle HTML" - run_lftp "put -O $remote $dist/web.config;" - run_lftp "mirror --reverse --verbose --include-glob '*.html' $dist/ $remote/;" -fi -# Ronde 3: opruimen als laatste, zodat bezoekers met de oude HTML hun oude -# assets nog vinden tot de nieuwe HTML helemaal staat. -if wants 3; then - echo "== Ronde 3: oude bestanden opruimen" - run_lftp "mirror --reverse --delete --verbose $dist/ $remote/;" -fi - -valid_path() { - local value="$1" segment - [[ "$value" =~ $safe ]] || return 1 - [[ "$value" != -* ]] || return 1 - # Het eerste segment van een absoluut pad is leeg; dat is toegestaan - for segment in ${value#/}; do :; done - local rest="${value#/}" IFS=/ - for segment in $rest; do - case "$segment" in '' | . | ..) return 1 ;; esac - done -} -for value in "$dist" "$remote"; do - if ! valid_path "$value"; then - echo "Ongeldig pad: '$value'" >&2 - exit 2 - fi -done - -here="$(cd "$(dirname "${BASH_SOURCE[0]}")" && pwd)" -bash "$here/check-artifact.sh" "$dist" -cp "$here/iis/web.config" "$dist/web.config" - -pass="${UPLOAD_PASS:-all}" -case "$pass" in - all | 1 | 2 | 3) ;; - *) echo "Ongeldige UPLOAD_PASS: '$pass'" >&2; exit 2 ;; -esac -wants() { [ "$pass" = all ] || [ "$pass" = "$1" ]; } - -settings="set ftp:ssl-force true; set ftp:ssl-protect-data true; set net:max-retries 3;" +# Geen back-ups: lftp zet standaard een kopie met een tijdstempel +# (web.config~20261101221045~) naast elk bestand dat het overschrijft. Op de +# host zou elke deploy er een achterlaten, bereikbaar voor wie de naam raadt. +settings="set ftp:ssl-force true; set ftp:ssl-protect-data true; set net:max-retries 3; set xfer:make-backup no;" # Elke opdracht krijgt een eigen lftp-sessie, zodat het script bij een mislukte # ronde stopt (set -e) voordat de volgende ronde begint: de HTML gaat nooit diff --git a/web/e2e/deployScripts.e2e.ts b/web/e2e/deployScripts.e2e.ts index 9206a31..0a25f47 100644 --- a/web/e2e/deployScripts.e2e.ts +++ b/web/e2e/deployScripts.e2e.ts @@ -531,7 +531,7 @@ describe.skipIf(toolsMissing || lftpMissing)('upload-production.sh', () => { // De volgorde zelf volgt uit de rondes hierboven (na ronde 1 staat er // nog geen HTML); hier alleen dat het script ze in die volgorde doet - const rounds = [...run.stdout.matchAll(/^== Ronde (d)/gm)].map( + const rounds = [...run.stdout.matchAll(/^== Ronde (\d)/gm)].map( (match) => match[1], ); expect(rounds).toEqual(['1', '2', '3']); @@ -540,6 +540,17 @@ describe.skipIf(toolsMissing || lftpMissing)('upload-production.sh', () => { expect(await tree(target)).toEqual(expected); }); + it('laat bij een tweede deploy geen back-upbestanden met ~ achter', async () => { + const { dist, target } = await setup(); + expect((await upload(dist, target)).code).toBe(0); + // Nu bestaat web.config al op de host, en alles wordt overschreven + await write(dist, 'robots.txt', 'nieuwe inhoud'); + expect((await upload(dist, target)).code).toBe(0); + const files = await tree(target); + expect(files.filter((file) => file.includes('~'))).toEqual([]); + expect(files).toContain('web.config'); + }); + it('weigert een ongeldige build en uploadt dan niets', async () => { const { dist, target } = await setup(); await rm(join(dist, 'index.html')); @@ -624,6 +635,38 @@ touch '${slash(marker)}' }, ); + it('zet in elke lftp-sessie de back-ups uit en de TLS-eisen aan', async () => { + const dist = await makeDist(); + const bin = await makeTemp('andreaslop-fakebin-'); + const log = join(bin, 'opdrachten'); + await writeFile( + join(bin, 'lftp'), + `#!/bin/sh +printf '%s\\n' "$2" >> '${slash(log)}' +`, + { mode: 0o755 }, + ); + const run = await runScript( + 'upload-production.sh', + [basename(dist), 'wwwroot'], + { + PATH: `${bin}${delimiter}${process.env.PATH ?? ''}`, + LFTP_OPEN: 'file:///', + }, + dirname(dist), + ); + expect(run.code).toBe(0); + const sessions = (await readFile(log, 'utf8')) + .split('\n') + .filter(Boolean); + // Ronde 1, web.config, ronde 2 (HTML) en ronde 3 + expect(sessions).toHaveLength(4); + for (const commands of sessions) { + expect(commands).toContain('set xfer:make-backup no;'); + expect(commands).toContain('set ftp:ssl-force true;'); + } + }); + it.each(['wwwroot', 'sites/andreaslop.nl', '/srv/site', 'wwwroot/'])( 'laat de doelmap %j door', async (remote) => { diff --git a/web/e2e/reveal.e2e.ts b/web/e2e/reveal.e2e.ts index 2c05f86..35e4d15 100644 --- a/web/e2e/reveal.e2e.ts +++ b/web/e2e/reveal.e2e.ts @@ -1,7 +1,12 @@ import { afterAll, beforeAll, describe, expect, it } from 'vitest'; import type { Page } from 'playwright-core'; import sitePages from '../src/sitePages.ts'; -import { eventually, openPage, waitForHydration } from './support/browser.ts'; +import { + eventually, + inCi, + openPage, + waitForHydration, +} from './support/browser.ts'; import { startServer } from './support/server.ts'; // FR-PR-09, FR-PR-10, V-D6: Reveal is zichtbaar in de HTML en in de eerste @@ -168,9 +173,13 @@ describe('Reveal bij het scrollen', () => { await target!.evaluate((element) => element.scrollIntoView({ block: 'center', behavior: 'instant' }), ); + // De overgang duurt 0,8 s; 1,5 s laat lokaal ruimte voor de + // IntersectionObserver. Op de Pi (CI-run 598: opacity 0,987 na 1,5 s) + // vertraagt de zwaar belaste hoofdthread die, dus daar ruimer: een + // vastgelopen overgang haalt 10 s ook niet. await expect .poll(() => target!.evaluate((e) => getComputedStyle(e).opacity), { - timeout: 1500, + timeout: inCi ? 10_000 : 1500, interval: 50, }) .toBe('1'); diff --git a/web/e2e/support/browser.ts b/web/e2e/support/browser.ts index e1749fc..500c15c 100644 --- a/web/e2e/support/browser.ts +++ b/web/e2e/support/browser.ts @@ -37,6 +37,11 @@ afterAll(async () => { browser = undefined; }); +// Op de CI-runner zijn de wachttijden van de browsertests 3 tot 6 keer zo +// lang als lokaal (zie testTimeout in vitest.e2e.config.ts) +export const inCi = Boolean(process.env.CI); +const CI_TIMEOUT = 90_000; + export interface OpenedPage { page: Page; status: number; @@ -86,6 +91,11 @@ export async function openPage( reducedMotion, }); contexts.add(context); + // Playwright wacht standaard 30 s op een navigatie of een voorwaarde. Op de + // CI-runner (Raspberry Pi) duurde het laden van een pagina met foto's of + // de hydratatie daar soms langer (CI-run 598: goto en waitForHydration + // op 30 s afgebroken). Lokaal blijft 30 s. + if (inCi) context.setDefaultTimeout(CI_TIMEOUT); const page = await context.newPage(); const messages: string[] = []; @@ -137,4 +147,4 @@ export async function waitForHydration(page: Page) { // Vitest kent de wachtende matchers van Playwright niet; expect.poll herhaalt // de vraag aan de pagina tot het antwoord klopt of de tijd om is. export const eventually = (read: () => Promise) => - expect.poll(read, { timeout: 15_000, interval: 100 }); + expect.poll(read, { timeout: inCi ? CI_TIMEOUT : 15_000, interval: 100 });