Tappara.co palvelinympäristön kehitys

Mikä ongelma sen kannan kanssa tuli?

Varmuuskopion palautus uudelle palvelimelle failaa edelleen samaan virheeseen.

EXCEPTION: 44 posts are not remapped to new S3 upload URL. S3 migration failed for db ‘default’.

Kehittäjien tarjoama workaround oli, että ottaa sivuston asetuksista S3 Uploadit pois päältä ennen varmuuskopiointia, mutta se ei auttanut. Eli meillä on jossain tietokannassa jotain vanhaa tauhkaa, joka ei ole migratoitunut S3:seen, vaikka näin tietysti olisi pitänyt tapahtua.

Hiljattain herätti ihmettelyä ne system-käyttäjän notifikaatit. Ne olisi juuri seurausta siitä, että ajoin S3 migraatioskriptin uudestaan.

Tämä Discourse on toisalta hieno, ja toisaalta todella ■■■■■■■■■■■ järjestelmä. Tässä näitä tunkkaillessa, tuli stable haaraan sitten pyytämättä ja yllättäin Postgres 12->13 päivitys. Vähänkö kävi kylmät, kun en ollut asiaan yhtään varautunut, mutta rebuildin yhteydessä alkoi sellainenkin ruksuttamaan.

2 tykkäystä

Väänsin eilen pultteja auki klo 00:30 asti ja ehkä taas ainakin yksi aukesi. :tunkki:

Edellinen migraation yritys uudelle palvelimelle päättyi virheeseen:

EXCEPTION: rake posts:missing_uploads identified 3 issues. S3 migration failed for db ‘default’.

Nämä 3 virhettä olivat 3 viestiä, jotka lopulta löysin. Kaksi wanhaa Liigapörssikimpan kuvankaappausta, joita oli myöhemmin muokattu tietosuojasyistä (nimet piiloon). Tässä ilmeisesti joku mennyt vikaan ko. kuvien kohdalla. Viimeinen oli erikoisempi, eli varsin tuore oma viestini Ylläpidon alueelta, jossa oli linkki kehityspalvelimelle, mutta ko. URL:ia ei ollut enää olemassa. En ymmärrä miksi vanhentunut onebox-linkki aiheutti virheen, kun on niitä varmasti täällä muitakin eivätkä aiheuta ongelmia.

Eli nyt taas pitäisi olla valmius siirtoon, koska aamulla tekemäni testi meni nyt läpi ilman virheitä.

Finished!
[SUCCESS]
Restore done.

Datamäärä on niin iso, että migraatio kestää 30-40min vähintään ja siksi tämän tutkiminen on niin hidasta. Sen päälle vähän uuden ympäristön renkaiden potkimista, että kaikki tosiaan tomii. Työt häiritsevät tänään tekemistä, mutta saatan laittaa esim. lounastauolla migraation ruksuttamaan.

Ja piti sen viimeksikin toimia, eikä toiminut :man_shrugging:

@henkilökunta

6 tykkäystä
  • Migraatio uuteen kahden palvelimen ympäristöön onnistui
    • 2 kpl 4 vCore / 8 GB purkkeja UpCloudilta.
    • Toinen pyörittää käyttöliittymää, toinen tietokantaa
  • Nyt on muutaman tunnin armon aika (grace perioid), jossa tarkkaillaan onko kaikki niinkuin pitää.
    • Operaatio oli huomattavan työläs ja vaikea.
    • Vanha palvelin on vielä valmiina, jos pitää palata takaisin
  • Suorituskykyyn vaikuttavat asetukset on vedetty hatusta, koska tällaisesta kokoonpanosta meillä ei ole mitään kokemusta. Tilanne nähdään seuraavassa pelissä.
  • Taustalla pyörii vielä tietokantaoperaatioita, mm. kuvien esikatselut (thumbnails) generoidaan taustalla uudestaan. Tämä tietysti vähän hidastaa.

Eli nyt saa muutaman tunnin potkia renkaita aktiivisesti ja sitten lopullinen go/no-go päätös.

Voi sitä lounastauon näinkin viettää. Nyt töihin.

@henkilökunta @luottamustaso_3

EDIT:

Näköjään kannasta löytyy edelleen iso määrä kuvia, joissa viittauksen muoto on //tapparaimg -alkuinen.

Kaikkien kaveri system näyttää nyt muokkaavan näitä nykyiseen muotoon upload:// ja saatte paljon ilmoituksia asiasta.

23 tykkäystä

Toimii oikein hyvin. Muuta ilmoitusta en ole vielä tänään saanut, kuin sen, että minut on tägätty tuohon yllä olevaan viestiisi.

1 tykkäys

@ljpp Äsken klikatessani profiilia oikeasta yläkulmasta, luki Ilmoitusten paikalla, ettei ilmoituksia löytynyt. Menin profiilisivulle, painoin edellinen, taaskaan ilmoituksia ei löytynyt. Jatkoin tästä etusivulle palstalogon kautta, jolloin: “Jotain meni pieleen”, (ilmoitus palstalta, ei selaimesta). Päivitin sivun ja taas toimii.

Puhtaana arvauksena välimuistikuraa, koska IP on vaihtunut?

Selaimen refresh onkin nyt hyvä idea.

2 tykkäystä

Ping @Rasse

Päivitys

Viisi ja puoli tuntia on mennyt uudessa palvelinympäristössä ja keskustelu on lähtenyt soljumaan. Kiekkoilullinen tapahtumakin osui tähän väliin, kun otteluohjelma muuttui.

Sanoisin, että grace period alkaa olemaan mennyt, koska paluu kello 12:00 aikaan peruuttaisi meitä jo jonkin verran sisällöllisesti taaksepäin.

24.09.2016 asennettiin UpCloudin palvelin “Mikki”, jota on sen jälkeen vähän kasvatettu. Tänään 14.12.2020 on Mikin aika siirtyä eläkkeelle. Tätä syksyä lukuunottamatta palveli hyvin, joten ehkä olisi pitänyt eläköityä esikuvansa kanssa samaan aikaan. :mikki:

Nyt sitten tutkitaan saadaanko tätä hommaa toimimaan kaksikolla “Janne” (web) ja “Juti” (tietokanta). Jos ei, niin sitten pitänee ulkoistaa ongelma Discoursen itsensä ratkaistavaksi.

Huom: Yökyöpelit

Sellainen kovennus on uusilla palvelimilla, että kriittisten päivitysten automaattinen asennus on päällä ja tarpeen vaatiessa serverit boottaavat itsensä kello 02:00 UTC. NHL-miehet ja muut yökyöpelit saattavat asian huomata. Pitää miettiä mikä on järkevin kellonaika tuolle – klo 02 perustuu siihen, että varmuuskopiot ajetaan 01:00.

9 tykkäystä

Eiköhän 02 UTC ole aika lailla optimi. Jotkut katsovat pelit, jotka alkavat kahdelta Suomen aikaa, toiset heräävät katsomaan viideltä alkavia pelejä. Ei liene semmoista aikaa ettei joku ole foorumilla.

Katos, nyt tuli tämmoinen etusivun sijaan:

“Slow down, too many requests from this IP address”

Ennen tuota tuli joku ketjun latausongelma, mutta en sitä ikävä kyllä katsonut tarkemmin. Mutta tuo latausongelma oli jo toinen tänään, pistän raporttia, jos tulee vielä eteen.

1 tykkäys

Molemmat virheet myös mulla. Chromebook laitteena.

1 tykkäys

@a1r6 @pieni_m

Tietokanta jyystää 850.000 kirjoitusta hormit punaisena. Ne voisi ajaa myös hidastetusti, mutta sitten homma kestäisi viikon-pari.

4 tykkäystä

Kovin hitaasti toimii. Ja viesti hissi ei toimi. Android puhelin käytössä.

Ihan normaalisti tuntuu toimivan ilman mitään hidastelua.

1 tykkäys

Sivulle pääseminen vie noin 30 sek. Viestiketjujen aukaisemiseksi joutuu katselemaan pyörivää kirvestä noin 5-10sek. Ja välillä tulee se joku virheilmoitus ettei pääse ollenkaan.

Kyllä CPU kuormat keikkuu tuossa aika lähellä 100% hetkittäin, joten joku yskähdys voi tulla.

Omalla Androidilla toimii hienosti. Ei mitään kangertelua, hyvältä näyttää!

2 tykkäystä

Hatunnosto @ljpp :tunkki: :kannu:
Migraation lisäksi vielä ajankohta osui sikäli hyvin, että kenenkään elämä tuskin siihen kaatuu jos kanta jauhaa juttujaan yhden illan. Ei varmaan mikään herkullisin nakki hoitaa maanantaina, mutta toivotaan, että palkinto tulee ongelmien ratkeamisen muodossa.
:+1:

6 tykkäystä

Suattaapa jauhaa useammankin illan, mutta kun tämä rebake taski tästä menee loppuun, niin sen jälkeen tietokantaoperaatioiden prioriteetti laskee ja loppukäyttäjälle meininkin normalisoituu.

Pitää yrittää nyt laittaa hanaa, että prosessit olisi perjantaina valmiit. Yllättävän hitaaksi hommat menee kun tietokannan koko kasvaa.

Ongelmien en edes odota vielä ratkeavan, mutta jos peli(t) näyttäisivät kumpi kahdesta palvelimesta hyytyy, niin sitten voi miettiä paljonko live-chattien pyörittäminen maksaa.

1 tykkäys