Joo, mä sain näköjään systemiltä juuri ilmoituksen jostain syksy 2017 kuvan muokkausesta, joten kyllähän tuossa hetki saattaa vierähtää. 
Jostain syystä alkuvuosien kuvien URL-viittauksen muoto ei ole päivittynyt, vaikka ymmärtääseni olisi pitänyt. Nyt ne sitten toivottavasti tulevat kerralla kuntoon. Myös viestit joissa on onebox-linkki näyttää menevän pitkälti uusiksi.
Käsittely muuttunut Discoursessa vuosien varrella, mutta noi käsitellään takautuvasti vain migraatiossa uuteen ympäristöön?
Juuri tästä on kysymys. Monenkin asian formaatti on muuttunut moneen kertaan. Varmuuskopion palautuksessa ne triggeroituvat (uudestaan) käsiteltäväksi.
Sitten kuvien thumbnail-versiot on jätetty backupista pois, koska ne voi generoida uudestaan. Jälkikäteen ajaltetuna, ne olisi ehkä kannattanut siirtokopioon jättää mukaan, koska kuvien käsittely kuormittaa ja on hidasta.
Toisaalta tuleepa kunnolla requesteja nyt purkeille ja tavallaan synteettinen stressitesti. Ei ainakaan näytä muistit loppuvan kesken, tai muuta sellaista isompaa konfiguraatiovirhettä.
2 tykkäystä
Viesti siirrettiin ketjuun: DISCOURSE: Live-seurannan päivitysviive ruuhkahuipuissa
Tietokannan rankempi leipominen (posts:rebake) meni odotetusti yön pikkutunneilla läpi, eikä enää kuormita palvelinta. Sen tuloksena syntyi kuitenkin vajaat 1.000.000 tehtävää (jobs) tuonne työjonoon, ja niitä tämä nyt ruksuttelee matalalla prioriteetilla.
Jonossa näyttäisi olevan vielä reilut 560.000 jobia ja systeemi rouskuttaa niitä noin 600 jobia minuutissa. Siitä voi laskea kauanko kestää, että jono on tyhjä
Eli ~50% kuormituksella koneet edelleen, vaikka yhteisössä onkin hiljaista.
9 tykkäystä
15 h 33 min (Paljastaa paljonko meikäläisellä on mielekästä tekemistä juuri nyt)
4 tykkäystä
378.000 olisi vielä jonossa ja tahti on 100-160 jobia per 10 sekuntia.
Sitten kun tämä tunkkaaminen joskus loppuu, niin itse asiassa päivityskatkokset lyhenevät. Ennenhän se oli noin 15min kun ajoi päivitykset ja sitä tehtiin suunnilleen kerran kuussa.
Nyt kun palvelimia on kaksi, onnistuu web-puolen päivitys noin 1 minuutin katkosella, jossa rakennetaan rinnalle toinen päivitetty ympäristö ja vaihdetaan lennossa. Tietokantapuolen ympäristöön tulee muutoksia paljon harvemmin, ehkä kerran pari vuodessa - eli Discoursen isojen päivitysten yhteydessä.
Eli alkaa olemaan sellainen köyhän miehen high availablility -ympäristö kasassa. Lisäksi kun kriittiset Linux-päivitykset ajetaan nyt automaattisesti ja yöllisellä boottauksella, niin sekin vähentää huoltokatkosaikaa.
17 tykkäystä
Millä metodilla vedätte noi Linux-päivitykset? Unattended-upgrades?
Juuri sillä.
Ok, toi on ihan hyväksi paljastunut systeemi. Jos kamat on konteissa niin kantsii testata, että ne nousee ylös palvelimen bootin tai docker-kamojen päivityksen jälkeen. Palvelimen booteista pääsee Ubuntussa aika pitkälti eroon Canonical livepatchilla.
2 tykkäystä
Vauhti on hidastunut, koska edelleen on 112.000 jobia tekemättä – tai sittne niitä tulee edelleen lisää. Nyt näyttää päässeen noiden vanhojen kuvien kimppuun, sillä itselleni tulee ilmoituksia system tekemistä muokkauksista.
Tuntumalla kirves pyörii sivujen välillä loppukäyttäjälläkin hieman pitemmän aikaa. Voi olla ihan kuvitelmaakin, ainakaan omassa yhteydessä ei näy poikkeavuutta. Nyt sivu taas vaihtuu tutumpaa vauhtia. Kai siellä oli isoja kuvia jonossa.
Load average keikkuu edelleen tuolla ~2.4 tasoissa, eli aikas korkealla. Humanisteille tiedoksi, että 4-ytimisellä prosessorilla load 4.00 on 100%.
Mutta työjono kyllä lyhenee, sillä enää reilut 40.000 jobia jäljellä.
Edit: Etätyöläisenä olen huomannut että koko netti on vähän raskaalla jalalla tänään. Taitaa etätyö lähestyä 100%:ia kaikille joille se on mahdollista ja infrastruktuuri on kovilla.
1 tykkäys
Jees, mikä olisikaan business-kriittisempää kuin meidän keskustelut! Nyt vaan Disaster recovery - prosessin suunnitteluun ja testaukseen palstalaisten joukolla. Ja voit tuplata jäsenmaksut 
2 tykkäystä
Nyt on hyvin pitkällä suunitelma siitä, että infrastruktuurin ylläpito ulkoistetaan.
- Discourse on nykyään isoa bisnestä ja heillä on maailmanluokan asiakkaita
- Heitä kiinnostaa meidän käyttötapaus, eli haluavat nähdä miten koodinsa toimii chat-tyyppisissä kuormituspiikeissä. Kuten olemme huomanneet, tämä on itsepalvelukäyttäjälle melkoinen haaste.
- Discourse tarjosi heidän Enterprise palveluaan alennettuun, mutta silti arvokkaaseen hintaan.
Nyt jos asiat menevät kuten on keskusteltu, niin 21.01.2021 illalla klo 20:00 laitan tämän lukutilaan, otan varmuuskopion ja toimitan sen heidän USA:n tiimille. Tästä seuraa pidempi tauko “vain lukutilassa”, sillä välin kun purkavat varmuuskopion sisällön ja asentavat sen omaan ympäristöönsä. Kun kaikki on valmista, ohjataan domain Discoursen palvelimelle ja sivuston normaali toiminta palautuu.
Huono puoli tässä on, että menetämme kyvyn hallita ohjelmistoa ja rautaa, vaan ne tulevat annettuna. Tämä on ollut itselle varsin opettavainen reilun viiden vuoden (
) projekti. Toisaalta nyt on selvää, että joko Discoursessa itsessään on järjestelmätason vikaa tai kuormituspiikkien aiheuttamat “jumitukset” eivät ole harrasteluresursseilla ratkaistavissa. Niin tai näin, tällä järjestelyllä ohjelmiston kehittäjät saavat vuorostaan tutkia missä ongelma piilee ja me voimme hetken aikaa keskittyä jääkiekkoon. Nyt koronakaudella kuormitus ja kysyntä tälle palvelulle on poikkeuksellisen voimakasta.
Tämä ratkaisu ei välttämättä ole ikuinen, tai en ainakaan itse luota sen varaan. Pitää käyttää ulkoistuksen suoma hengähdystauko sen miettimiseen, miten tätä mahdollisesti operoidaan tulevaisuudessa jälleen itse.
Tiedoksi @henkilokunta, @luottamustaso_4, @luottamustaso_3
28 tykkäystä
Hyvä tietää. Ilmoittelen tuonne yhteisöpelin ketjuun, että siirrämme pelipäivän päätöstä, joka on kai laskettavissa jonkinlaiseksi piikiksi.
7 tykkäystä
Tuli sellainen mieleeni, että kannattaa etukäteen asiasta ilmoittaa kaikille. Koska huomenna klo 20.00 on käynnissä jännitysnäytelmä Saipa-Tappara ja varmasti on porukkaa palstalla pyörimässä. Eli tuon mukaan seuranta olisi poissa käytössä klo 20.00 eteenpäin…
Ah, ei tietenkään huomenna vaan 21.01 – luin kalenteria väärin. Tämä suunniteltiin nimenomaan tuon viikon pelitauon kohdalle (jos joku menee pieleen) ja otteluohjelman vatulointi on viivästyttänyt asiaa. Kiitos korjauksesta! 
Ping @Armas
11 tykkäystä
Pyöriikö saitti siis jatkossa Discoursen jenkkien datakeskuksessa?
Mites viivepuoli on kunnossa tuon suhteen? Entä miten nopean tuen olette neuvotelleet heidän kanssaan vikatapauksissa? Jenkeissä taitaa olla yö kun täällä on peli ja pannu käy kuumana.
Mites toi GDPR? Onko meidän eurooppalaisten käyttäjien tietojen siirto jenkkeihin tuosta vaan ok?