Hei
Tänään meidän valokuitu on kokonaan poikki ja kun suoritin vian määrityksen niin tuli, että dns palvelin ei vastaa mikä on vialla?
Sivu 2 / 2
MITEN HYVITÄTTE ASIAKKAILLE TÄMÄN OMAN FLOPPINNE: MUISTAKAA LAITTAA TÄYSIMÄÄRÄINEN LASKU ASIAKKAILLE; JOTKA EIVÄT SAANEET SITÄ PALVELUA MISTÄ OVAT MAKSANEET!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
@snow28@ kirjoitti:
Voi antaa Telialle pari vinkkiä, koska tämä sama episodi kävi Elisallekin v. 2014, hieman vain eri muodossa:
https://yle.fi/uutiset/3-7653883
Suosittelen seuraavia asioita Telian vakavasti pohtimaan:
- Onko liian riskialtista, että Telia Finland käyttää vain yhtä Upstream-palveluntarjoajaa eli Telia Carrieria. Telia Carrier on Tier-1 operaattori. Ymmärrän, että kun Telia Carrier on samaa konsernia niin Telia Finland säästää isot rahat kun eivät osta maksullisia upstream-yhteyksiä keneltäkään (okei korkeintaan konsernin sisäistä laskutusta). Mutta siinä tilanteessa, jos Telia Finland menettää upstream-yhteydet Telia Carrieriin tai Telia Carrieriella tulee paha vika Suomessa, TeliaFI on ilman ulkomaanyhteyksiä
- Reitittimiä on oltava tämän tasoisella palveluntarjoajalla ainakin kolmessa eri konesalissa ja niissä ihan vähintäänkin kahdennettuna ja ne on jatkuvasti testattava, että yhteydet toimivat. Ei niin, että kerran vuodessa testataan reittien vaihtoa. Infrastruktuurin suunnittelussa on pahasti vikaa, jos varayhteyksien ja laitteiden toimivuudesta myös varayhteyksillä ei ole 100% varmuutta.
- DNS-palvelimet hyytyivät lähinnä sen takia, että rekursiot eivät menneet perille, eli kaikki nimikyselyt, jotka eivät löytyneet palvelimien cachesta lähtivät maailmalle eteenpäin eivätkä ikinä saaneet vastauksia. Tämä kuormittaa valtavasti palvelimia ja aiheuttaa pahoja time-outteja. DNS-palvelimien ulkomaanyhteydet on ehdottomasti varmistettava myös muulla tavoin, kuin pelkästään Telia Carrierin ulkomaan yhteyksillä! Ilman DNS-ongelmia viat olisivat korjaantuneet jo 3 tunnissa. Nyt siihen meni ainakin tuplasti aikaa.
- DNS-palvelimet on voitava laittaa cache-only tilaan, jolloin pahassa tilanteessa, jossa ulkomaanyhteydet on menetetty ja näyttää siltä, että ne eivät palaudu heti pitää voida tarjota DNS-palautteet jo cachesta löytyville hauille. Muut haut hylätään. Tällöin todennäköisesti lähes kaikki käytetyimmät palvelut Suomessa olisivat toimineet lähes normaalisti. Toki moni sivusto valitettavasti käyttää nettisivuillaan sisältöä, jotka ladataan ulkomaisilta palvelimilta. Mutta suosittelen kyllä toteuttamaan asian edellisen vaihtoehdon mukaisesti
- Telia ja muut suomalaiset operaattorit ja vaikuttajatahot olisi syytä yrittää houkutella Google Suomeen peeraamaan operaattorien kanssa, nyt kaikki Googlen liikenne menee aina Suomesta Ruotsiin (pl. operaattorien youtube cachepalvelimet jne.) ja olemme liian riippuvaisia ulkomaanyhteyksistä. Google toimii isosti Haminassa ja vaikkakin Suomi on pieni markkina-alue, on silti hämmästyttävää, että tätä asiaa ei ole saatu sovittua jotenkin Googlen kanssa kuntoon suomalaisten operaattorien kanssa
Hyviä pointteja! Uskon itse että vian johdosta meillä vakaasti harkitaan ja toteutetaan toimenpiteitä joilla vastaavat tilanteet estetään tapahtumasta tai niiden asiakasvaikutusta minimoidaan. Tämä on myös hyvä aika meillä tarkistaa prosessit miten häiriöitä korjataan ja niistä tiedotetaan. Aivan varmasti paljon tulee sisäisesti meille muuttumaan 25.4 häiriön myötä.
Pitääkö paikkaansa et sivujen ip osoitteilla olisin päässy sivuille
@MMALINEN@ kirjoitti:Pitääkö paikkaansa et sivujen ip osoitteilla olisin päässy sivuille
Kyllä ja ei.
Monet suomalaisetkin palvelut pyörivät ulkomaalaisilla palvelimilla, joten niille ei vian aikana olisi päässyt. Esimerkiksi Kauppalehti käyttää Cloudfrontin palveluita, joka ei kuulosta kovin suomalaiselle.
Toinen asia on, että yksi www-palvelin palvelee usein useita sivustoja. Esimerkiksi Kauppalehteä et saa auki osoittella https://13.33.18.82/, mutta jos olisit lisännyt käyttöjärjestelmäsi hosts-tiedostoon rivit
13.33.18.82 kauppalehti.fi
13.33.18.80 www.kauppalehti.fi
niin olisit päässyt Kauppalehteen heti Telian ulkomaanyhteyksien palauduttua.
Hosts-tiedoston ylläpito käsin on kuitenkin käytännössä liian hankalaa, sillä jo ensi viikolla Kauppalehden pilvi on voinut siirtyä toiseen osoitteeseen.
Hosts tiedoston muokkaamista parempi vaihtoehto on määritellä käyttöjärjestelmääsi useita vaihtoehtoisia nimipalvelimia, DNS. Esimerkiksi yhdistelmällä 193.210.18.18, 1.1.1.1, 208.67.222.222, 8.8.8.8 ja 9.9.9.9 käytät jo viiden eri yrityksen palvelimia.
@KaPetri@ kirjoitti:
@snow28@ kirjoitti:Voi antaa Telialle pari vinkkiä, koska tämä sama episodi kävi Elisallekin v. 2014, hieman vain eri muodossa:
https://yle.fi/uutiset/3-7653883
Suosittelen seuraavia asioita Telian vakavasti pohtimaan:
- Onko liian riskialtista, että Telia Finland käyttää vain yhtä Upstream-palveluntarjoajaa eli Telia Carrieria. Telia Carrier on Tier-1 operaattori. Ymmärrän, että kun Telia Carrier on samaa konsernia niin Telia Finland säästää isot rahat kun eivät osta maksullisia upstream-yhteyksiä keneltäkään (okei korkeintaan konsernin sisäistä laskutusta). Mutta siinä tilanteessa, jos Telia Finland menettää upstream-yhteydet Telia Carrieriin tai Telia Carrieriella tulee paha vika Suomessa, TeliaFI on ilman ulkomaanyhteyksiä
- Reitittimiä on oltava tämän tasoisella palveluntarjoajalla ainakin kolmessa eri konesalissa ja niissä ihan vähintäänkin kahdennettuna ja ne on jatkuvasti testattava, että yhteydet toimivat. Ei niin, että kerran vuodessa testataan reittien vaihtoa. Infrastruktuurin suunnittelussa on pahasti vikaa, jos varayhteyksien ja laitteiden toimivuudesta myös varayhteyksillä ei ole 100% varmuutta.
- DNS-palvelimet hyytyivät lähinnä sen takia, että rekursiot eivät menneet perille, eli kaikki nimikyselyt, jotka eivät löytyneet palvelimien cachesta lähtivät maailmalle eteenpäin eivätkä ikinä saaneet vastauksia. Tämä kuormittaa valtavasti palvelimia ja aiheuttaa pahoja time-outteja. DNS-palvelimien ulkomaanyhteydet on ehdottomasti varmistettava myös muulla tavoin, kuin pelkästään Telia Carrierin ulkomaan yhteyksillä! Ilman DNS-ongelmia viat olisivat korjaantuneet jo 3 tunnissa. Nyt siihen meni ainakin tuplasti aikaa.
- DNS-palvelimet on voitava laittaa cache-only tilaan, jolloin pahassa tilanteessa, jossa ulkomaanyhteydet on menetetty ja näyttää siltä, että ne eivät palaudu heti pitää voida tarjota DNS-palautteet jo cachesta löytyville hauille. Muut haut hylätään. Tällöin todennäköisesti lähes kaikki käytetyimmät palvelut Suomessa olisivat toimineet lähes normaalisti. Toki moni sivusto valitettavasti käyttää nettisivuillaan sisältöä, jotka ladataan ulkomaisilta palvelimilta. Mutta suosittelen kyllä toteuttamaan asian edellisen vaihtoehdon mukaisesti
- Telia ja muut suomalaiset operaattorit ja vaikuttajatahot olisi syytä yrittää houkutella Google Suomeen peeraamaan operaattorien kanssa, nyt kaikki Googlen liikenne menee aina Suomesta Ruotsiin (pl. operaattorien youtube cachepalvelimet jne.) ja olemme liian riippuvaisia ulkomaanyhteyksistä. Google toimii isosti Haminassa ja vaikkakin Suomi on pieni markkina-alue, on silti hämmästyttävää, että tätä asiaa ei ole saatu sovittua jotenkin Googlen kanssa kuntoon suomalaisten operaattorien kanssa
Hyviä pointteja! Uskon itse että vian johdosta meillä vakaasti harkitaan ja toteutetaan toimenpiteitä joilla vastaavat tilanteet estetään tapahtumasta tai niiden asiakasvaikutusta minimoidaan. Tämä on myös hyvä aika meillä tarkistaa prosessit miten häiriöitä korjataan ja niistä tiedotetaan. Aivan varmasti paljon tulee sisäisesti meille muuttumaan 25.4 häiriön myötä.
Telian Timo Saxén vahvisti myös tekemäni analyysini täysin oikeiksi:
@irritus@ kirjoitti:
@finlemon@ kirjoitti:Traceroute meni läpi, mutta sielläkin vastaus kaatui aikakatkaisuun.
Saunalahden nimipalvelin ei taida olla julkinen, eli se vastaa vain Elisan ja Saunalahden liittymistä tuleviin kyselyihin.
@finlemon@ kirjoitti:Ideoita miten näitä nimipalvelinongelmia voisi helpottaa itselle?
25.4.2020 vika onkin vaikea, koska Telialta lähti samanaikaisesti sekä nimipalvelimet että ulkomaanyhteydet. Vian alkuvaiheessa edes Cloudflaren, Googlen tai Quad9 nimipalvelinten käyttö ei auttanut, sillä niihin ei saanut yhteyttä ulkomaanyhteyksien ollessa poikki.
Tällä kertaa helpotusta olisi tuonut kotimainen julkinen nimipalvelin. Mahtaakohan sellaisia olla tarjolla?
Toinen helpotus on kotimainen vpn-palvelu, johon yhteys on määritelty ip-osoittella verkkotunnuksen sijaan. Sellaisen kautta olisit ehkä saanyt säilytettyä yhteytesi, olettaen toki, että itse vpn-palvelusta on ulkomaanyhteydet reititetty jotakin muuta kuin Telian kautta.
Niin...Cloudflare löytyy Helsingistä, mutta Telian yhteydet sinne menevät Telia Carrierin kautta -> ei siis voinut toimia. Googlen lähimmät nimipalvelimet löytyvät Ruotsista -> eivät voineet toimia. Quad9 nimipalvelin löytyy Tampereen Internet Exchangesta, mutta Telialla ei yhteyksiä sinne, joten lähin Frankfurtissa -> ei voinut toimia.
Onneksi näitä on ERITTÄIN harvoin!
Mulla on ollut kiinteä liittymä Telen ajoista asti (ADSL, VDSL ja nyt kuitu) ja koskaan aiemmin ei ole ollut näin pahaa katkosta. Lyhempiä on joskus ollut ja/tai sellaisia että niistä on ilmoitettu hyvissä ajoin ennakkoon. Pahinta on jos IP-osoitteet pääsevät vaihtumaan katkoksen takia. Sitä ei tällä kertaa onneksi tapahtunut.
Ainoa parannusehdotus on että voisitte laittaa vikailmoituksen heti, ihan turhaan nimittäin etsin omista laitteista vikaa - mutta onneksi en alkanut sentään boottailla mitään vaan annoin niiden olla todettuani että yhteys Telian gatewaylle on ok. Lisäksi yritin selvittää että onkohan lasku mennyt maksuun (työnantaja nimittäin hoitaa sen) mutta en päässyt telia.fi sivulla edes katsomaan laskuja. Joten jossain määrin olisi säästynyt vaivaa kun olisi heti nähnyt että vika ei ole omissa laitteissa eikä siinä että työnantaja olisi mokannut laskun kanssa.
Nähtävästi vika siis katkaisi myös Telialaisilta mahdollisuuden päivittää vikailmoitussivua, jotain samaa liittynee siihen ettei laskutietojakaan päässyt katselemaan?
Sain tietää viasta vasta, kun virittelin toisen operaattorin mobiililaajakaistan pystyyn ja Telia myönsi ongelman Facebookissa. Siinä vaiheessa vika oli ollut päällä jo 147 minuuttia!
ISO plussa siitä, että DHCP-palvelu toimi koko häiriön ajan normaalisti eli IP-osoitteet eivät vaihtuneet!! Siitä olisikin ollut sitten jo isompi lisävaiva tiedossa. Myös liikenne omien IP-osoitteiden sekä kotimaisten verkkosivujen välillä taisi pelata koko ajan normaalisti. Pulssi kyllä ehti nousta yli sadan kun totesin että netti katkesi kun ajattelin että nyt sitten meni IP:t.. Mutta nopeasti se myös laski kun totesin että dhcp client uudistaa IP:tä aivan normaalisti.
Kaikki myös palautui itsestään takaisin normaaliksi ilman, että mitään omia laitteita tarvitsi uudelleenkäynnistellä. Reitittimenä on Telian kiinteistökytkimen perässä on ERpro8 ja verkosta vastaa kolme kappaletta Cisco SG300 ja neljä kappaletta SG200 sarjan kytkintä. Tällä kokoonpanolla homma toimii ja etätyöt sujuu.
Kaikenkaikkiaan Telia on kyllä varma operaattori. Heidän nimipalvelimia en tosin ole koskaan käyttänyt kotimaisten operaattoriden harrastaman sensuurin vuoksi ja näköjään sen takia yhteydet alkoivatkin toimia välittömästi, eikä vasta tuntien kuluttua. Mulla on ollut Cloudflare (1.1.1.1 ja 1.0.0.1) käytössä keskitetysti reitittimen + piHole DNS:n kautta. Vian aikana näihinkään ei hetkittäin saanut yhteyttä ja Googlen DNS:aan jota testimielessä pingasin sai vieläkin huonommin. Näinäkin ajanhetkinä liikenne Telian verkon sisällä näytti kulkevan ihan normaalisti.
@SINAD@ kirjoitti:
Onneksi näitä on ERITTÄIN harvoin!
Mulla on ollut kiinteä liittymä Telen ajoista asti (ADSL, VDSL ja nyt kuitu) ja koskaan aiemmin ei ole ollut näin pahaa katkosta. Lyhempiä on joskus ollut ja/tai sellaisia että niistä on ilmoitettu hyvissä ajoin ennakkoon. Pahinta on jos IP-osoitteet pääsevät vaihtumaan katkoksen takia. Sitä ei tällä kertaa onneksi tapahtunut.
Ainoa parannusehdotus on että voisitte laittaa vikailmoituksen heti, ihan turhaan nimittäin etsin omista laitteista vikaa - mutta onneksi en alkanut sentään boottailla mitään vaan annoin niiden olla todettuani että yhteys Telian gatewaylle on ok. Lisäksi yritin selvittää että onkohan lasku mennyt maksuun (työnantaja nimittäin hoitaa sen) mutta en päässyt telia.fi sivulla edes katsomaan laskuja. Joten jossain määrin olisi säästynyt vaivaa kun olisi heti nähnyt että vika ei ole omissa laitteissa eikä siinä että työnantaja olisi mokannut laskun kanssa.
Nähtävästi vika siis katkaisi myös Telialaisilta mahdollisuuden päivittää vikailmoitussivua, jotain samaa liittynee siihen ettei laskutietojakaan päässyt katselemaan?
Sain tietää viasta vasta, kun virittelin toisen operaattorin mobiililaajakaistan pystyyn ja Telia myönsi ongelman Facebookissa. Siinä vaiheessa vika oli ollut päällä jo 147 minuuttia!
ISO plussa siitä, että DHCP-palvelu toimi koko häiriön ajan normaalisti eli IP-osoitteet eivät vaihtuneet!! Siitä olisikin ollut sitten jo isompi lisävaiva tiedossa. Myös liikenne omien IP-osoitteiden sekä kotimaisten verkkosivujen välillä taisi pelata koko ajan normaalisti. Pulssi kyllä ehti nousta yli sadan kun totesin että netti katkesi kun ajattelin että nyt sitten meni IP:t.. Mutta nopeasti se myös laski kun totesin että dhcp client uudistaa IP:tä aivan normaalisti.
Kaikki myös palautui itsestään takaisin normaaliksi ilman, että mitään omia laitteita tarvitsi uudelleenkäynnistellä. Reitittimenä on Telian kiinteistökytkimen perässä on ERpro8 ja verkosta vastaa kolme kappaletta Cisco SG300 ja neljä kappaletta SG200 sarjan kytkintä. Tällä kokoonpanolla homma toimii ja etätyöt sujuu.
Kaikenkaikkiaan Telia on kyllä varma operaattori. Heidän nimipalvelimia en tosin ole koskaan käyttänyt kotimaisten operaattoriden harrastaman sensuurin vuoksi ja näköjään sen takia yhteydet alkoivatkin toimia välittömästi, eikä vasta tuntien kuluttua. Mulla on ollut Cloudflare (1.1.1.1 ja 1.0.0.1) käytössä keskitetysti reitittimen + piHole DNS:n kautta. Vian aikana näihinkään ei hetkittäin saanut yhteyttä ja Googlen DNS:aan jota testimielessä pingasin sai vieläkin huonommin. Näinäkin ajanhetkinä liikenne Telian verkon sisällä näytti kulkevan ihan normaalisti.
Kiitos palautteestasi ja huomioista! HIenoa kuulla, että vian korjaannuttua internetin käyttö jatkui sulavasti. Häiriö toi meille haasteita myös viasta tiedottamiseen, eikä viestintää päästy toteuttamaan parhaalla mahdollisella tavalla. Tilanne analysoidaan tarkasti ja parannetaan jatkoa ajatellen.
Telian netti poikki myös tänään Joensuun keskustassa koko päivän. Mikähän mahtaa olla vialla? Ei löytynyt mielestäni mitään ilmoitusta häiriöstä. Etätyönteko vähän kärsi. Toiv huomenna kunnossa muuten ei pomo tykkää.
Morjesta @Yrjo09 ja Tervetuloa Yhteisöön!
Onko kyse kiinteästä laajakaistasta vai 4G-netistä? Jos sinulla on reititin käytössä niin siinä voisi kokeilla ensimmäisenä sen resetoimista sieltä reset-napista. Jos tämäkään ei auta niin voit ottaa yhteyttä meihin, päästään katsomaan tilannetta tarkemmin.
Ainakin mobiiliverkossa näyttää olevan häiriöitä Joensuussa : https://www.telia.fi/asiakastuki/viat-ja-hairiot/hairiokartat
En tiedä kärsiikö muut tästä ongelmasta. Mutta sen jälkeen kun tämä suurempi vika saatiin korjattua on nettini pätkinyt joka ilta 18-22 välillä jatkuvasti. Jeesus teippi viritelmät laitettu tilalle, ettei kestä enää ns prime timeä? Alue: Turku-.
Morjesta @mive85 ja Tervetuloa Yhteisöön!
Onko kyse 4G-netistä vai kiinteästä? Korjasimme tuon laajemman häiriön jo saman päivän aikana joten siitä se ei varmastikaan johdu. Oletko kokeillut reitittimen resetointia tai jos sinulla on 4G käytössä niin esimerkiksi 4G-lukituksen tekemistä? Nämä yleensä auttavat näissä tilanteissa.
@mive85@ kirjoitti:En tiedä kärsiikö muut tästä ongelmasta. Mutta sen jälkeen kun tämä suurempi vika saatiin korjattua on nettini pätkinyt joka ilta 18-22 välillä jatkuvasti. Jeesus teippi viritelmät laitettu tilalle, ettei kestä enää ns prime timeä? Alue: Turku-.
Eipä ole ollut mitään kuvailemasi kaltaisia ongelmia sen laajan katkoksen jälkeen, kuten ei sitä ennenkään. Ihan samalla tavalla toimii kuin aina, täydet nopeudet mihin tahansa aikaan vuorokaudesta ja katkoksia ei ole. Usein erilaiset ongelmat liittyvät mobiililaajakaistaan (4G) tai joissakin tapauksissa kaapeli-tv verkkoon perustuviin yhteyksiin, näiden kanssa riittää riesaa oli sitten mikä hyvänsä operaattori kyseessä.
Vastaa
Rekisteröidy
Onko sinulla jo tili? Kirjaudu sisään
Enter your E-mail address. We'll send you an e-mail with instructions to reset your password.