AWS బిల్లింగ్ లోపం భారీ తప్పుడు ఖర్చు పెరుగుదలను ప్రేరేపించింది

AWS కస్టమర్లు అసాధ్యమైన బిల్లులను చూశారు, కానీ ఇన్వాయిస్‌లు ప్రభావితం కాలేదని అమెజాన్ చెబుతోంది

జూలై 16, జూలై 17 తేదీలలో AWS కస్టమర్లు వాస్తవానికి సంబంధం లేనట్టుగా కనిపించిన బిల్లింగ్ గణాంకాలను చూస్తూ సమయం గడిపారు. నివేదికల్లో పేర్కొన్న స్క్రీన్‌షాట్లు మరియు కస్టమర్ ఖాతాల్లో, సాధారణ క్లౌడ్ ఛార్జీలు బిలియన్లకు,甚至 ట్రిలియన్ల డాలర్లకు కూడా పెరిగినట్లుగా కనిపించాయి. మౌలిక సదుపాయాల కోసం AWS‌పై ఆధారపడే కంపెనీలు మరియు వ్యక్తులకు, ఈ సంఘటన క్లౌడ్ బిల్లింగ్ వ్యవస్థలు నివారించాల్సిన రకమైన షాక్‌ను ఇచ్చింది.

మూల పాఠ్యం ప్రకారం, సమస్య ఇప్పుడు పరిష్కరించబడిందని, పెరిగిన మొత్తాలు వాస్తవ కస్టమర్ ఇన్వాయిస్‌లను ప్రభావితం చేయలేదని అమెజాన్ తెలిపింది. బదులుగా, సమస్య అంచనా వేసిన ఖర్చు మరియు వినియోగ డేటాను, అలాగే బడ్జెట్ మరియు ఖర్చు అనోమలీ గుర్తింపు అలర్ట్లను ప్రభావితం చేసింది. ఆ తేడా ముఖ్యమైనదే, కానీ ఒక పరిమితి వరకు మాత్రమే. క్లౌడ్ ఆపరేషన్లలో, అంచనా బిల్లింగ్ డేటా కేవలం అందాన్ని పెంచే లక్షణం కాదు. అది ఒక నియంత్రణ ఉపరితలం. ఖర్చును పర్యవేక్షించడానికి, కాన్ఫిగరేషన్ తప్పులను గుర్తించడానికి, మరియు వర్క్‌లోడ్లను పెంచాలా తగ్గించాలా నిర్ణయించడానికి టీములు దీన్ని ఉపయోగిస్తాయి. ఆ పొర చెడిపోతే, తుది ఇన్వాయిసింగ్ సరైనదిగా ఉన్నప్పటికీ ఆపరేషనల్ పరిణామాలు వేగంగా వ్యాపించవచ్చు.

కస్టమర్లు చూసింది

నివేదించిన ఉదాహరణలు ఈ ఘటన ఎందుకు అంత తీవ్రంగా తాకిందో చూపిస్తాయి. ఒక వినియోగదారు $1.4 ట్రిలియన్ కంటే ఎక్కువగా కనిపించిన ఛార్జ్‌ను, నెలవారీగా వందల బిలియన్ల శాతం పెరుగుదలతో పాటు పోస్ట్ చేశాడు. రిపోర్టింగ్‌లో పేర్కొన్న మరో ఖాతాలో, ఒక బిల్ ఒక డాలర్‌కంటే తక్కువ నుంచి బిలియన్లకు ఎగబాకినట్లు కనిపించింది. అనుభవం ఉన్న క్లౌడ్ వినియోగదారులు ఇది తప్పు అని అనుమానించినా, మొదటి ప్రభావం అదే: వెంటనే అలారం, అంతర్గత ఎస్కలేషన్, మరియు ఈ సంఖ్యలు భద్రతా ఉల్లంఘన, అదుపుతప్పిన సేవ, లేదా బిల్లింగ్ సిస్టమ్ వైఫల్యాన్ని సూచిస్తున్నాయా అని నిర్ధారించడానికి ఖర్చైన సమయం.

ఆ అనిశ్చితి ఈ కథలో ప్రధాన భాగం. ఆధునిక క్లౌడ్ పరిసరాల్లో, పెద్ద అనూహ్య ఛార్జీలు తీవ్రమైన సాంకేతిక లేదా భద్రతా సమస్యల లక్షణాలు కావచ్చు. విఫలమైన ఆటోమేషన్ పైప్‌లైన్, తప్పుగా కాన్ఫిగర్ చేసిన స్టోరేజ్, లేదా దుర్వినియోగమైన క్రెడెన్షియల్స్ వాస్తవ ఖర్చు విస్ఫోటనాలను సృష్టించగలవు. ఆ సందర్భాలు సాధ్యమైనవే కాబట్టి, కస్టమర్లు తీవ్రమైన అనోమలీలను నిర్లక్ష్యం చేయలేరు. వాటిని పరిశీలించాల్సిందే, తరచూ అత్యవసరంగా.

మూల పాఠ్యంలో పేర్కొన్న నివేదికలు, ఏమి జరిగిందో తెలుసుకోవడానికి వినియోగదారులు సపోర్ట్‌ను సంప్రదించి తమ ఖాతాలను లోతుగా పరిశీలించినట్లు చెబుతున్నాయి. ఆ స్పందన సమంజసమైనదే. క్లౌడ్ పరిధి ఎంత పెద్దదైతే, షాకింగ్ సంఖ్య కేవలం డిస్‌ప్లే బగ్ మాత్రమే అని అనుకోవడానికి అంత తక్కువ స్థలం ఉంటుంది. ఫైనాన్స్ టీమ్స్, ఇంజనీరింగ్ నేతలు, మరియు మేనేజ్డ్-సర్వీస్ ఆపరేటర్లకు, తప్పుడు స్పైక్ కూడా నిజమైన పనిని ప్రారంభించగలదు.

కాన్ఫిగరేషన్ వైఫల్యాన్ని సూచిస్తున్న అమెజాన్ వివరణ

మూల పదార్థంలో సంక్షిప్తంగా చెప్పిన అమెజాన్ వివరణ, AWS బిల్లింగ్ వ్యవస్థలో జరిగిన ఒక తప్పు కాన్ఫిగరేషన్ మార్పుపై కేంద్రీకృతమైంది. ప్రభావిత వ్యవస్థ లైన్-అంశ ఛార్జీలను లెక్కించడానికి యూనిట్ కన్వర్షన్ డేటాపై ఆధారపడుతుందని కంపెనీ తెలిపింది. ఆ కాన్ఫిగరేషన్ మార్పు ఆ కన్వర్షన్ డేటాకు చేసిన అప్‌డేట్లు విఫలమయ్యేలా చేసింది, దాంతో లైన్-అంశ ఖర్చులు పెరిగాయి. ఆ పెరిగిన విలువలు Billing and Cost Management console అంతటా వ్యాపించాయి మరియు బడ్జెట్, అనోమలీ అలర్ట్లను ప్రేరేపించాయి.

ఈ వివరణ రెండు కారణాల వల్ల ముఖ్యమైనది. మొదట, ఇది కేవలం యూజర్-ఇంటర్‌ఫేస్ బగ్ కాకుండా, ప్రదర్శన మరియు పర్యవేక్షణ కోసం ఛార్జీలు ఎలా లెక్కించబడ్డాయో అన్న దాని లోతైన డేటా-పాత్ సమస్యని సూచిస్తుంది. రెండవది, కస్టమర్లు ఆధారపడే ఆటోమేషన్ మరియు అలర్టింగ్ వ్యవస్థలతో క్లౌడ్ బిల్లింగ్ వీక్షణలు ఎంత గట్టిగా అనుసంధానించబడ్డాయో చూపిస్తుంది. తప్పు లైన్-అంశ ఖర్చులు స్ట్రీమ్‌లోకి వచ్చాక, తరువాతి టూల్స్ వాటిని అర్థవంతమైన సంకేతాలుగా పరిగణించాయి.

మూల పాఠ్యం AWS service health dashboard‌లోని లాగ్స్ ప్రకారం, కంపెనీ సమస్యపై సుమారు రెండు రోజుల పాటు పని చేసిన తర్వాతనే దానిని పూర్తిగా పరిష్కరించబడిందని గుర్తించిందని కూడా పేర్కొంటుంది. ఆ టైమ్‌లైన్ సమస్య తేలికపాటిదో లేదా వెంటనే తిరగదొర్లేంత సులభమో కాదని సూచిస్తుంది. AWS వంటి పెద్ద ప్లాట్‌ఫామ్‌లో, పరిమితమైన బిల్లింగ్ అనోమలీ కూడా సాధారణ విలువలు తిరిగి స్థాపించబడేలోపు అనేక వ్యవస్థలు, నివేదికలు, మరియు కస్టమర్ వర్క్‌ఫ్లోలను తాకగలదు.

ఇది అవమానానికి మించి ఎందుకు ముఖ్యం

ఒక స్థాయిలో, ఈ కథను అద్భుతమైన గ్లిచ్‌గా ఫ్రేమ్ చేయడం సులభం: అసాధ్యమైన సంఖ్యలు, భయభ్రాంతి స్పందనలు, మరియు తప్పు కాన్ఫిగరేషన్ మార్పును చూపే పోస్ట్‌మార్టమ్. కానీ మరింత ముఖ్యమైన కోణం విశ్వాసం. క్లౌడ్ ప్లాట్‌ఫారమ్‌లు కస్టమర్లను కేవలం కంప్యూట్, స్టోరేజ్ మాత్రమే కాదు, దృశ్యమానతను కూడా అవుట్‌సోర్స్ చేయమని అడుగుతాయి. డాష్‌బోర్డ్లు, అలర్ట్లు, మరియు ఖర్చు-నిర్వహణ టూల్స్ సేవలో భాగమే. ఆ పరికరాలు నమ్మదగనివిగా మారితే, తాత్కాలికంగానే అయినా, వాస్తవాన్ని చేతితో తిరిగి నిర్మించాల్సిన భారమంతా కస్టమర్లపైకి మారుతుంది.

అది స్వయంగా ఖర్చుతో కూడుకున్నది. ఫైనాన్స్ టీములు ఆమోదాలను నిలిపివేయవచ్చు. ఇంజనీర్లు విడుదలలను ఆలస్యం చేయవచ్చు. ఆపరేటర్లు సపోర్ట్ కేసులు తెరిచి అత్యవసర సమీక్షలు నిర్వహించవచ్చు. ఖర్చు అనోమలీ వ్యవస్థలో తప్పుడు పాజిటివ్, ముఖ్యంగా కఠినమైన పాలన లేదా పరిమిత సిబ్బంది ఉన్న సంస్థలకు, కొలవగల ఆపరేషనల్ ట్యాక్స్‌ను సృష్టించగలదు.

ఈ ఘటన క్లౌడ్ నిర్ణయాలలో బిల్లింగ్ టెలిమెట్రీ కేంద్ర పాత్రను కూడా హైలైట్ చేస్తుంది. అధిక ఖర్చును నివారించడానికి కంపెనీలు ఆటోమేటెడ్ బడ్జెట్లు మరియు అనోమలీ థ్రెషోల్డ్‌లను ఎక్కువగా ఉపయోగిస్తున్నాయి. ఆ టూల్స్ అంతర్భూత డేటా ప్రవాహం స్థిరంగా ఉన్నప్పుడు మాత్రమే ప్రభావవంతంగా ఉంటాయి. ప్లాట్‌ఫామ్ వైపు పొరపాటు విస్తారమైన తప్పుడు స్పైక్‌లను సృష్టించగలిగితే, భవిష్యత్తు ఘటనల్లో ఆటోమేటెడ్ అలర్ట్లకు ఎంత అధికారం ఇవ్వాలో కస్టమర్లు తిరిగి సర్దుబాటు చేయాల్సి రావచ్చు.

క్లౌడ్ కస్టమర్లకు ప్రాయోగిక పాఠం

పెరిగిన గణాంకాలు తప్పు అని, ఇన్వాయిస్‌లను ప్రభావితం చేయలేదని అమెజాన్ చెబుతోంది, అందువల్ల ఈ ఘటన వల్ల ప్రత్యక్ష ఆర్థిక నష్టం పరిమితంగా ఉండాలి. అయినప్పటికీ, ఖర్చుల చుట్టూ ఉన్న పరిశీలన uptime లేదా performance చుట్టూ ఉన్న పరిశీలనకు ఇచ్చే అదే అనుమానం మరియు రిజిలియెన్స్ ప్లానింగ్‌కు అర్హం అన్న దానికి ఈ ఘటన గుర్తు.

AWS కస్టమర్లకు, ప్లాట్‌ఫారమ్‌ను మొత్తం అనుమానించడమే పాఠం కాదు, కానీ ఖర్చు పర్యవేక్షణలో single-source ఆధారపడటాన్ని నివారించడం. అంతర్గత cross-checks, చారిత్రక baselines, మరియు escalation procedures బిల్లింగ్ అనోమలీలు కనిపించినప్పుడు గందరగోళాన్ని తగ్గించగలవు. తీవ్రమైన విలువలను ఇంకా వేగంగా పరిశీలించాలి, కానీ స్పైక్ నిజమా కాదా నిర్ణయించడానికి టీములకు ఒకటి కంటే ఎక్కువ మార్గాలు ఉన్నప్పుడు ప్రయోజనం ఉంటుంది.

అమెజాన్‌కు, ప్రమాణం ఇంకా ఎక్కువ. బిల్లింగ్ ఖచ్చితత్వం కేవలం తుది ఇన్వాయిస్ గురించి మాత్రమే కాదు. కస్టమర్లు తమ సిస్టమ్‌లను రోజూ నియంత్రించడానికి ఉపయోగించే మధ్యంతర సంకేతాల సమగ్రత కూడా దానిలో ఉంది. ఆ అర్థంలో, జూలై నెల తప్పుడు ఖర్చు పెరుగుదల ఒక విచిత్రమైన డాష్‌బోర్డ్ క్షణం కంటే ఎక్కువ. అది క్లౌడ్‌లోని అత్యంత ముఖ్యమైన నియంత్రణ ప్యానెల్‌లలో ఒకదానిపై కస్టమర్లు ఎంత నమ్మకం ఉంచగలరో అన్న దానికి ఒక stress test అయింది.

ఈ వ్యాసం Gizmodo నివేదిక ఆధారంగా ఉంది. మూల వ్యాసాన్ని చదవండి.