Comunicato - disservizio del 18-03-2014

Nel mentre stanno proseguendo e progressivamente concludendo le operazioni di ripristino dei servizi, proseguono anche le indagini tese ad individuare cause e responsabilità dell'avvenuto.

Per tale motivo non possiamo fornire ancora dettagli sulle cause precise del disservizio, ma tuttavia le prime verifiche sembrano confortare il fatto che a noi non si possa imputare alcuna responsabilità in termini di carenze di sicurezza o di infrastruttura: le responsabilità effettive (ed anche penali) vanno ricercate al di fuori della nostra azienda e delle sue infrastrutture.

Ciò da un lato ci rincuora, ma non ci assolve da una responsabilità morale dell'accaduto: anche se nulla di più di ciò che avevamo messo in atto poteva esser fatto per scongiurare questo disservizio, ed anche se abbiamo sostenuto in questi giorni costi notevolissimi per ripristinare il servizio nel minor tempo possibile, parte delle conseguenze sono state ovviamente sofferte anche dai nostri clienti.

Le conseguenze maggiori sono state patite dagli utenti dei piani di hosting shared, soprattutto sui piani low cost (Basic Illimitato Windows, Basic Illimitato Linux, Hosting Wordpress, Piani Fracto), alcuni dei quali tuttora non hanno il proprio sito on-line.
In misura solo temporalmente minore, il problema è stato sofferto anche dagli utenti dei piani Hosting Pro; trattandosi per lo più di siti aziendali e di ecommerce, il danno conseguente è però ovviamente maggiore rispetto ai piani "Basic".

A tutti i nostri utenti di Hosting Shared intendiamo quindi porre concretamente le nostre scuse, omaggiandoli del prolungamento gratuito di un mese del proprio servizio di hosting.

Nei prossimi giorni quindi gli utenti coinvolti da disservizi potranno verificare sul pannello di controllo che la scadenza del proprio servizio di hosting verrà posticipata gratuitamente di un mese rispetto alla normale scadenza contrattuale.

Ciò si applicherà a tutti gli utenti dei seguenti piani:
Hosting Basic Windows
Hosting Basic Linux
Hosting Basic Windows + Linux
Hosting Pro Windows
Hosting Pro Linux
Fracto, Fracto 2 e Fracto Pro Windows
Fracto, Fracto 2 e Fracto Pro Linux
Hosting WordPress

Gli utenti di servizi dedicati (VPS CronusCloud, CronusMail, SMTP dedicati) che hanno subito disservizi saranno nei prossimi giorni contatti individualmente.

Completato il ripristino dei servizi mysql

Confermiamo che si è completato il ripristino di tutti i server mysql per i servizi di hosting basic shared, che sono adesso nuovamente operativi.

Funzionalità servizi Posta Elettronica Certificata PECpro

Comunichiamo che tutti i servizi di Posta Elettronica Certificata PECpro da noi erogati funzionano regolarmente, e che non sono stati minimamente affetti dal disservizio del 18 marzo scorso.

Segnaliamo solo un disservizio in merito all'URL di accesso alla webmail webmail.pecpro.it; in alternativa a questo, è possibile utilizzare webmail.pec.it

Tutti i servizi PECpro (accessi POP3, IMAP, SMTP) funzionano ed hanno sempre funzionato regolarmente.

ripristino servizi hosting basic

Già da alcune ore sono in atto le operazioni di restore dei servizi di hosting basic (Hosting Basic Windows, Hosting Basic Linux, piani Fracto).

Trattandosi di operazioni che coinvolgono una rilevante quantità di dati (dell'ordine di diverse decine di terabyte), non ci è possibile fornire stime sui tempi di riattivazione dei singoli servizi. Si sta operando in modo da ridurre al minimo i tempi del restore, ma anche osservando le necessarie ed indispensabili procedure di sicurezza collegate.

Sono altresì in corso di progressivo ripristino i server mysql.

ripristino pannello di controllo

Segnaliamo che è tornato on line ed operativo il pannello di controllo panel.newmedialabs.it

Segnaliamo che sarà possibile qualche rallentamento nelle operazioni di registrazione/rinnovo a seguito dello smaltimento del carico di lavoro accumulato nelle ultime ore.

Ci scusiamo per il disservizio.

Disservizio del 18-03-2014

Nella giornata di ieri, a partire dalle ore 10:11, si è verificato un massiccio e progressivo down di servizi da noi erogati, durato parecchie ore e tuttora in corso sulla fascia di servizi di hosting shared low-cost.
Il problema è stato causato da una massiccia cancellazione di unità logiche (alcune decine di TB) su uno degli storage FC di infrastruttura.
Sulle cause del problema non possiamo, al momento, divulgare dettagli in quanto sono in corso delle indagini tese ad individuare le responsabilità, che sembrano almeno in parte estese anche al produttore dell'apparato; possiamo comunque garantire che non vi è stato alcun accesso non autorizzato ai dati, ma solo la loro cancellazione.
A seguito dell'azione, i nostri tecnici si sono immediatamente dedicati all'individuazione della causa ed al recupero di tutti gli elementi di prova che potranno esser utili per la inevitabile azione penale che verrà avviata.

Subito dopo l'incidente è stato immediatamente predisposto il ripristino dei servizi, osservando la seguente scaletta di priorità:

• sistemi infrastrutturali di rete 
• VPS CronusCloud con servizio di backup e SLA 

In particolare già nelle ore successive sono stati riattivati i servizi infrastrutturali strategici, in stretto contatto e coordinamento con i rispettivi clienti.

I seguenti servizi sono attualmente in corso di riattivazione:

• servizi di gestione (pannello di controllo panel.newmedialabs.it)
• servizi di hosting shared Pro (piani Hosting Professional Linux ed Hosting Professional Windows)

Sta proseguendo, e proseguirà nelle prossime ore con:

• servizi SMTP dedicati 
• servizi di hosting shared low cost (piani Hosting Basic Linux, Hosting Basic Windows, piani Fracto) 
• VPS CronusCloud 

Si prevede che tali riattivazioni avvengano nel corso della prossima notte.

Ci rammarichiamo per l'accaduto sottolineando che sui nostri servizi erano e sono attivi sistemi di protezione ai massimi livelli; tuttavia, per le modalità con cui è stato messo in atto, tale evento non era da parte nostra prevedibile.

Sulle responsabilità (soprattutto penali) dell'accaduto sono in corso indagini; eventuali nostri comunicati a questo proposito saranno quindi concordati con gli organi inquirenti.
Da parte nostra, sono già state ovviamente messe in atto ulteriori contromisure di sicurezza.

Ringraziamo il nostro personale tecnico che, con particolare abnegazione, ha compiuto e sta compiendo tuttora uno sforzo eccezionale per superare tale incidente.

Nei prossimi giorni esamineremo le posizioni dei singoli clienti, soprattutto in considerazione soprattutto (ma non solo) dello SLA contrattuale.

Disservizio odierno su hosting shared e pannello di controllo

A causa di un problema su un apparato di infrastruttura in farm, è in atto un down che coinvolge i seguenti servizi:

• servizi di hosting shared
• server DNS ns1.drnameservice.com
• pannello di controllo panel.newmedialabs.it
• alcune VPS Cronus

I tecnici sono al lavoro per ripristinare la funzionalità nel minor tempo possibile.

Ci scusiamo per il disagio.