1. Explaining what server logs are
Un log de server se prezinta ca un fisier (sau mai multe fisiere) care este in mod automat creat si pastrat de un server prin activitatea pe care o acesta o executa, mai precis prin serviciul care ruleaza pe acel server.
Un exemplu tipic este logul de webserver care mentine istoricul paginilor cautate. Informatia despre request, incluzand adresa IP a clientului, data si perioada requestului, pagina solicitata, codul hhp, site-ul de unde este logat utilizatorul, agentul utilizatorului, toate acestea sunt in mod obisnuit inserate in fisiere log. Aceste informatii pot fi combinate intr-un singur fisier sau separate in loguri distincte, precum loguri de acces.
Fisierele log sunt in principiu specifice fiecarei aplicatii software, informatiile stocate in aceastea depinzand de nivelul de logare dorit (pe fiecare nivel crescand volumul de informatie logat de acel soft).
Locul in care sunt tinute fisierele poate sa fie dispozitivul pe care ruleaza un anumit serviciu sau un alt dispozitiv, pe un server dedicat in exclusivitate loging-ului de exemplu, ultima varianta fiind oricum de preferat daca luam in calcul faptul ca sunt sanse mult mai mari de a fi compromise datele dispozitivului pe care ruleaza serviciul decat serverul pe care se face exclusiv logingul. Serverul remote poate fi in acest sens si privit ca o masura de securitate.
Logurile pot fi tinute criptate (in mod special din motive de securitate, in momenul criptarii restrictionandu-se accesul la informatii, care vor putea fi utilizate, prelucrate doar de persoanele in drept).
2. What logs look like
Foarte multi sustin ca un server log nu „ar arata destul de bine” pentru a fi interesant. Ne putem face o idee din urmatoarele exemple:
Syslog: (Loguri Servicii system )
Nov 27 09:34:13 fs kernel: eth0: no IPv6 routers present
Nov 27 09:34:13 fs kernel: veth1004.0: no IPv6 routers present
Nov 27 09:34:13 fs kernel: enet0: topology change detected, propagating
Nov 27 09:34:13 fs kernel: enet0: port 3(veth1002.0) entering
forwarding state
Log-uri Apache:
89.42.113.203 – – [27/Nov/2007:01:57:29 +0200] “GET / HTTP/1.0” 302
330 “-” “-”
89.42.120.73 – – [27/Nov/2007:02:00:52 +0200] “GET / HTTP/1.0” 302 330
“-” “-”
89.42.118.14 – – [27/Nov/2007:02:03:51 +0200] “GET / HTTP/1.0” 302 330
“-” “-”
89.42.113.203 – – [27/Nov/2007:02:05:26 +0200] “GET / HTTP/1.0” 302
330 “-” “-”
Syslog: (Loguri de autentificare useri system )
Nov 27 18:20:45 webhosting sshd[21628]: Failed password for root from
200.165.79.154 port 52313 ssh2
Nov 27 18:20:48 webhosting sshd[21634]: Address 200.165.79.154 maps to
medquimica.com.br, but this does not map back to the address –
POSSIBLE BREAK-IN ATTEMPT!
Nov 27 18:20:48 webhosting sshd[21634]: (pam_unix) authentication
failure; logname= uid=0 euid=0 tty=ssh ruser= rhost=200.165.79.154
user=root
FTP xfer log
Tue Nov 27 06:32:30 2007 1 79.114.189.247 6880 /htdocs/dino/template/
data/swfobject.js b _ i r ******* ftp 0 * c
Tue Nov 27 06:32:30 2007 1 79.114.189.247 20202 /htdocs/dino/template/
data/unittest.js b _ i r ******* ftp 0 * c
Tue Nov 27 06:32:30 2007 1 79.114.189.247 94 /htdocs/dino/template/
index.html b _ i r ******* ftp 0 * c
Tue Nov 27 06:32:31 2007 1 79.114.189.247 6710 /htdocs/dino/template/
tpl.php b _ i r ******* ftp 0 * c
3. Logfile analyzers
Fisierele log nu sunt accesibile in general utilizatorilor Internet, ci administratorului de server. O analiza statistica a logurilor de server poate fi folosita pentru a examina traficul unei zile sau celui aferent unui weekend. Administrarea eficienta a serverului, resurse de hosting adecvate si eforturi bine puse la punct in ceea ce priveste vanzarile pot fi completate adecvat de o analiza a logurilor de server.
In vederea analizei logurilor pot fi folosite programe software disponibile in mod gratuit sau contra cost, cu performante diferite in functie de informatie analizata, usability, grafica pusa la dispozitie utilizatorului.
Astfel de programe statistice sunt folosite la monitorizarea serviciului si la prognozele pentru evaloarea potentialului de dezvoltare al companiei (informatii pe baza carora se poate depista la ce volum de trafic se poate ajunge, de exemplu), ambele sustinute de ideea de a oferi un serviciu de calitate catre consumator. Programele de analiza a logurilor pot releva orice, de la o lista a adreselor IP conectate la webserver pana la diagrame cu fisierele care au fost accesate mai des. Majoritatea instrumentelor de analiza a logurilor web incearca sa explice fiecare informatie continuta de log dar foarte putine pot transforma aceste date in unele lizibile. Exemple in acest sens pot fi Webalizer, Analog, Summary, WebTrends, AWStats.
Important in utilizarea unui astfel de software este raportul emis in functie de logul supus analizei.
Incercam sa diferentiem informatiile obtinute in functie de tipurile de statistici:
– web – numar de vizitatori zilnici, numar de vizitatori unici zilnici, arii de pe glob de unde vin utilizatorii, site-uri de pe care ajung utilizatorii pe acea pagina de web sau pe site-urile gazduite pe un anumit server, incarcarea (numarul de requesturi, cati utilizatori acceseaza simultan website-ul) pe o anumita perioada de timp;
– streaming – numar de clienti conectati simultan, banda ocupata de fiecare client, informatii geografice legate de acel client, versiuni de soft folosite pentru aceesarea stream-ului;
– ftp – rapoarte geografice, volum de trafic;
– mail server – numarul de mesaje pe secunda, numarul de mesaje care sunt in curs de procesare, date statistice despre filtrari, numar de mesaje infectate cu virusi, detalii despre virus (tip, provenienta), adresa IP.
Utilitatea log-urilor de server, mai precis a informatiilor continute de acestea depinde in mare masura de serviciul sustinut de serverul in cauza.
– webserver service
In cazul serviciului de webserver vor fi de interes logurile cu accesarile site-urilor gazduite pe acel server, informatiile continute de acestea fiind folosite pentru statisticile de marketing sau in vederea luarii deciziilor legate de momentele in care serverul necesita anumite upgrade-uri. Logurile de acces ajuta inclusiv la detectarea actiunilor frauduloase, site-urilor folosite la scam sau phishing (putandu-se identifica adresa IP de la care a fost originata accea actiune). Sunt utile de asemenea pentru indentificarea si contactarea in timp util a userilor care au intrat in targetul acelor atacuri soft in vederea minimizarii efectelor. Pastrarea logurilor de acces are la baza si motive ce tin de securitate, in mod special pentru a depista, in vederea raportarii, locurile din care sunt originate scan-uri ale serviciilor web pentru exploatarea vulnerabilitatilor.
– mail service/webmail service
Vor fi analizate in acest caz log-urile de mail, unde informatii relevante ar consta in „de la cine a venit” sau „catre cine s-a dus” un mail, adresa IP, numarul de mesaje pe secunda, numarul de mesaje aflate in curs de procesare, virusi, numar de mesaje infectate, toate acestea utile pentru upgrade-urile serviciului cat si in vederea dezvoltarii de statistici comparative privind volumul de mail solicitat fata de cel nesolicitat.
– search engine
In cazul motoarelor de cautare, o analiza a log-rilor de cele mai multe ori ajuta la imbunatatirea serviciului oferit prin posibilitatea crearii anumitor profiling-uri ale userilor, search engine-ul devenind astfel mai flexibil pentru a satisface mai bine nevoile utilizatorilor. Informatii relevante pentru serviciu ar fi „ce cauta userul” si „pentru ce inregistrare opteaza utilizatorul din rezultatele afisate de search engine”. Toate acestea, analizate in conexiune cu cele privind zona geografica din care provine utilizatorul, pot creste calitatea rezultatului oferit de motorul de cautare. In cazul utilizarii acestor date in diverse analize, informatia devine din ce in ce mai utila pentru ceea ce userul va cauta, putandu-se dezvolta un filtru pentru ca la viitoare indexari sa se creeze o ierarhie a relevantelor mult mai buna.
O analiza a fisierelor log si-a dovedit eficienta si in ceea ce priveste rezolvarea anumitor erori de serviciu in mod special a celor a caror rezolvare ar presupune cautarea originii erorii cu multi timp in urma.
– hosting service
In ceea ce priveste serviciul de hosting vor fi considerate relevante, in principiu, informatii precum originea unei anumite accesari (IP-ul sursa) si destinatia accesarii (site-ul care este accesat) pentru dezvoltarea statisticilor de marketing, infrastructura (directiile de dezvoltare pe infrastructura), financiare. Informatiile folosite in cadrul statisticilor de infrastructura vor releva care este in concret nivelul de incarcare a echipamentelor, cum se vor distribui in mod egal aceste servere, precum si necesitatile de upgrade. Pe baza logurilor, in momentul aparitiei unei probleme de securitate se poate depista sursa si eventual interveni pe cai legale prin anuntarea autoritatilor competente, sau, in cazul unui atac prelungit care trece de un sistem de detectie al serverului de hosting, acesta poate fi oprit iar efectele asupra serviciilor altor persoane pot fi minimizate. Se poate stii astfel exact ce anume a intervenit la nivelul serverului, cauza, locatia si serviciile sau aplicatiile afectate, modul in care se poate reproduce atactul software (spre diferenta de analiza logurilor, analiza traficului rezolva problemele de securitate dar nu ofera astfel de detalii concrete).
