Trafik ifrån semalt.com

Har ni också upptäckt trafik ifrån semalt.com, semalt.semalt.com och dess många underdomäner? Om inte ta en titt i Google Analytics eller valfritt annat webbanalysverktyg och öppna upp en rapport som visar trafikkällor. Chansen är stor att ni hittar trafik ifrån semalt och då är ni långt ifrån ensamma. Men vad är semalt.com för en sajt? Varför driver den så mycket trafik till er webbplats? Är trafiken ifrån semalt.com bra eller dålig? Och sist men inte minst- vad är semalt.com?

Vad är semalt.com?

Semalt LCC som företaget heter är ett ukrainskt företag med huvudkontor i Kiev. Enligt egen utsago är de en byrå som arbetar med sökmotoroptimering (SEO) och utvecklar utvecklar verktyg för SEO och internetmarknadsföring. Som vi ska se nedan så finns det dock dem som hävdar att detta bara är en täckmantel och att verktygen inte ens fungerar.

Bild tagen ifrån semalt.com:

Semalt produktinformation

Semalt.com produktinformation

Semalt som referrer -Var kommer trafiken ifrån?

Snacket om Semalt började i slutet av våren då många webbanalytiker och webbredaktörer började se konstig statistik i sina verktyg. Från en dag till en annan började det komma mycket trafik från semalt.com och flera olika subdomäner. Vi märkte detta själva och vad vi kan se så verkar WordPress-webbar vara särskilt utsatta. Många som sedan besökte siten och upptäckte att det var en SEO-byrå blev naturligtvis förvånande och då de inte hittade några länkar till sin site undrade de förstås vad det var för trafik.

Trafiken kommer i själva verket ifrån Semalt Crawler, en crawler (spindel, bot- kärt barn har många namn) som besöker sidan. Detta är i sig egentligen inget ovanligt, det finns mängder av olika spindlar som crawlar webbplatser men det som är ovanligt är att det syns som referrer i statistikverktygen. Google Analytics och andra sofistikerade verktyg brukar kunna identifiera trafiken från spindlarna och filtrera bort dessa besök så att de inte kommer med i statistiken. Anledningen är att man använder en http referer header så att det ska se ut som att trafiken kommer från semalt.com.

Detta skapar naturligtvis huvudbry eftersom det sabbar webbanalysrapporterna genom att skapa mängder av artificiell data. Såhär kan det t.ex. se ut i hänvisningsrapporten ”Alla länkar” i Google Analytics (ifall man filtrerat fram trafik innehållande ordet ”semalt”. Inget av detta är alltså riktiga besök.

Google Analytics - hänvisningsrapport

Google Analytics – hänvisningsrapport

Vanligtvis kan man via robot.txt tala om för spindlarna om de får crawla siten eller vilka delar av en sajt man inte vill att de ska besöka. Semalts bot:ar går dock stick i stäv med konventionell netikett och ignorerar detta.

Så här skriver Semalt själva: ”Semalt bot:en är en teknisk bot av verktyget för webbanalys. Enligt mjukvarualgoritmen Semalt-sökrobotar besöker bot:arna webbplatser och samlar in statistiska uppgifter till vår tjänst och simulerar verkliga användares beteende: Unika IP, webbläsare, skärmupplösning etc. Denna information används enbart inom Semalt.com projektet.”

De skriver att bot:arna beteer sig som verkliga användare. Detta stämmer inte. En verklig användare kommer till sajten, spenderar lite tid och besöker vanligtvis fler än en sida. Semalts spindlar spenderar ingen tid på sajten och har en avvisningsfrekvens (bounce rate) på 100 %.

Hur stoppar jag semalt-trafiken ifrån att visas i mina rapporter?

Semalt själva säger att Ifall man inte vill att Semalts spindlar/robotar ska indexera en sajt så kan man fylla i ett formulär på semalt.com. Vissa säger att det fungerar medan andra säger att det inte gör det. Det finns till och med dem som hävdar att det bara blir värre. Som tur är finns det andra sätt att filtrera bort Semalt-trafiken ifrån sina rapporter.

En metod är att att blockera Semalt via HT access filen- detta är för de mer avancerade användarna.

Om man använder Googles Universal Analytics-script (vilket vi varmt rekommenderar!) har man möjlighet att lägga till domäner i deras Referral Exlusion-lista. Det kommer innebära att GA bortser från denna trafik och håller den ute ur rapporterna. Ifall man har en WordPress-sajt kan man även markera dem som ”spam referrer” där.

Så även om man inte kan stoppa dem och de verkar harmlösa så kan man åtminstone filtrera bort trafiken ifrån dem så att man återigen får ren data i sina rapporter.

Kritik

Varför gör då Semalt som de gör? De har onekligen fått en hel del kritik och teorierna om målet med det här går isär.

Man kan tänka sig att Semalt får en hel del besök till sin sajt av nyfikna webbägare som undrar varför de får så mycket trafik ifrån dem. En liten del av dem kanske till och med köper deras tjänster. Detta skulle alltså kunna ses som en slags ”ful”-marknadsföring för deras varumärke och tjänster.

Detta kallas ofta för referer spam och var ännu effektivare förut då en del sajter faktiskt publicerade besöksloggar. I loggen skapades då även en länk till den site som står som referrer vilket förstås förbättrade den sitens SEO.

Förklaring referer spam

Förklaring referer spam

Såhär långt är det egentligen inga problem. Ja, Semalt verkar onekligen märkligt och ja, det är irriterande att statistiken blir skev. Men det går ju faktiskt att fixa till. Men om man skrapar på ytan så verkar det faktiskt gömma sig något betydligt mer bekymmersamt.

Hur går det egentligen till?

Vi nämnde ju tidigare att besöken betraktas som äkta på grund av dess http referal header, men hur går själva besöken till. Var kommer de ifrån?

Upprörda användare gjorde det till sitt uppdrag att gå till botten med semalt-trafiken. Genom att följa spåren bakåt pekade slutligen allt på en mjukvara som användare kan ladda ner för att konvertera YouTube-videos till mp3-filer. Allt pekade på Soundfrost.

Såhär går det till. En användare som laddar ner Soundfrost laddar även ner annan mjukvara som inte stängs ner när man stänger själva Soundfrost-programmet. Denna mjukvara är malware som gör att man kan styra och samla in uppgifter från den infekterade datorn. Alla dessa datorer används ihop för att bilda ett botnet, ett nätvärk av infekterade datorer som styrs och får uppgifter från en central nod. Med andra ord personerna bakom Semalt.

I det här fallet har de datorer som intet ont anande användare haft för att ladda ner Soundfrost använts för att skapa falska besök till en stor mängd webbplatser. Besöken kommer alltså från världens alla hörn, från olika ip-adresser, och därför funkar inte åtgärder som ip-blockering.

Utöver att användas för referral spam så mäter alltså Soundfrost användares beteende och skickar det till en insamlingsserver. Företaget som har skapat Soundfrost är förvånansvärt nog öppna med deras skumma agenda och utifrån punkterna i bilden nedan kan vi bara spekulera i hur den datan används.

Troligt är väl att man säljer möjligheten att använda detta botnet från allt till spam referrals, skicka spammail eller till och med angripa en webbplats.

Komodia product information

Komodia product information

Källor:
http://blog.nabble.nl/post/93407897762/semalt-soundfrost-caught-spying
http://blog.nabble.nl/post/93306955157/semalt-infecting-computers-to-spam-the-web/
http://www.infosecurity-magazine.com/news/semalt-hijacks-hundreds-of/
http://www.incapsula.com/blog/semalt-botnet-spam.html