Провал в отношенията с Гугъл
Това е кратка поучителна история за отношенията на българското правителство с Гугъл.
Адрес
Отдавна съм открил неприятния факт, че ако заредя направо http://government.bg и баузърът ми не приложи автоматики, не получавам нищо. Трябва изрично да отида на http://www.government.bg. Същото май е положението с всички други сайтове на централната администрация. Но да речем, че това е проблем само за мен като потребител. Ако няма много погрешни връзки от външни страници, търсещите машини ще се ориентират.
Инструкциите в robots.txt
Това е стандартен файл, който, сложен в основната директория на даден домейн, съдържа инструкции към търсачките какво от съответния сайт да индексират и какво — не. Съдържанието на този файл на сайта на българското правителство е:
User-Agent:*
Disallow:/
Преведено, това означава: „Ако сте търсеща машина, моля напуснете този сайт и не индексирайте неговото съдържание“.
Следствия за достъпа на гражданите
Накратко и опростено, този файл от 26 байта прави всичко, публикувано на правителствения сайт, недостъпно за търсения, които идват отвън.
Всяко търсене, за което единствения резултат би бил от българското правителство, няма да върне резултати. Всяко търсене, за което най-релевантия документ би бил такъв от българското правителство, ще ви прати към други, евентуално не толкова подходящи източници.
Изкривеният образ
Резултати, сочещи към сайта, все пак има. Пример е търсенето за думата правителство. Те обаче, се определят най-общо от външните линкове към този адрес, защото в индекса на Гугъл няма нито един документ от правителствения домейн. Така централният орган на изпълнителната власт в България се появява в публичността на интернет според думите, с които го определят другите. Пълен провал* в отношенията с Гугъл.
——
* За битието на английския превод на тази дума в Гугъл, вижте тази публикация в публичния им блог, която идва тъкмо навреме.



86 коментара
Това е всъщност съвременна парафраза на старата поговорка „Рибата се вмирисва от главата“…
Коментар on януари 25, 2009 05:53 amЮнуз, благодаря за поста. Дано има кой (правилния) да го прочете и разбере. Или следващото правителство да му пука за гражданите една идея повече.
Коментар on януари 25, 2009 06:48 amИнтересно наблюдение. Аз съм склонен да вярвам, че това robots.txt „извращение“ е дело на разработчиците на сайта, които може се опитват да си предпазят custom-made CMS-а от претоварването, което едно обхождане от Гугъл би предизвикало … все пак, по-добре работещ, но не-индексиран сайт, отклоко забиващ, и частично индексиран ;) Просто изпълнителите са много „кадърни“ — през 2007 половин година government.bg стоя с надпис във долната част „created by Face Contol“ (без R в ContRol).
Иначе в „правителството“ (барабар с всичките пиявици, закачени в държавната администрация) едва ли има човек, който да разбира този проблем, и защо е важно да НЕ се прави така ;)
Коментар on януари 25, 2009 10:39 amХаха, при това търсене излиза ето тази страница:
* http://212.122.160.117/Government/
на която е старото правителство ;) Тъпото е, че на прословутата 212.122.*.* мрежа, на която са всички правителствени сайтове. Това е вторият резултат на първа страница от търсенето! Някой наистина може да остане с грешното впечетлние, че Пламен Панайотов и Николай Свинаров са още министри ;)
Коментар on януари 25, 2009 10:44 amЕ, да. Но правителството си е избрало изпълнителите. Некомпетентността им не снема отговорността. И разбира се този детайл е едно много дребно допълнение към общата картина.
Да не говорим докъде стигаме ако тъкмо този сайт ще се претоварва от едно обхождане от Гугъл.
Коментар on януари 25, 2009 10:58 amХах … идеята ти за Googlebomb ми се струва много добра и навременна :-) Започвам да подкрепям управляващите с подходящия anchor, а ако се включат повече хора би станало наистина красиво :-)
btw преди дни новото американско правителство също редактира robots.txt на официалния си сайт и вече всичко е достъпно за индексиране.
Коментар on януари 25, 2009 10:58 amКалоян, с малко закъснение виждам втория ви коментар и го пускам. Пишейки публикацията тествах доста търсения. Примерът ви е един от по-леките абсурди, някъде назад в историята по медиите има дори специални писания за този призрачен сайт.
Огнян, направо се чудех дали да не предложа блогрол линк инициатива. Но тая работа с блог щафетите някак ми стои стилистично встрани. Ще ви оставя това удоволствие. :) Слагам моя глас отдясно в списъка „Публични места“.
Коментар on януари 25, 2009 11:17 amИдеята ти е блестяща, включвам се, постнах в блога си, сега ще пусна и по другарчета :-)
Коментар on януари 25, 2009 11:24 am[...] и ние да си спретнем нещо такова идва от Yunuz. Той забелязва, че robots.txt-файла на http://www.government.bg забранява [...]
Pingback on януари 25, 2009 12:23 pm[...] Идеята е на Юнуз. Свързана е с Googlebomb. [...]
Pingback on януари 25, 2009 12:53 pmХм, не само
robots.txtзабраняват индексирането на страницата на правителството, ами и самият сайт е направен все едно с краката си от пиян уеб дизайнер, преди около 15 години… а може би от бабата на уеб дизайнера, под влиянието на две-три цигари марихуана:-DПри отчаян опит за валидиране на първа страница, излизат около 920 грешки. Естествено, това не е много важно, а е важно сайтът да работи и да е добре подреден. Но едно надникване в неговия source code може да докара инфаркт на не един и двама уеб дизайнери и дивелъпъри…
1) В html документа изобщо липсва частта HEAD. Има само BODY. Аз не че нещо, но досега мислех, че без HEAD не може.
2) Всички тагове са с главни букви, което ме навежда на мисълта, че е бил писан с идеята за HTML 3.2 стандарта (някъде на възраст поне 10 години? 15? поправете ме, ако греша…)
3) ‘Tables are for tabular data’ — мисля, че създателите на сайта не са чували за този факт, утвърден в последните години… :) Също и вероятно не са виждали този сайт:
http://www.shouldIuseTablesForLayout.com :-D
4) Web Content Accessibility Guidelines 1.0, Section 508, Web Accessibility Initiative (WAI) — струва ми се, че и тези неща са непознати за тях….
5) Кои са тези FACE CONTROL които уж били направили и поддържали сайта? И защо долу пише ALL RIGHTS RESERVED, 2005. Навън 2005-та година ли е? Или 2005 е годината, когато за последно сайтът е бил пипан от поддръжката?
6) В началото на source code-а няма HTML, HEAD, и тн. В началото пише:
$Id: index.shtml 78 2006-04-05 12:33:39Z mitko $и става ясно, че някой си Митко за последно е пипал нещо по индекса на 5 април 2006… Става ли ви смешно? На мен ми става тъжно…
Спирам дотук. Само се чудя, в изискванията за достъпност на сайтовете на правителтвата и правителствените агенции, нямаше ли и раздел, касаещ достъпността на сайтовете и не би ли трябвало някой да изисква от правителството ни, сайтовете на българската администрация да отговарят на поне минимум изисквания за достъпност?? Някакъв санитарен минимм поне. И да се индексират от търсачките, също?
Може би греша, но сякаш БГ правителството все още витае в 19 век… Няма високи технологии, няма Уеб стандарти, „блог“ е мръсна дума, ’skype’ е още по-мръсна… и налице са само преписките и нафталинените ни чиновници и управници… :-(
Коментар on януари 25, 2009 01:17 pmХайде и ние подкрепихме блестящата идея! Пуснах линкчета Sgotvi.com и Qko.be
както и тема в webreklama.biz
Супер идея :)
Коментар on януари 25, 2009 01:35 pm[...] инициатива породена от публикациите в два блога – Yunuz & Oggin. Накратко - само с един линк от Вашият сайт или [...]
Pingback on януари 25, 2009 01:39 pm[...] инициатива породена от публикациите в два блога – Yunuz & Oggin. Накратко - само с един линк от Вашият сайт или [...]
Pingback on януари 25, 2009 01:45 pmАми да, така е. Същите „изпълнители“ са правили сайтовете и на Президента, ДПС, БСП, Коалиця за България, БОК, много спортни федерации и т.н. Или са много-добри в това което правят, или … как да го кажа меко и политически коректно — са близки до управляващите ;) Моите наблядения са, че май е второто — има някой да им налива поръчки, без значение качеството на резултата.
Коментар on януари 25, 2009 02:04 pm[...] подкрепям инициативата на Юнуз за Провал в отношенията с Гугъл на сайта government.bg, а и не само. За целта слагам връзка [...]
Pingback on януари 25, 2009 02:13 pmХм, странно, но пуснах един дълъг коментар преди час и още не е минал… :(
Коментар on януари 25, 2009 02:20 pm[...] http://yunuz.projectoria.org/archives/326 [...]
Pingback on януари 25, 2009 02:39 pmЕгати, тези нямат <head>…</head> в HTML-а ;)
Коментар on януари 25, 2009 05:27 pm[...] Идеята за тази “гугълбомба” е на Юнуз: [...]
Pingback on януари 25, 2009 05:40 pm[...] за българската Google бомба — при Юнуз и Дао-то на [...]
Pingback on януари 25, 2009 05:58 pmНе е минал, защото днес през деня не бях онлайн. Пускам го.
Коментар on януари 25, 2009 06:19 pm[...] Повече информация при източника: yunuz [...]
Pingback on януари 25, 2009 07:03 pmС две ръце зад идеята. Вече линкнах статията и правителството от блога си. Предстои слагането на още 2-3 линка ;)
Коментар on януари 25, 2009 07:20 pmПравописната грешка стои ;) В началото на кода има голям блок коментари, и там вътре:
и след това долу го има и като мета таг:
Коментар on януари 25, 2009 07:45 pmАз днес написах един малък mirror скрипт на php, за да се направи копие на government.bg, което може да се индексира — http://government.bg.kaloyan.info/ ;) Да видим Гугъл колко ще е бърз… ;)
Коментар on януари 25, 2009 07:47 pmМного добра идея. Сега това ще е по-популярния сайт на правителството. :)
Коментар on януари 25, 2009 07:54 pmПроблемите са ти в браузъра, просто ползвай друг.
Коментар on януари 25, 2009 07:57 pmизвинявайте за глупавия въпрос … след като всяко търсене, за което единствения резултат би бил от българското правителство, няма да върне резултати..
Коментар on януари 25, 2009 08:20 pmтова не обезмисля ли всичко ? какъв е смисъла да слагаме линкове като няма да има ефект ?
до: Калоян К. Цветков
ти си наясно с факта че това е кражба на данни и затова може да бъдеш съден ?!?
Коментар on януари 25, 2009 08:21 pm[...] Вижте този линк за повече информация относно провала. 25th Jan, 2009 [...]
Pingback on януари 25, 2009 09:33 pm[...] Идеята е вдъхновена от Юнуз. И доразвита от oggin. No related posts. [...]
Pingback on януари 25, 2009 09:46 pmlyt, по принцип при търсене по даден термин съдържанието на сайтовете не е единствения ориентир на търсачките. Имат значение, например, външните линкове към съответния сайт, тяхното терминологично съдържание, заглавието им, контекста на страницата, от която се линква.
Разбира се, аз не мога да предвидя доколко тази спонтанна кампания ще има ефект и какъв ще бъде той. Така или иначе, тя показва отношение.
pepino, уместен въпрос, макар и да не разбирам тона ви. Заплахата със съдебно преследване от името на трето лице не е проява на добър вкус.
Чисто граждански, аз подкрепям подобно огледално копие, защото то повишава прозрачността и моя достъп до информацията, която правителството публикува. И не подкрепям нежеланието на правителството да допуска копиране на тази информация.
Коментар on януари 25, 2009 10:09 pmВсе пак Гугъла е индексирал една страница от английската версия на сайта. Пък и вижте какъв висок PR има. Все е нещо
Коментар on януари 25, 2009 11:25 pm[...] акцията разбрах от блога на Сашо. А идеята е на Юнуз. Благодаря, момчета (tumbs [...]
Pingback on януари 25, 2009 11:51 pm@pepino: ловиш риба на сухо. Най-обичам анонимни коментатори да ми дават правни съвети.
Коментар on януари 26, 2009 12:27 amПепино, недей заплашва с неща които не разбираш. Каква кражба на какви данни ? Какви данни са откраднати – ЕГН-та или нещо друго ? После каква кражба — да не би Калоян да е копирал информацията, и да е представил за своя, все едно той и е автора ? Да не би да е сложил реклами и за печели от това ? Да не би да краде email-ите на посетителите и да праща спам ? Да не би да ви иска пари или SMS-и по 2 лева парчето, за да му посетите сайта ? Човекът си го е написал — огледално копие на сайта с цел индексиране от Гугъл. Отделно пък да не говорим колко глупаво е информацията на правителствен сайт да е със запазени права. За авторски права може да претендират може би единствено от БТА, които предоставят снимките (и може би и новините) на сайта.
Коментар on януари 26, 2009 12:36 amПри писането на статията не ми се влизаше в детайли, но нека коментирам. Търсенето с оператор site: връща резултат, но той само казва, че Гугъл знаят за съществуването на сайта или на конкретен документ в него. Търсачката не може да направи никаква смислена разлика между отделните страници в този сайт, затова резултатът първоначално е само един, а при повторното търсене се връщат адресите на всички документи, за които Гугъл знае, че съществуват.
Нито един от тези документи няма снипет, освен началната страница, чийто снипет е взет не от съдържанието на страницата, а от Директорията на Гугъл — http://www.google.com/Top/Regional/Europe/Bulgaria/ (която е копие на съответната страница от Отворената директория — http://www.dmoz.org/Regional/Europe/Bulgaria/).
Коментар on януари 26, 2009 01:11 am[...] паяците на търсещите машини. Сайтът така или иначе е счупен на повече от едно място, и е пълен провал, но пък това да може да се индексира [...]
Pingback on януари 26, 2009 12:47 pm[...] http://yunuz.projectoria.org/archives/326/ 2. http://oggin.net/vile/failure/ 3. http://yovko.net/archives/2058 4. http://velqn.com/?p=4711 5. [...]
Pingback on януари 26, 2009 04:09 pm[...] на сайта на Министерския съвет (чети в коментарите тук). Като начало, за ключовата дума [...]
Pingback on януари 26, 2009 04:22 pmвчера по това време пуснах тук коментар (подписан с името и блога ми) с моята подкрепа за идеята.
Коментар on януари 26, 2009 05:13 pmвсе още не си виждам коментара – приемам го като нежелан – и оттеглям подкрепата си, и без това ефектът ми се струва съмнителен.
[...] интернет протест. Инициативата започна от този блог и бързо набра сила, подкрепена от всички огорчени от [...]
Pingback on януари 26, 2009 05:23 pm[...] някой се е сетил, как да характеризира с една дума дейността на [...]
Pingback on януари 26, 2009 06:46 pmПровал в отношенията с Гугъл…
Това е кратка поучителна история за отношенията на българското правителство с Гугъл….
Trackback on януари 26, 2009 07:05 pm[...] ми изказване е свързано най-вече с инициативата на Юнуз за една хубава и добре спретната гугъл бомба по адрес [...]
Pingback on януари 26, 2009 09:52 pmХайде сега малко да обърнем нещата, какво ще кажете?
Коментар on януари 26, 2009 10:25 pmhttp://www.vlkomarov.info/micro-blog/p:181/#181
[...] като освен блокирането на Google будни хора забелязаха някои особености в CMS-а на [...]
Pingback on януари 26, 2009 10:55 pmЗдравейте!
Коментар on януари 27, 2009 09:44 amМоля ви да се свържете с мен на 0899 81 63 32.
Безпокоя ви от сутрешния блог на bTV.
Спешно е!!!
:)
Диляна
[...] на Юнуз и Oggin, които подеха първи кампанията! Благодарности и [...]
Pingback on януари 27, 2009 10:22 am[...] на правителството е с google pagerank 8/10 – при положение, че не се индексира от [...]
Pingback on януари 27, 2009 11:47 amХайде и от WMG обърнаха внимание на инициативата ;)
http://news.ibox.bg/news/id_1996783194
Коментар on януари 27, 2009 12:09 pmОгледалното копие на правителствения сайт е вече в първа страница от резултатите при търсене на „РЕПУБЛИКА БЪЛГАРИЯ МИНИСТЕРСКИ СЪВЕТ“ ;)
Коментар on януари 27, 2009 12:32 pmВеликолепна идея и изпълнение. Ето и развитие с малко javascript код. Иска UTF-8 кодировка на сайта.
var text_st = new Array(„Провал“, „Корупция“, „Мафия“, „Наглост“, „Некадърност“, „Терор“, „Полицейщина“, „Беззаконие“, „Крадци“, „Мошеници“);
Коментар on януари 27, 2009 01:44 pmvar l = text_st.length;
var rnd_no = Math.floor(l*Math.random());
document.write(‘‘ + text_st[rnd_no] + ‘‘);
Е с JavaScript няма да се получи желания ефект виж на някакъв сървър сайд език ще стане.
Коментар on януари 27, 2009 02:09 pmМда, вярно, няма да го интерпретира. Еми просто линкове…
Коментар on януари 27, 2009 02:25 pm[...] надушиха гугъл бомбата http://yunuz.projectoria.org/archives/326#comment-63484 в Любими преди 4 секунди edno23.com Начало контакти [...]
Pingback on януари 27, 2009 02:55 pmОткрийте разликите:
http://bg.wikipedia.org/wiki/Провал
http://en.wikipedia.org/wiki/Провал
Коментар on януари 27, 2009 03:17 pmТова последното не е по правилата на Уикипедия и би трябвало да се изтрие. Партизански техники. :)
Коментар on януари 27, 2009 03:31 pmПоздравления и благодарности :)
Коментар on януари 27, 2009 03:31 pmДобра инициатива колеги! ;)
Коментар on януари 27, 2009 03:52 pmБраво!
Браво, пичове, постнах си линка на моя фейсбуук.
Коментар on януари 27, 2009 04:05 pm[...] няколко дни Юнуз публикува в блога си нередностите които е открил в [...]
Pingback on януари 27, 2009 05:46 pm@ Атанас: и какво,.. няколко часа по-късно вече няма разлика :) нищо против петициите и блогърските акции, но, моля, не ги провеждайте в уикипедия…
Коментар on януари 27, 2009 07:00 pmИ тия тука една акция са заформили, гледам…
http://en.wikipedia.org/wiki/Google_bombing
Тия дето не схващат кога се пише историята, историята ги отписва.
Коментар on януари 27, 2009 11:23 pmЦензоре, наистина, защо не се хванете да преведете страничката за Google_bombing на български със съответния пример?
http://en.wikipedia.org/wiki/Google_bombing
Лоша карма сте натрупали.
http://mediapool.bg/show/?storyid=148331&srcpos=5
Ще се пречистите с туй свободолюбиво деяние…
Коментар on януари 27, 2009 11:31 pm[...] започнало от публикацията на Юнуз, в която той обяснява некадърността на [...]
Pingback on януари 28, 2009 10:25 am[...] За мен « Провал в отношенията с Гугъл [...]
Pingback on януари 28, 2009 12:33 pmИска ми се да можем по често да се обединяваме около общи цели и нека да не са „Пълен Провал“ Назнам дали го осъзнавате но заено можем да постигнем много неща в ….нека заедно да изтикаме тая страна стъпка по стъпка, мисля че първата стъпка е направена ….
Коментар on януари 28, 2009 03:39 pm[...] Линк към материала на Юнуз [...]
Pingback on януари 28, 2009 04:49 pm[...] SEO форуми се появява пост, разказващ за идеята на Юнуз и призива на Огнян за поставяне на линкове с текст [...]
Pingback on януари 28, 2009 05:01 pmламя
Нали е ловджия пък и е Георги …
Коментар on януари 28, 2009 06:43 pmIronhorse, коментарите в този блог и в почти всички Уърдпрес блогове по подразбиране съдържат аргумента rel=“nofollow“ за линковете в тях. Това означава, че търсещите машини не следват тези линкове и не им обръщат внимание.
Коментар on януари 29, 2009 06:02 am[...] но едно е сигурно — нашата избива рибата с динамит [1], [2]. Какво друго може да е government.bg, освен провал? Време е [...]
Pingback on януари 29, 2009 11:58 amМисля че дълго ще се задържи на първо място. Много силни линкове има
Коментар on януари 29, 2009 06:48 pmСигурно щото са много корумпирани затова са забранили индексиране на съдържанието :)
Коментар on януари 29, 2009 08:20 pm[...] – http://yunuz.projectoria.org/archives/326 Дао-то на SEO – http://oggin.net/vile/failure/ Чорба от греховете на dzver [...]
Pingback on януари 30, 2009 03:24 pmЮнуз БЛАГОДАРЯ ти за това което правиш,за да се сетят някои хора или,по точно да не забравят от кой са избрани и какви са задачите им .Подкрепям те напълно
Коментар on февруари 7, 2009 02:52 pm[...] акцията разбрах от блога на Сашо. А идеята е на Юнуз. Благодаря, момчета (thumbs [...]
Pingback on февруари 12, 2009 06:08 pm[...] си с Гугъл се държи както с работодателя си – крие се. Юнуз е забелязъл, че правителството не желае сайтът му да бъде [...]
Pingback on февруари 12, 2009 11:58 pmhttp://www.timesonline.co.uk/tol/comment/columnists/article5720609.ece
Коментар on февруари 13, 2009 10:18 pm[...] акцията разбрах от блога на Сашо. А идеята е на Юнуз. Благодаря, момчета (thumbs [...]
Pingback on февруари 24, 2009 05:07 pmПоредното червено творение :)
http://redfen.net/robots.txt
User-Agent: *
Коментар on май 27, 2009 06:33 pmDisallow: /
@директория.бг
Коментар on май 27, 2009 06:35 pmДобро попадение :)
[...] – http://yunuz.projectoria.org/archives/326 Дао-то на SEO – http://oggin.net/vile/failure/ Чорба от греховете на [...]
Pingback on юли 2, 2009 09:36 pm[...] за българската Google бомба — при Юнуз и Дао-то на SEO. AKPC_IDS += "74,";Popularity: 1% [...]
Pingback on август 11, 2009 07:41 am