Zápisky z přednášky Seznam Fujjtext

12. prosince 2006 v 13:59 | HejTi |  Jihomoravská éra Weblogy.cz
Zápisky z mnou nejočekávanější přednášky v rámci Seznam tour na FI MU.

11.50 Hned na začátku mě zklamalo, že Yuhů se zde nenachází (prý kvůli přehršel práci na Skliku).
12.03 Štěpán Škrob uvedl přednášku, bude mít následující strukturu:
  1. Robot
  2. Tvorba stránek
  3. Hledání
  4. Vnitřnosti
  5. Ukázka administračního rozhraní

12.07 Robot

  • Robot stáhne 2 milióny stránek/den.
  • Denní objem cca 8GB.
  • Robot "normalizuje URL" (bez či s www, encodované znaky, URL se rozbije na části, ignorují se různé části - např. www, PHPSESSID, rand). Výsledkem je MD5 hash.
  • Pokud najde url, tak se ho pokusí stáhnout a když se mu to napoprvé nepovede, jde do banlistu, ze kterého automaticky vypadne za 3měsíce.
  • Stránka se při reindexaci má 3x3 pokusy (pokud se nezdaří, je vyřazena z vyhledávání (pokud server nevyhodil 50X chybu), při úspěšném pokusu opět vložena).
  • Při vyřazení z hledací databáze se ztratí zpětné odkazy (které se obnovují cca měsíc).
  • robots.txt se stahuje pravidelně za 2-8 dní, nemá vliv na již zaindexované stránky
  • robots.txt povoluje (cituji) stejně jako google *, $
  • je možné, že se bude v budoucnu implementovat sitemap
  • stránky s vyšším rankem mají větší pravděpodobnost, že se dostanou do databáze (při přidávání se porovnává s náhodným číslem, když je náhodné číslo menší, stránka se přidá, jinak se zahodí)
  • Uchovává se posledních N (10?) změn a zaznamenává se, jestli se stránka změnila, nebo ne. Podle toho se určuje perioda stahování (podle ranku jsou max. a min. hodnoty).
  • Přeindexování by mělo být max. jednou za 2 měsíce
  • Po stáhnutí stránky se aplikují filtry (content-type - nevyhovující na banlist, binární data - nevyhovující na banlist, detekce jazyka - akceptuji pouze české, meta tag robots - noindex, nofollow)
  • Limity pro stahování: time-out, datová velikost
  • Parser vyhazuje duplicity - přes MD5 celé stránky (zůstává první)
  • Z parseru vyjde textový derivát (titulek, url, odstavce, odkazy...)
  • V indexeru je zpracován textový derivát (lemmatizace, doplňování diakritiky, vytváří index v paměti) a připraví data pro dynamické úryvky ve výsledku
  • Přeindexace - znovu do přidávacího formuláře (několik hodin), zároveň přegenerování screenshotu
  • Screenshoty běží nad jádrem IE (200 000 screenshotů/den)

12.50 Tvorba stránek

  • Upozornění před javascriptem, flashem, JS redirect, nutnost cookies
  • Doporučuje se mapa webu
  • Nepoužívat skryté text
  • Volně cituji: "Nejsem seo-optimalizátor. Mám dojem, že je titulek hodně důležitý." -
  • Stránky s neunikátními titulky mají velký problém
  • Meta tagy se ignorují (kromě robots, refresh)
  • Přednášející zauvažoval, že by se při zobrazování mohl zobrazovat description, pokud obsahuje klíčové slovo (podobně jako google)
  • Vyhledávač nemá rád věci, které na stránce nejsou přímo vidět (chybí kontakt mezi zadaným a viděným)
  • Doporučují se dělat SEO-friendly URL (oddělení pomlčkami - špatný příklad: jakpsatweb.cz ;-), co nejkratší URL (pouze krátké názvy domén (asi 3 slova) a i celkově URL)
  • Pokud má dokument víc možností URL, přesměrovat na jednu
  • Správně odpovídat chybovými stránkami (exp. 404, při systémových chybách 500 - jinak ban)

13.08 Hledání

  • cca do 250milis projde 40GB dat a zobrazí výsledek (cca 200dotazů za vteřinu)
  • Zpracování dotazu - rozloží na slova, pročistí (neznámé znaky), lemmatizace a doplnění diakritiky, výběr lemmatu ("TV nova" v. "nová TV"; stát - sloveso, podst. jm.; "Byt v Praze" v. "Být v Praze")
  • relevance: shodnost vzájemné pozice slov v textu (čím blíž si jsou, tím líp) oproti dotazu, shoda s původním tvarem slova se hodnotí v kategoriích: titulek, text po odstavcích (3x), URL, zpětné odkazy.
  • volně: 1000 x "sex" v titulku = 1 x "sex"
  • titulky mají velkou váhu, protože se téměř dá hledat pouze podle nich
  • texty zpětných odkazů jsou brány podle ranku
  • váhy se mění cca za 1/4 roku
  • výsledky jsou seřazeny čistě podle výsledné relevance
  • spojení mezi katalogem a fulltextem pouze ten, že se titulek z katalogu zaindexuje k dané stránce
  • při řazení se odstraňují podobné stránky a méně relevantní stránky ze stejného webu
  • podobná stránka se určí na základě charakteristických řetězců slov - N náhodně zvolených řetězců o M slovech. Podobná, když asi 8 z 10 řetezců je shodných.
  • problémové jsou eshopy
  • doporučení - neduplikovat zbytečně části stránek (i v rámci jednoho webu)
  • Zajímavý nápad: zapracovat speciální značky přímo do html "odtud až potud to indexuj"
  • problémy byly u screenshotgenerátoru a podvrhováním obrázků
  • operátory site: a ""

13.33 Vnitřnosti

Architektura:
Webovka se po zadání dotazu zeptá cache, pokud se nenajde, zeptá se search serveru, který si nechá sestavati další věcí od title serverů.
Hardware:
Search servery - IBM 346 - 11x (Dual Xeon 3GHz, ram 2GB, 6x SCSI 72GB, 15kRPM, RAID 0) - jeden server cca 120 000,- Kč. Běží na minimální výkon - hodně toho odfiltruje cache (Díky našeptávači;-)
Title servery - IBM 336 - 2x (Dual Xeon 3GHz, ram 2GB 14x SCSI 72GB, 15kRPM, RAID 1+0)
O. S. GNU Debian Linux "Sarge"
Seznamáckej fulltext není ničím zvláštní.

13.48 Administrační rozhraní

Informace o stránkách.
Menu: Url, domény (Hledat doménu, hledat doménu 2. řádu, přidat novou doménu, smazat doménu, zařadit url v doméně ke zpracování), hledání, problémy(informace o řešení, limity domén 2. řádu, limity domén, duplicitní domény, duplicity v parametrech), konfigurace, testy, uživatelé, monitoring.

U domény se dají vyspecifikovat ignorované parametry, frekvence dotazování.
U hledání se může zkoušet vyhledávání s různě nastavenými váhami.
Váhy jsou různé podle zadané fráze (víceslovné, jednoslovné...)
- jednoslovný - víc rank
- víceslovný - míň rank
U problematických stránek - duplicitní domény - jaká je hlavní

13.57 S-konec

Jestli bude svoleno zhora, možná se tu objeví i prezentace.
 

Buď první, kdo ohodnotí tento článek.

Komentáře

Zobrazit vše (159)
Zobrazit starší komentáře

101 Phil Phil | E-mail | Web | 16. června 2017 v 7:32 | Reagovat

Nice blog. Thanks

102 Alyssa Alyssa | E-mail | Web | 4. července 2017 v 14:13 | Reagovat

The lectures has done great job by giving structure of lecture so students can stay prepared for it and learn easily.

103 Julie Julie | 6. července 2017 v 12:06 | Reagovat

<b>nice</b>

104 David David | 6. července 2017 v 12:07 | Reagovat

[b]nice[/b]

105 David David | 6. července 2017 v 12:07 | Reagovat

http://www.abc.com

106 click reference click reference | E-mail | Web | 24. července 2017 v 10:04 | Reagovat

I recently came across your blog and have been reading along. I thought I would leave my first comment. I don’t know what to say except that I have enjoyed reading. Nice blog, I will keep visiting this blog very often.

107 like it like it | E-mail | Web | 26. července 2017 v 8:38 | Reagovat

It’s appropriate time to make some plans for the future and it is time to be happy. I have read this post and if I could I wish to suggest you few interesting things or advice. Perhaps you could write next articles referring to this article. I desire to read even more things about it!

108 C# Homework Help C# Homework Help | E-mail | Web | 26. července 2017 v 12:50 | Reagovat

The leading assignment help UK firm offers state of the art services to its clients with a promise of delivering all the required work well within the deadline.

109 https://www.spsshelponline.com/ https://www.spsshelponline.com/ | E-mail | Web | 28. července 2017 v 9:32 | Reagovat

I am so happy to read this. This is the kind of manual that needs to be given and not the random misinformation that's at the other blogs.

110 Reilly Wisozk Reilly Wisozk | E-mail | 28. července 2017 v 12:23 | Reagovat

Get the dissertation writing service students  look for these days with the prime focus being creating a well researched and lively content on any topic.<a href="https://www.medicaltheses.com/">https://www.medicaltheses.com/</a>

111 Caroline Caroline | E-mail | Web | 18. srpna 2017 v 12:49 | Reagovat

Thanks for sharing helpful Notes from anticipated lectures in the Tour List at MU MU .

112 loans for unemployed loans for unemployed | E-mail | Web | 12. září 2017 v 13:00 | Reagovat

visit to get quick loans in the uk

113 Spiritual Growth Spiritual Growth | E-mail | Web | 14. září 2017 v 17:03 | Reagovat

It is always exiting to read about the positive things that are happening in the world. Such posts inspire, enlighten and transform. Keep up with the good work.

114 chelsieanayas chelsieanayas | E-mail | Web | 25. září 2017 v 6:42 | Reagovat

I would be happy if you could help us

115 dumb ways to die dumb ways to die | E-mail | Web | 25. září 2017 v 6:42 | Reagovat

I hope my site will be Google accepted and put it ahead so that I can grow and hope that it will come to me.

116 Animation Design Expert Animation Design Expert | E-mail | Web | 5. října 2017 v 11:55 | Reagovat

When i visit any kind of a post, the very thing i look out for is the quality and professionalism of the content written. This is such a nice post, a page that have been written in a very professional manner. Do take time to check the link provided. The best Animation Design Experts are available with us.

117 People who are Hired to Write Research Papers People who are Hired to Write Research Papers | E-mail | Web | 20. listopadu 2017 v 7:27 | Reagovat

The best thing we can do when we come across the blogs which are written in such a professional manner and all we can do is to share with the others so that they can also get informed. In fact, when I read an article with such nice content, I get so much motivated.

118 findmegood findmegood | 30. listopadu 2017 v 11:10 | Reagovat

I am big fan of such lovely little things that smell so good. I have numerous aromatic candles at home! It helps me to relax after my working days. Looking for a <a href="https://findmegood.in">Wedding Photographer</a>?

119 Online shopping In Pakistan Online shopping In Pakistan | E-mail | Web | 11. prosince 2017 v 10:57 | Reagovat

UAL makes enough of a surplus to easily be able to subsidise 800 student places. Instead, it chooses to spend it on “state-of-the-art” buildings, which only the Vice-Chancellor seems to be impressed with, as well as ubiquitous advertising.

120 anna anna | E-mail | 14. prosince 2017 v 8:21 | Reagovat

The Process of the Perfect Dissertation by Perfect Writers UK
Perfect Writers UK is considered as the best dissertation writing service by students and tutors from all over the world. By great customer reviews, high-quality writing, best dissertation help and friendly customer support we are ranked as top dissertation writing service from in contrast to all other writing services. Perfect Writers UK differentiate itself by below-mentioned strategies:

We assign your dissertation to a specific professional dissertation writer who can furnish your dissertation with quality work and delivers it within your specified deadline.
We make sure your work is not plagiarised by scanning the whole dissertation through Turnitin UK.
Once your dissertation is completed, it is sent to the proofreading department for Quality Assurance.
Before it is handed over to you, it is formatted, appropriately referenced (Using Harvard Referencing Style)
The paper is checked through Grammarly for any grammar and structure errors which are corrected to satisfy you to the fullest.

121 Top SOP writing Websites Top SOP writing Websites | E-mail | Web | 22. prosince 2017 v 7:34 | Reagovat

Your post on "Notes from the lecture List Fujjtext" is a very unique one, not easy to find in other pages. I may have been looking for another type of information, but then finding this post was still a great chance to be informed. Locating companies that write SOPs may be a challenge to many people, but instead of looking for such services all the time, taking time to look at our website may help.

122 situs bandarq situs bandarq | E-mail | Web | 28. prosince 2017 v 6:43 | Reagovat

temui di mana di setiap website bonus referralnya akan berbeda seperti ada yang akan memberikan 15 sampai 20% tergantung dengan bonus yang sedang di berlakukan di website tersebut.

123 best  homeowner loans best homeowner loans | E-mail | Web | 12. ledna 2018 v 12:10 | Reagovat

Thanks.

124 Homeowner Loans Homeowner Loans | E-mail | Web | 12. ledna 2018 v 12:19 | Reagovat

Thanks for Sharing Information.

125 howeowner howeowner | E-mail | Web | 26. února 2018 v 23:31 | Reagovat

nikmati sensasi double chese

126 data poker data poker | E-mail | Web | 26. února 2018 v 23:31 | Reagovat

data data

127 Info judi sakong Info judi sakong | E-mail | Web | 18. března 2018 v 12:06 | Reagovat

website bonus referralnya akan berbeda seperti ada yang akan memberikan 15 sampai 20% tergantung dengan bonus yang sedang di berlakukan di website tersebut.

128 Childcare Assignment Help Childcare Assignment Help | E-mail | Web | 24. března 2018 v 11:30 | Reagovat

nice post

129 bandarq sakong online bandarq sakong online | E-mail | Web | 1. dubna 2018 v 14:32 | Reagovat

trik menang dan cara untuk menang bermain bandarq online. bonus melimpah

130 https://www.behance.net/gallery/43389157/Family-and-Education https://www.behance.net/gallery/43389157/Family-and-Education | E-mail | Web | 16. dubna 2018 v 20:37 | Reagovat

Thanks for sharing

131 dompecasino dompecasino | E-mail | Web | 28. dubna 2018 v 8:38 | Reagovat

thanks you  for the information, very interesting article

132 dompetpoker dompetpoker | E-mail | Web | 28. dubna 2018 v 8:39 | Reagovat

I really like this site

133 free essays online free essays online | E-mail | Web | 3. května 2018 v 13:21 | Reagovat

Great blog!
Thanks for sharing

134 Honoring God Honoring God | E-mail | Web | 4. května 2018 v 17:28 | Reagovat

Whenever I come across such content I usually feel the urge to have more people also make it to see the content. It is usually very comforting when haves access to such interesting blogs with such ease. I am very happy to be part of this platform and I am looking forward to seeing more posts in this site in the future.

135 domino online domino online | E-mail | Web | 11. května 2018 v 7:36 | Reagovat

kita dapat mendaftar keanggotaan di website judi Online terpercaya yang telah kita tetapkan barusan. Untuk sistem pendaftaran sendiri cukup gampang untuk Anda kerjakan karna Anda tinggal isi form yang telah disiapkan

136 https://papaly.com/jerriebeamer/dk9C1/My-First-Board https://papaly.com/jerriebeamer/dk9C1/My-First-Board | E-mail | Web | 5. června 2018 v 23:30 | Reagovat

It's true. Thank you for sharing the inspiring post

137 https://www.kiwibox.com/ricki_humes/blog/0/ https://www.kiwibox.com/ricki_humes/blog/0/ | E-mail | Web | 17. července 2018 v 14:45 | Reagovat

Thanks for sharing
I appreciate this work amazing post for us I like it.

138 Neha Neha | E-mail | Web | 19. července 2018 v 22:40 | Reagovat

I love it

139 assignment assignment | E-mail | 20. července 2018 v 20:13 | Reagovat

I am very happy to read this. This is the kind of manual that needs to be given and not the random misinformation that’s at the other blogs. Appreciate your sharing this best posting. <a href="https://www.makemyassignments.com/assignment-maker/">Assignment Maker</a>

140 <a href="https://www.marketingassignmentz.com/">marketing assignment help australia</a> <a href="https://www.marketingassignmentz.com/">marketing assignment help australia</a> | E-mail | Web | 1. srpna 2018 v 9:49 | Reagovat

Such A Nice Post, Keep Providing Good Resources.https://www.marketingassignmentz.com

141 MathCad Assignment Help MathCad Assignment Help | E-mail | Web | 1. srpna 2018 v 11:54 | Reagovat

Hi Buddy, Your Blog' S Design Is Simple And Clean And I Like It. Your Blog Posts About Online Dissertation Help Are Superb. Please Keep Them Coming. Greets!!http://www.mathcadhelp.com

142 https://www.goodreads.com/user/show/84575770-alanah-grant https://www.goodreads.com/user/show/84575770-alanah-grant | E-mail | Web | 25. srpna 2018 v 11:30 | Reagovat

The information in this article is really unique and useful for me.!!!!!!!
Very good work

143 https://knowyourmeme.com/users/lynn-casey https://knowyourmeme.com/users/lynn-casey | E-mail | Web | 20. září 2018 v 22:08 | Reagovat

I appreciate this work amazing post for us I like it.    
It's true. Thank you for sharing the inspiring post.
The information in this article is really unique and useful for me.!!!!!!!
I Loved The Way You Discuss The Topic Great Work Thanks For The Share Your Informative Post.

144 https://www.motorlegend.com/membre/creativeacademic.html https://www.motorlegend.com/membre/creativeacademic.html | E-mail | Web | 18. října 2018 v 20:34 | Reagovat

Thank you for the interesting and exclusive comprehensive information :)

145 http://www.866mymajor.com/forum/viewmessages.cfm?Forum=47&Topic=4804 http://www.866mymajor.com/forum/viewmessages.cfm?Forum=47&Topic=4804 | E-mail | Web | 24. listopadu 2018 v 20:21 | Reagovat

Thank you for the interesting and exclusive comprehensive information :)
Very good  information. nice day!

146 www.qualityassignment.co.uk www.qualityassignment.co.uk | E-mail | Web | 14. prosince 2018 v 8:35 | Reagovat

It’s great that you tried to give here Notes from the lecture List Fujjtext. And I am impressed after reading your article on Štěpán Škrob introduced the lecture. Keep sharing.

147 robertavellanet.net robertavellanet.net | E-mail | Web | 12. ledna 2019 v 19:03 | Reagovat

Hmm i agree with this topic and the content written here, its our city and its our generation that we have to look and worry about, thank you for this wonderful article it was fun and refreshing to read, you guys are amazing for bringing this to us!

148 SMS Marketing SMS Marketing | E-mail | Web | 21. března 2019 v 6:46 | Reagovat

SMS marketing has become a gem of a promotion tool around the holidays. Businesses use this to draw consumers using events like the super bowl, world cup, 4th of July and Christmas. This results into a more customers who have been emotionally influenced to rush into your stores and purchase your product or service.

149 sara taylor sara taylor | E-mail | Web | 1. května 2019 v 12:24 | Reagovat

nice and lovely mattresses for sleeping

<a href="https://topnaturalmattresses.com/best-mattress-for-side-sleepers/"> best mattress for side sleepers</a>

150 giitar giitar | E-mail | Web | 6. září 2019 v 0:20 | Reagovat

good

151 Programming Assignment Help Programming Assignment Help | E-mail | Web | 12. září 2019 v 14:52 | Reagovat

Do you need programming assignment help for A+ grade? You can take the help from an online assignment help master to get your coursework composed, however you may not make certain of it on the off chance that you don't think about the upsides of getting your assignment written online.

152 editing proofreading service editing proofreading service | E-mail | Web | 14. října 2019 v 8:16 | Reagovat

If you are looking for the proofreading and editing service and assignment help service provider then you should go for AllAssignmentHelp.com. We offer all types of subjects assignment helps at the best price.

153 escorts in delhi escorts in delhi | E-mail | Web | 19. října 2019 v 8:37 | Reagovat

I never heard this story on other site, extraordinary review man. Thanks and keep it up.

154 Visakhapatnam Call girls Visakhapatnam Call girls | E-mail | Web | 23. října 2019 v 9:15 | Reagovat

best site and everything is best and unique, thank you for this awesome blog.

155 Vashikaran Specialist in Delhi Vashikaran Specialist in Delhi | E-mail | Web | 23. října 2019 v 9:27 | Reagovat

Wow everyone has polite behavior toward new visitors of your blog. Keep it up, thank you all.

156 online assignment help cheap online assignment help cheap | E-mail | Web | 2. listopadu 2019 v 11:21 | Reagovat

If you are looking for the online assignment help cheap and assignment help service provider then you should definitely go for AllAssignmentHelp.com. We offer all types of subjects assignment helps at the best price.

157 Noida Escorts Noida Escorts | E-mail | Web | 9. listopadu 2019 v 13:14 | Reagovat

Usually people come and read and go back, they never angae with post but in your case if's totally different. Great dude.

158 Linnea Right Linnea Right | E-mail | Web | 16. listopadu 2019 v 9:46 | Reagovat

The college students who wish to score top grades in exams but fails due to fewer marks in submitted projects can get custom coursework writing service.

159 Delhi escorts Delhi escorts | E-mail | Web | 20. listopadu 2019 v 5:55 | Reagovat

Great things happens everytime when i come to see this blog, thanks for this uniquness.
http://www.ruchichadda.com/delhi-escorts-real-instagram-photo.html

Nový komentář

Přihlásit se
  Ještě nemáte vlastní web? Můžete si jej zdarma založit na Blog.cz.
 

Aktuální články

Reklama