Testy LCzero

  Všechny doposud odehrané partie -> LCZero all games PHCEL

  Zápas proti Pedone s mou binární knihou (ph-book2010-small). Pedone 1.7 - Lc0 v0.17.0-blas-id11149_12m+5s +16=4-0. Pedone asi není pro LC0 příjemný soupeř. Jak ukázaly gauntlety, problematické jsou pro LC0 chytré motory - ty se nenechají tak snadno přetlačit a taktické chyby pak rozhodnou. Kromě toho další problém je, že oficiální 0.17 je patrně horší, jak rc2. Dalších asi pět překročení času, z toho jednou ve vyhrané pozici pár tahů do matu, dvakrát v rovné partii. Mimo to i divné rozložení času, několik dalších partií pokaženo při hře s pouhým bonusem. Zápas měl dvě části. První polovina (10:0!) LC0 uci options: NN backend to use=1 (blas, opencl crashed), Minibatch size for NN inference=16. Ve druhé půli (2:8) jsem ještě snížil Scale thinking time=2.400000 na 1.600000. Možná příliš, můj odhad pro další zápas je tak 1.8-1.9. Až do verze 0.10 tyto potíže LC0 neměl, neviděl jsem ani jedno překročení času. Nyní to vypadá, že kompilace vytváří někdo, kdo snad rozumí rychlosti, ale ne stabilitě a spotřebě času... Opravdu mi opouští chut se na samoučení sítí dále podílet, zvrhává se to v totální amatérštinu. A to máme další restart samoučení...

  Zápas proti Texel s jeho vlastní binární knihou -> Texel 1.08a11 - Lc0 v0.17.0-blas-id11149_12m+5s +9=2-1. Na rozdíl od rc2 verze ta nová 0.17 zase dvakrát překročila časový limit, patrně v rovné pozici. Pokud bych je považoval za remízy, performance sítě 11149 na mém notebooku by byla přibližně 3060 ELO - úroveň Cheng, Alfil, Crafty... A Hiarcs na dostřel - bohužel, když je zřejmě potíž tento program, ještě tak před 10 lety možná světovou dvojku, přepsat na 64 bit. Dnes je asi spíš prioritou hledat, co kdo kde opsal, což zase nezajímá většinu uživatelů.

  Další zápas proti Chiron s jeho vlastní binární knihou -> Chiron 4 64bit - Lc0 v0.17.0-rc2-blas-id10968_12m+5s +9=9-2. To už je lepší. Nějakou dobu mi zabralo, než jsem nalezl funkční nastavení nové verze, které by nepadalo, aktuálně mám sice verzi opencl, ale nastavení musí být NN backend to use=1, tedy blas. Při 0, opencl, mi motor padá... Další změna proti standartu je Minibatch size for NN inference=16, při původní hodnotě 256 překračuje čas.

  Zápas proti Chiron s jeho vlastní binární knihou -> LCZero 0.10-id570 - Chiron 4 64bit_12m+5s +0=4-8. Docela nářez, ale LC0 se s posledními sítěmi začíná srovnávat se Spike, Chiron je o 200 ELO výš.

  Zápas proti Spike s knihovnou SpikeTurnPH-Book (turnajová kniha, kterou jsem vyvíjel v letech 2006-8, docela jsem si s ní vyhrál), 12m+5s -> partie. Hned tři zápasy v jednom. LC0 přišel s aktualizací programu 0.16. A tak jsem nainstaloval variantu opencl, protože mám kartu Radeon a ne NVidia. S klientem to chodí, ale při běhu v GUI to po chvíli začne produkovat chybové hlášky.
Spike 1.4 - LCZero 0.16opencl id 532 1.5:0.5 +1/=1/-0 druhá partie prohraná na čas, ve třetí LC0 ani nezahájil hru, ukončeno.
Spike 1.4 - LCzero v0.10-id532 16.5:15.5 +11/=11/-10 tady sít potvrdila kvalitu a se starou verzí programu 0.10 proti nejlepší knize nejlepší výsledek.
Spike 1.4 - LCZero 0.16blas id 532 14.0:2.0 +12/=4/-0 a tak dostala šanci jiná kompilace 0.16. Funguje, ale výsledek je jasný průšvih. Čtyři prohry na čas, jedna ve vyhrané pozici. Očividně se něco nepovedlo. K tomu zmizela podpora Syzygy a VisibleThinking. Jsem rozladěný. Musím dál používat 0.10.
Kniha Spike SpikeTurnPH-Book.

  Zápas proti Spike s knihovnou knihovnou C90-C94 (snaží se o zejména o zavřenou španělskou kromě Čigorina), 12m+5s -> LCZero 0.10-id501 -Spike_SpikeC90-C95Book_12m+5s +5=2-9. Nic moc, čekal se lepší výsledek. Kniha Spike SpikeC90-C95Book.

  Zápas proti Scorpio, oba s mojí testovací knihou, takže se varianty hrály vždy za obě strany -> LCZero 0.10-id501 - Scorpio 2.8.6A_12m+5s +8=2-6. Scorpio má nově též nějakou znalostní sít, takže jsem mu ponechal zapnuté MCS a net6. Rozhodla pátá varianta, kdy LCZ vyhrál za obě strany, jinak identické výsledky.

  Zápas proti Arasan s jeho vlastní binární knihou -> LCZero 0.10-id501 - Arasan 20.5_12m+5s +0=1-5. Těžký debakl, ale málo partií, třeba by se LCZ časem chytil. Jen vyplnění času, nebyl důvod pokračovat, když má Arasan již verzi 21.0.

  Zápas proti Spike s knihovnou knihovnou C84-C89 (snaží se o zejména o zavřenou španělskou), 12m+5s -> LCZero 0.10-id501 -Spike_SpikeC84-C89Book_12m+5s +8=4-12. Protože nebyl čas aktualizovat nové verze pro švýcar serie 5, hrály se tu nějaké zápasy. Sít 501 je dobrá, ale jestli předčí předtím použitou 495, těžko odhadovat. Kniha Spike SpikeC84-C89Book.

  Zápas proti Spike s knihovnou knihovnou C80-C83 (snaží se o zejména o otevřenou španělskou), 12m+5s -> LCZero 0.10-id494 -Spike_SpikeC80-C83Book_12m+5s +4=7-7. Hrály se omylem dvě partie navíc a LCZero obě prohrál... Vypadá to, že ztráta po restartu je smazána, id 494 a ještě lepší 495 jsou asi již lepší, jak id 359 před restartem. I Mojžíš bloudil 40 dní pouští... Ted jen, kdy zase narazíme na strop? Obávám se, že bez programových změn to nepůjde, samoučení taktickou slepotu úplně nenahradí. Kniha Spike SpikeC80-C83Book.

  Gauntlety LCero 2+2, soupeři se zobrazí po najetí na číslo sloupce tabulky.
(knihovny - LCZ PH-TestBook2017.ctg, Junior vlastní binární, ostatní Hiarcs14zaBook.ctg, ctg knihy nastavení normal, min 15, depth 30)
č. id12345678910body/partie%PH-ELO
LCZero 0.10-359+0=3-9+7=1-4+2=4-6+8=2-2+0=2-10+5=4-3+2=5-5+7=2-3+4=3-5+1=4-751.0/12042.502943
LCZero 0.10-390+0=5-7+6=2-4+2=3-7+6=4-2+2=2-8+4=2-6+2=4-6+5=3-4+4=2-6+1=6-548.5/12040.422928
LCZero 0.10-483+0=3-9+7=3-2+0=3-9+5=6-1+1=4-7+4=2-6+3=4-5+3=6-3+5=3-4+2=4-649.0/12040.832931
LCZero 0.10-495+1=0-11+8=3-1+1=3-8+7=2-3+3=5-4+4=5-3+4=3-5+7=3-2+6=2-4+3=3-658.5/12048.752987

  Partie: lc0gauntlet-id359, lc0gauntlet-id390, lc0gauntlet-id483, lc0gauntlet-id495

  Zápas proti Spike s knihovnou knihovnou C68-C79 (snaží se o španělskou s a6, odbočky až někam k Marshallovi), 12m+5s -> LCZero 0.10-id462 -Spike_SpikeC68-C79Book_12m+5s +2=6-8. Ale kdepak, před restartem to asi bylo silnější, chce to ještě tak dva týdny nejméně... Kniha Spike SpikeC68-C79Book.

  Zápas proti Spike s knihovnou knihovnou C60-C67 (snaží se o španělskou bez a6), 12m+5s -> LCZero 0.10-id455 -Spike_SpikeC60-C67Book_12m+5s +4=6-6. Začíná to vypadat, že rány po restartu samoučení jsou zahojeny. Teď je tedy otázka, zda se naplní naděje autorů, že se program nyní při samoučení nezacyklí, jako posledně. Myslím, že se síla dostane trochu dál, ale o moc ne, to je můj tip... Kniha Spike SpikeC60-C67Book.

  Zápas proti Spike s knihovnou Sizilian_e5 (snaží se o e5 v sicilské), 12m+5s -> LCZero 0.10-id446 -Spike_SpikeSizilian_e5Book_12m+5s +4=4-8. Po čase zase trochu naděje. Ale ty poslední předrestartové sítě odehrály i lepší zápasy. Kniha Spike SpikeSizilian_e5Book.

  Zápas proti Spike s knihovnou Sizilian_g6 (snaží se o g6 v sicilské), 12m+5s -> LCZero 0.10-id443 -Spike_SpikeSizilian_g6Book_12m+5s +0=6-10. Podobně jako předešlý zápas. A Drak byl k vidění jen jeden... Kniha Spike SpikeSizilian_g6Book.

  Zápas proti Spike s knihovnou C50-C59 (snaží se především o Italskou a Dva jezdce.), 12m+5s -> LCZero 0.10-id437 -Spike_SpikeC50-C59Book_12m+5s +0=5-11. Tragédie. Ač má id 437 po restartu samoučení na testovací stránce nepatrně vyšší rating, jak starý id 359, ve skutečnosti je nejméně o 100 reálných ELO bodů slabší. Ten restart byl podle mě chybou, ten program by spíš potřeboval vylepšit po programátorské stránce. Monte Carlo search by se snad mohl používat jen v klidové pozici,takhle LC vidí taktiku moc pozdě - zcela stejně i Komodo a Scorpio, pokud mají MCS zapnuté. A na italské téma bohužel také nedošlo... Kniha Spike SpikeC50-C59Book.

  Zápas proti Spike s knihovnou Scotch (snaží se o Skotskou za obě strany), 12m+5s -> LCZero 0.10-id359 -Spike_SpikeScotchBook_12m+5s +2=5-9, pořádný nářez, asi ten optimismus po předchozích docela vyrovnaných zápasech nebyl úplně na místě. Taktické díry tam pořád jsou. Kniha Spike SpikeScotchBook.

  Zápas proti Spike s knihovnou C40-C49 (snaží se především o hru čtyř jezdců za obě strany. Na Skotskou má knihovnu zvlášť), 12m+5s -> LCZero 0.10-id359 -Spike_SpikeC40-C49Book_12m+5s +4=7-5, krok zpět. Ale - zahájení použitá bílými od Spike zde jsou asi přeci jen lepší, jak ta v minulém zápase. Navíc se ten zápas hrál na třikrát a je zajímavé, co s průběhem zápasu může udělat neplánovaný restart. Debilní Microshit to už s povinnými aktualizacemi přehání tak, že klidně restartuje bez schválení majitele PC uprostřed práce. První tři partie vyhrálo LCZero a ta čtvrtá restartovaná mi připadala, že za něj stála též dobře. Po navázání zápasu o den později to vypadalo, že najednou hrají jiné dva motory! A kvůli času se to típlo o dvě partie dříve, které se pak dohrávaly další den později. Kniha Spike SpikeC40-C49Book.

  Zápas proti Spike s knihovnou C20-C29 (snaží se méně obehrané otevřené hry za obě strany), 12m+5s -> LCZero 0.10-id359 -Spike_SpikeC20-C29Book_12m+5s +5=6-5, opět zlepšení, ovšem Spike musel hrát bílými přeci jen méně náročné věci. Pokud vidím v něčem posun, pak asi v tom, že nyní to vypadá, že LCO skutečně nyní dokáže Spike přerávat. Partie jsou pak o tom, zda přitom nezkazí pozici nějakou nepochopenou taktikou. Starší verze sítí se proti Spike v podstatě nechytaly. Kniha Spike SpikeC20-C29Book.

  Zápas proti Spike s knihovnou Hry dámským pěšcem (snaží se hrát Pěšcem dámy za obě strany), 12m+5s -> LCZero 0.10-id330 -Spike_SpikeD00-D09Book_12m+5s +4=6-6, vypadá to na další zlepšení, ale je také možné, že ty pozice Spike nevyhovovaly, přeci jen, proti LC0 on potřebuje otevřené pozice s taktikou, v zavřených či klidných je spíše přehráván. Příště bude myslím Vídeňská a Střelcova - C2. Kniha Spike SpikeD00-D09Book.

  Zápas proti Spike s CaroKann knihovnou (snaží se hrát Caro-Kann oběma stranami), 12m+5s -> LCZero 0.10-id323 - Spike 1.4_SpikeCaroKannBook_12m+5s +2=3-11
  Zápas proti Spike s Pirc knihovnou (snaží se hrát Pirc oběma stranami), 12m+5s -> LCZero 0.10-id323 - Spike 1.4_SpikePircBook_12m+5s +3=6-7, zlepšení tam zdá se je... Vypadalo to i lépe, ale poslední tři partie LC0 prohrál, i díky taktice. Okénka tam stále jsou. I když to nebylo tak tragikomické jako id 300 v předchozím zápase. Kniha Spike SpikePircBook.

  Zápas proti Spike s CaroKann knihovnou (snaží se hrát Caro-Kann oběma stranami), 12m+5s -> LCZero 0.10-id300 - Spike 1.4_SpikeCaroKannBook_12m+5s +2=3-11
LCZ měl mou standartní knihovnu pro testy PH-TestBook2017.ctg, Spike pak zde konkrétně SpikeCaroKannBook. Pokud si pamatuji, tehdejší testovací zápas naznačoval, že Spike Caro-Kann až tolik nesedí, pokud zde vyhrál zápas tak jasně, zdá se, že ta nová síť, nebo možná nová, údajně opravená verze programu, je nějaká slabá. Tak od oka mi připadalo, že taktické díry LCZ byly zde podstatně horší.

  Zápas proti Spike s French knihovnou (snaží se hrát Francouzskou oběma stranami), 12m+5s -> LCZero 0.8-id253 - Spike 1.4_SpikeFrenchBook_12m+5s +2=4-10
LCZ měl mou standartní knihovnu pro testy PH-TestBook2017.ctg, Spike pak zde konkrétně SpikeFrenchBook. Tehdejší testovací zápas Spike s Hiarcsem ukázal, že kniha je místy děravá, pak vznikla ještě užší trochu solidnější SpikeFrenchBook2. Ta zde nebyla použita, hlavním smyslem tehdejší tvorby knihoven byl trénink zahájení.

  Zápas proti Spike s "odd" knihovnou (méně standartní zahájení), 12m+5s -> LCZero 0.8-id253 - Spike 1.4_SpikeOddBook_12m+5s +2=6-8
LCZ měl mou standartní knihovnu pro testy PH-TestBook2017.ctg, Spike pak zde konkrétně SpikeOddBook. O dost lepší, jak minule. Ale to jsem testoval již tehdy, že Spike s Odd knihovnou hraje hůře, asi mu méně standartní pozice tolik nesedí. Ze strany LC0 dvě pěkné strategické výhry, zejména ta první ze 4.partie stojí za přehrání. Poziční výměna dámy za dva střelce s pěšcem plus pozici. Programy takové pozice obvykle s dámou vyhrávají, když ustojí úvodní tlak a pak dáma soupeřovu pozici rozebere. Třeba aktuálně takhle dost prohrává Fritz 16-Rybka. Ale tady to Spike neustál.

  Zápas proti Spike s gambitovou knihovnou, 12m+5s -> LCZero 0.8-id253 - Spike 1.4_SpikeGambitBook_12m+5s +0=5-11
  Zrovna moc gambitů se tedy nehrálo... LCZ měl mou standartní knihovnu pro testy PH-TestBook2017.ctg, Spike pak budu postupně dávat ty své, které jsem vytvářel na přelomu let 2006 a 2007, zde konkrétně SpikeGambitBook. Vypadá to, že Spike zatím přetlačit nedokáže a taktická přehlédnutí jsou tvrdě trestána.

  Zápas proti ProDeo, Královský gambit, 2m+2s -> LCZero 0.8-id237 - ProDeo 2.6_KingGambit_2m+2s +14=5-13
  Zápas proti ProDeo, Albin, 12m+5s -> LCZero 0.8-id237 - ProDeo 2.6_Albin_12m+5s +9=6-9
Rebela ProDeo vícemémě přehrává, ale dává si vlastní góly hrubými chybami. Problémem jsou vazby a odtahy.