Blog kindly.cz
kindly.cz

Kindly.cz převádí RSS feedy z prostředí převážně českého internetu do MOBI formátu a umožňuje objednat jejich doručování přímo do čtečky Kindle.

TwitterFacebookPage

Search

November 14th, 9:37pm 2 comments

Rosteme

Určitě jste zaznamenali, že v posledních dnech a týdnech Vám do krmivo do čtečky chodilo z kindly.cz pozdě nebo vůbce. Problémy se kupily až nakonec vyústily v úplné přerušení odesílání mailů. Emaily byly posílány přes Google SMTP z Google Apps, kde je denní limit 500 odeslaných mailů z jednoho účtu. Kindly.cz používalo přes deset odesílacích účtů, aby rozložilo zátěž, ale zjevně má Google nějakou dodatečnou neznámou hranici a pokud je denně odesláno z jedné domény více mailů, služba přestane další požadavky přijímat a odesílací účty zablokuje. Navíc začal Google SMTP server drtivou většinu emailů vracet s odkazem na podezření, že obsahem je spam. 

V obou případech dávám Googlu zcela zapravdu, nějakou ochranu před zneužitím pro tyto zdarma poskytované služby mít musí. Bylo jasné, že velikost našeho webu přerostla jednoduchá a levná řešení a je načase poohlédnout se po spolehlivějším odesílání emailů. Placený hosting s dostatečnými limity se zdál být ideální volbou, ale denních 5000-6000 emailů a díky přílohám odchozí traffic okolo 5GB (díky adrese @kindle.com je to traffic do USA) se nevejde do představy hostingů o "neomezeném" trafficu. Buď prostě není možné tolik mailů posílat, nebo jsou extra poplatky za tuto služnu úplně nesmyslné.

Nakonec jsem se tedy vrátil zpět k Google App Enginu, na kterém běží web kindly.cz - emailové zasílání bylo řešeno odděleně stranou, protože App Engine nepodporuje SMTP. Samotný web provozujeme i s novým ceníkem prakticky zdarma a tak jsem se podíval, kolik by stálo využití emailových služeb App Enginu. Ukázalo se, že je to výrazně levnější, než nejlevnější nabídka a navíc můžeme škálovat prakticky neomezeně - no, mail API se smí volat maximálně 1 771 789 denně, ale dá se dohodnout více.

App Engine je sice nejlevnější, ale ne úplně zdarma. Mnozí uživatelé už mě dříve kontaktovali, že by rádi přispěli na provoz webu. S poděkováním jsem odmítal s tím, že provoz webu je zdarma a není tak na co vybírat. To se však nyní změnilo a tak, pokud je někdo s poskytovanými službami spokojen a chtěl by přispět na provoz, přidal jsem na web Paypal Donate tlačítko, které najdete v pravém sloupci dole. 

Provoz kindly.cz vychází na $0.5 - $1 denně. Pokud třetina z více než 1500 uživatelů přispěje aspoň dolarem (no, doufám že trochu víc, z dolaru po PayPal poplatcích moc nezbyde) máme na rok provozu vyděláno. Pokud náhodou vybereme výrazně více, než bude rozumně potřeba, udělal bych hlasování o nějaké charitě, kam se přebytečné peníze převedou. Něco jako dodávka knížek do dětských domovů by mohlo být vzhledem k povaze serveru perfektní.

Donate

Posted by enty
May 19th, 4:34pm 6 comments

Střelba do vlastních řad

Během dnešního dne se objevila zpráva, že Kindle pravděpodobně začne podporovat formát EPUB. Zdánlivě banální informace rychle zavířila českým internetem. Nepodpora tohoto formátu (hlavně jeho Adobe DRM podoby) byla totiž trnem v oku mnohých (nejen českých) vydavatelů. Kindle totiž stran DRM dosud nabízí pouze vlastní formát AZW, což je DRM nadstavba volného MOBI formátu. Tímto přístupem prakticky znemožňuje třetím stranám nabízet pro Kindle knihy chráněné DRM. A protože Amazon nenabízí ve svém obchodě české knihy, tak pro pravděpodobně nejrozšířenější čtečku v ČR není mnoho možností jak sehnat legální česká díla. Prakticky jedinou zůstává "sociální DRM", jak ho praktikují například PalmKnihy.

Zůstává otázkou, zda v rámci podpory EPUB formátu nabídne Amazon i podporu nějaké formu otevřeného DRM - ať už Adobe nebo jiného. Osobně si myslím, že ano, protože pokud formát EPUB opravdu bude podporovat z důvodů účasti ve výpůjčním systému OverDrive, tak by to právě bez podpory Adobe DRM, kterým je většina tamních titulů opatřena, nemělo smysl.
Co je možná zajímavější, než samotná zpráva a smíšené reakce českého internetu, jsou dlouhodobější důsledky této zprávy pro český knižní trh. Nepodpora EPUB DRM ze strany Kindle byla určitě jedním z důvodů pro vznik velkého množství různých proprietárních řešení jako např. lokální Wooky. Pokud půjde číst české knihy legálně na Kindlu, šance na úspěch tohoto systému prudce klesají. Obrovská tržní síla Amazonu v tomto případě připomíná Apple, který také škrtem pera kácí firmy a celé trhy. Rozhodnutí Amazonu o podpoře či nepodpoře konkrétního formátu, DRM či trhu tak může mít drtivé dopady na místní knižní průmysl.
A potažmo také na služby jako je naše kindly.cz, konvertující webový obsah pro čtení na Kindle. Všechny tyto služby využívají distribučního systému Whispersync pro dodání souborů přímo do čtečky. Využívají přitom jednoduché emailové rozhraní, které Amazon nabízí vlastníkům čtečky pro "Osobní dokumenty". 
Ve své podstatě obdobné služby přímo konkurují Amazonu, který prodává předplatné pro noviny, časopisy a blogy (samozřejmě, že o zisky z prodeje se dělí se zmíněnými periodiky). To, že v současné době nepůsobí na českém trhu nebo že obdobné (často ilegální - pracující bez svolení vlastníků dotčených webů) služby trpí i na "svém" trhu neznamená, že to tak bude napořád. Všimněte si, že dodání dokumentu skrze emailovou adresu je ve všech materiálech definováno jako Personal Document Delivery. V tuto chvíli jsou služby tolerovány, počítám, že v rámci snahy Amazonu o získání co největšího tržního podílu. Jakmile se však Amazon rozhodne vydělávat, je otázkou jednoho prohlášení a hodiny, během které zablokuje příjem dokumentů z rozesílacích adres služeb (snadno identifikuje ve svém systému adresy posílající na Kindly každý den tisíce emailů) s odkazem na Personal Document definici. To se samozřejmě týká i Kindle edicí iDnes, VTM a dalších, kteří si ji zajišťují vlastními silami, nicméně pro distribuci používají stejného mechanismu.
Uživatelům pak nezbyde, než zaplatit za předplatné velkých deníků (pokud se rozhodnou s Amazonem spolupracovat) nebo se vrátit k vlastní konverzi pomocí Calibre a dalších. Snad v té době bude Kindle USB port stále funkční i pro přenos souborů a ne jen pro nabíjení.
Posted by enty
May 17th, 11:06am 2 comments

Měsíc provozu

Kindly.cz je v provozu něco málo přes měsíc. V původním plánu bylo rychlejší a častější uvádění nových funkcí, bohužel správa webu, vychytání drobných mušek a přidávání nových zdrojů (to zejména) sebralo víc času a sil, než jsem čekal.

Přes všechnu snahu, došlo ke třem výpadků, kdy byly emaily do Vašich Kindlíků doručeny se zpožděním či vůbec. Jak to tak bývá, většinou šlo o problémy zaviněné lidským faktorem (eufemismus pro slovo Já :-).
Doufám, že do budoucna budou výpadky vzácné nebo zmizí úplně (no, úplně určitě ne). Prostředkem, jak toho dosáhnout je maximální automatizace všech funkcí, úprava designu aplikace aby s výpadky počítala a redundance kritických částí. Vzhledem k rozpočtu kindly.cz (0Kč) to bude vždy o hledání kompromisu. Teď proběhne ještě jedno kolečko intenzivního přidávání nových zdrojů a pak se pravděpodobně budou chvilku kupit ve Wishlistu a já budu pracovat na nových funkcích webu.

Po měsíci provozu je zaregistrovaných 650 uživatelů a doposud bylo odesláno přes 55000 emailů (aktuálně se posílá přes 2200 emailů denně). Tři zdroje již mají přes 200 odběratelů
Sliboval jsem statistiku čteček, které zaregistrovaní uživatelé používají, tak tady ji máte:
Croppercapture3
Posted by enty
April 29th, 1:32pm 0 comments

Statistika nuda je

V Google Analytics jsem narazil na pěkné rozdělení návštěvníků podle regionu. Ponechme stranou nakolik je taková geolokace přesná a rovnou juknem na report:

Cr
Asi není překvapením postavení Prahy, ale obával jsem se, že to bude ještě nerovnoměrnější. Podle teček na mapě jsou ale Knedlíci rozmístěni po celém Česku a ne jen na ose Praha - D1 - Brno. Těší mne, že nám Google zařadil do první desítky i dvě pivka :) Pokud bychom se chtěli dobrat k počtům zaregistrovaných uživatelů kindly.cz v jednotlivých městech, bude to trochu těžší. Pokud porovnám návštěvníky webu a zaregistrované uživatele, vychází na jednoho zaregistrovaného cca 15 návštěv. Takhle tedy vypadají počty v 10 největších městech:
  1. Prague 228
  2. Brno 54
  3. Bratislava 23
  4. Ostrava 17
  5. Pilsen 13
  6. (not set) 11
  7. Liberec 8
  8. Olomouc 7
  9. Hradec Kralove 7
  10. Budweis 6  

Příště se juknem na rozdělení uživatelů podle typu čtečky. Případně se to objeví na stránce se statistikami.
Posted by enty
April 28th, 11:52am 2 comments

Trochu technických informací

Pár lidí se mě ptalo, na jaké platformě je kindly.cz provozováno. Původní plán spustit to celé na Google App Engine vzal za své, když jsem skoro až ke konci vývoje zjistil, že App Engine neodesílá emailem přílohy typu MOBI. Přehlédl jsem tuto malou poznámku. V tu chvíli jsem měl chuť s tím praštit a nechat vývoj služby na někom jiném.

Nakonec jsem se zakousl a abych nemusel zahodit veškerou dosavadní práci, rozdělil jsem službu na dvě části. Na App Enginu zůstalo webové rozhraní, správa účtů a scheduling odesílání. Servisní část, narychlo spíchnutá v ASP.NET, se stará o konverzi feedů do MOBI a jejich samotné odesílání na cílové emaily (odeslání se děje na základě pokynů scheduling enginu v App Enginu). Spolu si povídají přes jednoduché REST API.
Provozování webových aplikací na Google App Engine je opravdu příjemné. Stačí naprogramovat aplikaci. Jako běhové prostředí jsou zatím dostupné Python a Java. Já jsem kindly.cz využil pro seznámení se s Pythonem. Google se stará o "nudné" úkony jako nasazení, správa verzí, škálování, konfigurace, dostupnost, zálohování a o ostatní - a stará se dobře. Krom toho poskytuje užitečné a přehledné kontrolní centrum aplikace (Dashboard), které odhalí a pomůže řešit nenadálé problémy či úzká hrdla aplikace. Největší výhodou je jistě provoz na dobře škálovatelné Google infrastruktuře. Zmínka o vašem webu na hlavní stránce iDnes tak nepoloží váš web a nepřivodí infarkt vašemu hostingu.
A kolik to všechno stojí? Nic. Provozování aplikací na Google App Engine je zdarma. Tedy je zdarma do určitého množství spotřebovaných prostředků (jako je procesorový čas, bandwidth, volání DB, množství odeslaných mailů apod.). K dispozici jsou určité denní kvóty (a také spotové kvóty pro maximální rychlost spotřebovávání prostředků). Jak je u Googlu zvykem, kvóty se neustále zvyšují, nyní jsou zdarma k dispozici prostředky cca ekvivalentní provozu typické aplikace s 5 miliony návštěvníků měsíčně. Kdo potřebuje prostředků více, může si je snadno připlatit, ceny jsou příznivé a platíte opravdu jen za to, co spotřebováváte.
No a jak je na tom kindly.cz
Appengine
Na konci 24 hodinového měřeného úseku je jedinou významnou spotřebovávanou položkou procesorový čas a uložená data. Čas CPU je v drtivé většině způsoben příliš bohorovným přístupem k DB, který se dá po lehké optimalizaci stlačit na desetinu. Uložená data pak z 99% tvoří logy, které lze kdykoliv promáznout. Kindly.cz tedy může bez větších změn vyrůst na cca stonásobek současného provozu a bude stát stále stejně = 0Kč. Strop provozu zdarma je zatím daleko a jeho dosažení by znamenalo cca 50 000 registrovaných uživatelů. Tak sem s nimi :) 
Posted by enty
April 19th, 9:53am 0 comments

První týden...

#0 Kindly.cz
má za sebou první týden provozu a protože už nemám sílu vytvářet ještě separátní blog, tak použiju tenhle jednoduchý zápisník.

#1  Díky
První dík mé ženě, která posledních pár večerů viděla jen moje záda na pozadí světélkujícího monitoru, protože kindly.cz mě neživí (ani nebude) a kradu na něj čas, jak se dá.
Druhý dík pak všem, kteří posílali slova podpory, chvály a kritiky, bylo jich mnoho a nedokážu všem odpovídat jednotlivě. Nečekal jsem, že za necelý týden od spuštění bude zaregistrováno  přes 200uživatelů a odesláno přes 2500 mailů.

#2 Obsah
Asi jste si všimli, že některé zdroje obsahu zmizely, některé se objevily po té, co jste si o ně napsali a o některé jste si napsali a nepřibyly. Zdroje se na kindly objeví až poté, co dostanu souhlas od daného webu pro šíření obsahu. Pokud si to provozovatel nepřeje, tak ho u nás nenajdete. Buď proto, že má vlastní Kindle distribuci (idnes), nebo ji chystá (novinky, zive, mobilmania apod.), případně ji nechystá, ale nechce přes kindly šířit (lidovky). Jestli chcete, napište jejich redakcím, třeba je přesvědčíte. Každopádně ale respektujte jejich rozhodnutí chránit svůj obsah.
I tady patří poděkování všem provozovatelům webu, kteří s kindly spolupracují a snaží se tak zpřístupnit svůj obsah čtenářům v co nejpohodlnější formě. Věřím, že se Vám to vyplatí.

#3 Změny
Rychlý nárůst zdrojů a jejich různorodost si určitě vynutí změny ve fungování aplikace. Asi nejpalčivější problém je v tuto chvíli množství stránek, kde nedochází k aktualizaci každý den a tak Vám v Kindlíku přistávají den co den stejné "noviny". Proto se jako dočasné řešení v nejbližších dnech objeví možnost zaškrtnout konkrétní den v týdnu pro doručení a částečně si tak řídit aktualizaci sám. Do budoucna počítám s generování MOBI souboru pouze při změně podkladového RSS feedu, narozdíl od stávající každodenní "hloupé" konverze. MOBI se každopádně nepošle, je-li datum jeho aktualizace menší, než když Vám bylo naposledy odesláno. 

Mezi další plány patří:
  • úprava stránky účtu, s rostoucím počtem zdrojů se stává nastavení nepřehledné
  • nastavení času doručení
  • výběr rubrik do předplatného, nabízí-li jich RSS více
  • další zdroje
  • wishlist stránku pro zadání nových feedů a s přehledem koho na kindly nemá smysl hledat a proč
  • lepší rozhraní pro poskytovatele obsahu, aby si mohli zjistit více o své čtenosti
Víc mne toho v tuto chvíli nenapadá, ale věřím že Vás ano, tak mi to napište a třeba i zahlasujte v té anketě, co se snad každou chvíli objeví ať vím, co dělat dřív. Budu se odteď snažit odpovídat všem, ale někdy mi to potrvá déle. Díky za pochopení.
Posted by enty