Gültigkeit der EPUBs in der Wiki-Liste

[skreutzer]

Vor einiger Zeit habe ich ja einen Downloader für die deutschen kostenlosen E-Books der mobileread-Wiki-Liste geschrieben und jetzt kürzlich eine grafische Oberfläche für epubcheck, die auch gleich mehrere EPUBs auf einmal prüfen kann. Nun habe ich mal Letzteres auf das Ergebnis von Ersterem angewendet, und nach einigen Stunden Rechenzeit kam folgendes heraus: von 2167 Dateien sind 1388 ungültig. Jetzt verwende ich intern die neueste Version von epubcheck, die als experimentell und noch nicht als offiziell/stabil anzusehen ist, trotzdem sehen die Fehlermeldungen, die ich sporadisch angeschaut habe, gerechtfertigt aus. Nun die Frage: kümmert sich jemand darum, diese Fehler zu beheben, oder bleibt das einfach so? Falls sich jemand berufen fühlt, aus ungültigen Dateien brauchbare EPUBs zu machen, kann ich gerne eine Liste der ungültigen Dateien bereitstellen.

[skreutzer]

Ungültige Links in der Wiki-Liste:

• Wagner, Richard, Musikdramen, Fiction, brucewelch, 2012-09-11: Link.
• Mann, Thomas, Buddenbrooks, Historical Fiction, ST-One, 2012-07-27: Link.
• Strindberg, August, Die Leute auf Hemsö, Fiction, brucewelch, 2011-05-29: Link.
• Dahn, Felix, Attila, Historical Fiction, brucewelch, 2011-03-01: Link.
• Dostojewski, Fjodr, Die Brüder Karamasow, Other Non-Fiction, Alaska, 2011-02-09: Link.
• Mann, Thomas, Buddenbrooks, Other Fiction, brucewelch, 2011-01-08: Link.
• Maupassant, Guy de, Vater Milon und andere Erzählungen (Nachlass), Other Fiction, brucewelch, 2010-12-08: Link.
• Maupassant, Guy de, Gesammelte Werke 19-20, Other Fiction, brucewelch, 2010-12-08: Link.
• Maupassant, Guy de, Gesammelte Werke 1-18, Other Fiction, brucewelch, 2010-12-08: Link.

Haben einen Direktlink auf's EPUB in der Wiki-Liste, aber keinen eigenen Thread:

• Stevenson, Robert Louis, Die Schatzinsel, Other Fiction, Alaska, 2010-07-31.
• Dickens, Charles, David Copperfield, Fiction, J.U., 2009-07-12.

Das bedeutet, dass Thomas Manns Buddenbrooks im Moment über Mobileread nicht zu haben ist.

[pynch]

Verstehe ich das richtig: Drei Monate interessierte sich niemand für die Liste der »ungültigen« Epubs, und deshalb fängst du jetzt an, die hier einzustellen? Merkwürdige Logik.

[skreutzer]

Ganz genau. Was ist daran merkwürdig? Mag sein, dass sich nicht viele für die technische Qualität der EPUBs interessieren, am wenigsten die Ersteller der ungültigen EPUBs bzw. deren Software, für mich ist sie aber schon wichtig, evtl. auch für den einen oder anderen Leser und dessen Lesesystem oder Online-Dienst, den dieser zu benutzen gedenkt. Ich weiß natürlich nicht, ob innerhalb der drei Monate jemand in seinen EPUBs die Fehler korrigiert hat, aber ich hatte es natürlich auch nicht arg eilig, epubcheck an den Downloader anzuschließen.

[Billi]

Originally Posted by skreutzer

Ungültige Links in der Wiki-Liste:
Das bedeutet, dass Thomas Manns Buddenbrooks im Moment über Mobileread nicht zu haben ist.

Das ist korrekt. Thomas Mann ist noch urheberrechtlich geschützt.
Thomas Mann war hier, weil zunächst - Server in Kanada - die 50 Jahre des kanadischen Urheberrechts angewandt wurden. Irgendwann haben die Moderatoren dann entschieden, dass für deutsche Bücher das deutsche Urheberrecht gilt.

Falsch ist dann, dass der link noch in der wiki-Liste ist, nachdem die Moderatoren den Beitrag gelöscht haben. Danke für den Hinweis!

[skreutzer]

So, und hier ist jetzt das Ergebnis. Wo die Spalte „Uploader“ leer geblieben ist, handelt es sich um einen Moderator, dort habe ich den Namen nicht richtig ausgelesen. Auf dieser Basis können nun zukünftig statistische Auswertungen gefahren werden, in welchem Verhältnis die gültigen und ungültigen Uploads eines Nutzers stehen, was die häufigsten Fehlerursachen sind, usw. Vielleicht wäre es auch denkbar, Tools zwecks automatischer Korrektur zu programmieren, nur müsste dann entweder jemand mit Berechtigung die korrigierten Versionen von Hand austauschen, oder aber ein Verfahren gefunden werden, mit dem eine Aktualisierung voll- oder teilautomatisch möglich ist. Außerdem könnten bei dieser Gelegenheit die EpubCheck-Fehlermeldungen präzisiert werden, wo sie zu ungeau oder irreführend sind. Falls jemand Hilfe bei der Korrektur braucht und eine Aktualisierungsmöglichkeit besteht, kann ich möglicherweise hier und da ein wenig weiterhelfen.

[doubleshuffle]

Dürfen wir dir vielleicht unsere Adressen zusenden? Ich würde mich sehr über den Besuch eines MR-Administrators freuen, der mit mir ein ernstes Gespräch über das Verhältnis meiner gültigen und ungültigen Uploads führt.

Spaß beiseite: Hast du nichts Vernünftiges zu tun? Z.B. ein paar (gültige!) Bücher für die Bibliothek basteln?

Spaß ganz beiseite: Epub-Validierung wird wahnsinnig überschätzt. (Frag mal Kovid.) Wenn ein von hier runtergeladenes Buch nicht funktioniert, melden sich betroffene Leser normalerweise im Download-Thread des Buches zu Wort und dann wird es vom Uploader in Ordnung gebracht.

Ach ja: Ehe du jetzt ein Skript programmierst, das spezifisch meine Bücher runterlädt und auf ihre Gültigkeit überprüft: Trotz meiner Einstellung zur Validierung jage ich jeden meiner Uploads vorher durch epubcheck.

[skreutzer]

Willst du damit sagen, es ist unvernünftig, ungültige Bücher für die Bibliothek zu basteln? Dass der Kovid keine hohe Meinung von Standards hat, ist ja hinreichend bekannt, seine Dissertation hat er laut seiner Webseite über fehlertolerantes Quantencomputing geschrieben. Wer EPUB-Validierung als unwesentlich abtut, darf sich aber auch nicht darüber beschweren, dass die E-Reader, verschiedene Software und Online-Dienste so grottig bleiben, weil jede Anwendung erstmal einen Rohtext-Parser anwerfen muss, um wenigstens ein Minimum an technischer Lesbarkeit herzustellen (Browser sind ja nicht ohne Grund so wahnsinnig aufgebläht bei einem derart kaputten Web – EPUB ist eine Chance, da mal einen Teil davon gefixt zu kriegen). Und das, nur weil Calibre auch mit üblem Datenmüll noch relativ gut zurechtkommt und es für unbedenklich hält, unzähligen Nutzern und Diensteanbietern viele Stunden Korrekturaufwand zuzumuten. Weiterhin noch der Hinweis, dass Calibre tendenziell weniger zur Erstellung oder Bearbeitung von EPUBs ausgelegt ist, sondern eher zum Management von EPUB-Bibliotheken, das ist übrigens nicht nur meine Einschätzung. Was soll eigentlich der Vorteil davon sein, für mehr Inkompatibilität und Unbrauchbarkeit zu sorgen?

Ich brauche natürlich kein Script schreiben, um nur deine EPUBs zu prüfen, die sind in der Liste logischerweise auch enthalten: dein Verhältnis ist drei gültige zu einem ungültigen, da macht sich der Einsatz von EpubCheck also positiv bemerkbar. Hast du vor, das ungültige EPUB zu korrigieren? In deinem einzigen Fall hast du schließlich auch nur das 'x' in einem Link auf eine .xhtml-Datei vergessen. Wie ist das eigentlich mit der Classical Garamond, ist das diese hier?

[doubleshuffle]

Du hast im Prinzip Recht, aber ich finde, wie du dir das denkst, funktioniert das nicht. Wie deine Idee eines "Alles-Downloaden-Skripts" ist dein Ansatz zentralistisch: Er verlangt nach einer zentralen Qualitätsprüfungsinstanz. Sowas kann man machen, aber so funktioniert MR nicht. Hier basteln Enthusiasten an ebooks und laden sie hoch, aus Freude an der Sache. Das ist eine individualistische Angelegenheit und ist fokussiert auf das individuelle Buch, nicht auf ein standardisiertes Bibliotheksprojekt (wovon es ja auch einige gibt.)

Deshalb finde ich es prima, wie es bisher läuft: es werden individuelle Bücher hoch- und auch runtergeladen, und wenn ein Buch nicht funktioniert, gibt es eine Rückmeldung. Und es darf auch gerne eine Rückmeldung geben, wenn ein Buch bei der Validierung versagt. Was mir widerstrebt, ist eine zentrale Generalprüfung. Lade dir ein Buch herunter, das dich interessiert, gib Rückmeldung, wenn dich was dran stört, und normalerweise wird der Uploader es in Ordnung bringen. Alles gut.

Vier Bücher hab ich nur hochgeladen? Ach so, dein Skript zieht nur die deutschen, oder? Das kann hinkommen. Und natürlich korrigiere ich den Fehler im Heine.

(Vorschlag: bastel doch ein Skript, das automatisch im Thread jedes ungültigen Buches den Link zum Fehlerreport postet. Da hätten wir alle bestimmt viel Spaß dran.)

[skreutzer]

Und damit hast du ebenfalls Recht. Eine solche Liste zu generieren, ist ja auch nur ein erster Schritt, überhaupt mal eine Bestandsaufnahme zu machen. Theoretisch wäre es besser, wenn die Prüfung schon beim Upload stattfinden würde, was aber nicht zwangsläufig heißen müsste, dass ein Upload bei Ungültigkeit abgelehnt wird, sondern man könnte sich ja durchaus überlegen, dass dezentralistisch irgendwelche Freiwilligen evtl. zusammen mit automatisierter Software die ungültigen Titel korrigieren, dies evtl. auch nachträglich mit den bestehenden Titeln geschieht. Dagegen spricht wieder mal die rechtliche Situation, weil nicht alle Titel frei lizenziert oder gemeinfrei sind, und eine Information über den rechtlichen Status nicht erfasst wurde, wohl auch nur schwer nachträglich in Erfahrung gebracht werden könnte. Klar, es kann gut sein, dass die Wiki-Liste bisher bloß eine Bezugsquelle für Lesestoff war, was aber nicht heißen muss, dass man diverse Bestände nicht zu einer größeren Bibliothek zusammenführen könnte, die dann auch mit Softwareunterstützung ganz neue Möglichkeiten eröffnet. Ob Mobileread hierfür ein geeigneter Ausgangspunkt ist, weiß ich nicht, aber es hat sich nun mal so ergeben, dass ich durch die Anfrage vom Nutzer Ranwhp damit zuerst angefangen habe.

Ja, ich gehe nur auf die deutsche Liste. Gibt es eine Englische? Soweit ich gesehen habe, haben die nur lange Threads mit Links drin – die könnte man bestimmt auch crawlen, wenn Bedarf dafür besteht. Eine automatische Benachrichtigung wird wohl nicht ohne Unterstützung der Mobileread-Betreiber gehen, weil man von außen glaube ich keine Konaktmöglichkeit hat. Außerdem würde ich das eh erst in drei Monaten mal angehen ;-)

Vielen Dank noch für die Korrektur des EPUBs (stellvertretend für die zukünftigen Leser, die sich über einen funktionierenden Link freuen)!

[faltradl]

Ich stelle fest das deine Liste genauso fehlerhaft ist, wie die von dir monierten eBooks.

Die Liste führt ja nicht nur Einträge mit Status "Warnung" und "Fehler" auf, sondern meldet auch "gültig". Es müssten von mir also ein paar eBooks mehr auftauchen. Der eine Eintrag mit der Warnung war korrekt, aber ein anderes eBook, das einige Verlinkungsfehler enthielt, wurde nicht erkannt.

(Jetzt meine Uploads abzuklappern ist es zu spät. Die habe ich inzwischen selber geprüft und die zwei ausgetauscht, wo was zu korrigieren war.)

[skreutzer]

Dass deine anderen Uploads nicht auftauchen, liegt daran, dass dort im dazugehörigen Thread nicht dieselbe Attachment-Box vorhanden ist wie bei den anderen Uploadern. Du hast lediglich den Disclaimer drin, von Hand eingefügt? Mittlerweile hast du auch die Attachment-Box, die vorher im Thread zu Brontë, Charlotte: Jane Eyre vorhanden war, rausgeworfen. Ich brauche diese Attachment-Box, um die Download-Links von allen anderen Links im Thread zu unterscheiden.

Eine aktualisierte Liste ist abgestellt. Von insgesamt 2332 Dateien sind 1456 fehlerhaft, für 69 davon liegen Warnungen vor und nur 807 sind gültige EPUBs.

Dem Wunsch nach Dezentralität sei damit und hiermit (md5sum 9755104b8d157e628edf2fd89c21a6f3) nachgekommen.

Update: Fortsetzung des Themas

[skreutzer]

Großes Kompliment an die Damen und Herren EPUB-Macher! Die Uploads jüngerer Zeit setzen das Format gemäß des Standards um, wenn man mal von mmat1 absieht, der extra einen Fehler eingebaut hat, nur um mich zu ärgern. Es handelt sich um die größte Anzahl an Titeln, die bisher hintereinander ohne Fehler in die deutsche Liste eingetragen wurden. Besonderer Dank geht neben hornhj, der angefangen hat, seine älteren Uploads teils zu korrigieren, an Leonatus, der seinen Bestand ebenfalls nachträglich auf Vordermann gebracht hat und infolgedessen jetzt locker die Bestenliste anführt.

[skreutzer]

Habe für dieses Jahr die Liste neu generiert mit neuem epubcheck (allerdings nicht aktualisiert im Download-Paket der Software) und mittlerweile sind mehr EPUBs gültig als ungültig.