PB 622 - Silbentrennung verbessern? (bei epub)

[sento]

Originally Posted by sebigbos

Soooo, nun, nach 2 Tagen, hab ich das alles mal durchgelesen. Sehr interessant. Vielleicht schreibt ja mal einer eine Doktor-Arbeit über die Details...

Ich habe es etwas zu ausführlich dargestellt. Allerdings ging es mir schlicht und ergreifend um die Darstellung der Probleme auf die ich gestoßen bin. Mit der Materie selbst hatte ich vorher nichts zu tun und ich dachte, wenn sich jemand damit auseinandersetzen will, muss er nicht wie ich bei Null anfangen.
Daher bin ich hier, wie auch im e-reader-forum unter dem Namen yen etwas ausführlicher gewesen.

Ich habe auch extra meine Silbentrennung zur Verfügung gestellt, falls jemand schauen möchte, wie ich es angestellt habe und alle Abtrennungen ala D-ach, ausgemerzt habe.

Es sollte keine lange Abhandlung zum Selbstzweck werden.

Es reicht natürlich größtenteils die Wortgrenzen zu definieren. Aber dann kommen andere Probleme, wie ich bereits ausgeführt habe.
Ich empfehle dir noch weitere Zeichen als Wortgrenze aufzunehmen. Der Punkt und das Semikolon reichen nicht. Zumindest das Komma und die häufigsten Satzzeichen solltest du noch aufnehmen. Dann solltest du der 0,01% bei den Einzelabtrennungen wie D-ach sehr nahe sein.

[NASCARaddicted]

@sento

Danke noch mal für deine hyph Datei. Ich hätte dazu aber mal noch eine Frage:

Mir ist aufgefallen, daß viele (aber nicht alle) Worte mit einem Punkt anfangen. Als Beispiel: .arbei3te

Von Regular Expressions (RegEx) kenne ich es so, daß der Punkt als Joker genutzt werden kann, und so jeden Buchstaben ersetzt. Ist das hier auch so?

Und die hyph Datei ist wohl "case sensitive", also man muß Groß- und Kleinschreibung beachten? Ist ja eigentlich selbst erklärend, wenn man sich die Datei anguckt, aber ich will lieber noch mal nachfragen.

[sebigbos]

Originally Posted by sento

Ich habe es etwas zu ausführlich dargestellt.

sorry, ich wollte dir nicht auf den Schlips treten, sondern bloß eben ne schnelle 0815-Lösung posten, für diejenigen wie mich, denen dein Pass zu steil war....

mercí für den Satzzeichen-Tip.

[sento]

Originally Posted by sebigbos

sorry, ich wollte dir nicht auf den Schlips treten, sondern bloß eben ne schnelle 0815-Lösung posten, für diejenigen wie mich, denen dein Pass zu steil war....

mercí für den Satzzeichen-Tip.

War auch nicht so gemeint. Ich finde es ja selber sehr lang und wollte nur noch einmal erklären, warum ich es nicht kürzer zusammengefasst habe. Für den Fall, dass jemand sich damit näher befassen möchte.

Hier einmal eine kleine Auswahl an Satzzeichen, die man mit der NOHYPHEN-Zeile in den Griff bekommt:
NOHYPHEN -,',’,.,:,?,!,;,",«,‹,),(,´,`,],…,’,..., ..., – ,
1-1
1,1
1;1
1:1
1«1
1!1
1?1
1‹1
1)1
1]1
1…1
1–1
1 – 1
NEXTLEVEL

Den Punkt habe ich andersweitig gelöst. Hatte ich in einem anderen Post allerdings schon geschrieben.

[sento]

Originally Posted by NASCARaddicted

@sento

Danke noch mal für deine hyph Datei. Ich hätte dazu aber mal noch eine Frage:

Mir ist aufgefallen, daß viele (aber nicht alle) Worte mit einem Punkt anfangen. Als Beispiel: .arbei3te

Von Regular Expressions (RegEx) kenne ich es so, daß der Punkt als Joker genutzt werden kann, und so jeden Buchstaben ersetzt. Ist das hier auch so?

Und die hyph Datei ist wohl "case sensitive", also man muß Groß- und Kleinschreibung beachten? Ist ja eigentlich selbst erklärend, wenn man sich die Datei anguckt, aber ich will lieber noch mal nachfragen.

Normalerweise sollte es bei der Silbentrennung keine Rolle spielen ob Groß oder Klein. Normalerweise. Zumindest bei den meisten Projekten zu dem Thema spielt es keine Rolle. Bei der von Adobe im Pocketbook eingesetzten, verhält es sich leider anders. Er achtet auf Groß- und Kleinschreibung. Hast du Beispielsweise "in3d2i5a1nisch" in deiner Silbentrennung stehen, dann wird dieses Muster nur auf die kleingeschriebene Variante eingesetzt, da das Wort am Satzanfang beispielsweise mit einem Großbuchstaben beginnt und nicht mit "i".
Was mich persönlich sehr verwundert, da Adobe keine solche Unterscheidung in der originalen Silbentrennungsdatei getroffen hat. So würde dein ".arbei3te" nur bei der Kleinschreibung genutzt. Nicht jedoch, wenn am Satzanfang beispielsweise "Arbeiten" steht.

Der Punkt am Beginn eines Wortes symbolisiert den Wortanfang. Dein Muster ".arbei3te" wird nur angewendet, wenn er das Muster am Anfang eines Wortes findet. Der letzte Punkt am Ende eines Musters symbolisiert das Ende des Wortes arbei3te. würde dann nur eingesetzt, wenn das Wort mit dieser Buchstabenkombination endet.
Das kann man sich in einigen Fällen zu Nutze machen, um einige Probleme am Wortbeginn, oder mit einigen Endungen zu beheben.

[NASCARaddicted]

So danke nochmal für die neue Silbentrennung.

Ich hab sie mir jetzt mal drauf gemacht und etwa 30 Seiten gelesen. Und bisher hab ich viel weniger seltsame Trennungen gefunden als vorher. Es gibt zwar immer noch Stellen, die auf den ersten Blick komisch aussehen (fi-nanziell, Mo-torrad), aber wenn man sich dann im Geiste vorspricht, und jede Silbe betont, merkt man doch daß es paßt).

Nur ein Wort hab ich gefunden, daß falsch getrennt wurde: An-twort. Das schreibe ich gleich rein, in die hyph dict. An6t1wort

[sento]

Originally Posted by NASCARaddicted

So danke nochmal für die neue Silbentrennung.

Ich hab sie mir jetzt mal drauf gemacht und etwa 30 Seiten gelesen. Und bisher hab ich viel weniger seltsame Trennungen gefunden als vorher. Es gibt zwar immer noch Stellen, die auf den ersten Blick komisch aussehen (fi-nanziell, Mo-torrad), aber wenn man sich dann im Geiste vorspricht, und jede Silbe betont, merkt man doch daß es paßt).

Nur ein Wort hab ich gefunden, daß falsch getrennt wurde: An-twort. Das schreibe ich gleich rein, in die hyph dict. An6t1wort

Ist eben alles noch sehr experimentell. Die Fehler sind seltener, aber wie ich erwähnte, gerade Komposita und Substantive sind noch recht problematisch. Die Möglichkeit den FBReader zu nutzen besteht noch. Ich habe allerdings noch nie lange mit ihm gelesen, bin aber, wenn ich ihn genutzt hatte, auf keine Fehler gestoßen.

Ich persönlich bin bei vielen Wörtern selbst verunsichert, ob man es so trennen kann oder nicht und muss nachschlagen. Vor allem, da wenn man es, wie du sagst, sich einmal vorsagt, einem mehr als eine Variante möglich scheint und öfters auch erlaubt ist.

Der Fehler bei Antwort liegt allerdings nicht bei den Trennmustern, sondern bei den umfangreichen Erweiterungen. In der Version beta2 habe ich diesen Fehler bereits behoben. Der Fehler würde sonst noch bei Worten wie Antwerpen oder ähnlichen eintreten. Ein ähnlicher Fehler, den ich eingebaut habe betrifft Wörter mit Nacht. Bei Komposita mit Nacht am Anfang kann es zur Abtrennung des "t" kommen. Das habe ich allerdings noch nicht in der hochgeladenen Version korrigiert. (Die Zeile .N6a6c6h1t6 müsste dafür gelöscht werden.)

Da die Änderungen sehr Umfangreich sind, dauert das Ausmisten und ich probiere auch ständig herum. Nur finde ich es nicht gut, hier jeden Tag irgendwelche Änderungen zu Posten.
Wer einfach nur die Einzelabtrennung unterbinden möchte, fährt wahrscheinlich fürs erste mit der Version von Sebigos besser. Es verhindert nicht alles, aber doch einen Großteil und ist leichter umzusetzen.

[NASCARaddicted]

Originally Posted by sento

Da die Änderungen sehr Umfangreich sind, dauert das Ausmisten und ich probiere auch ständig herum. Nur finde ich es nicht gut, hier jeden Tag irgendwelche Änderungen zu Posten.
Wer einfach nur die Einzelabtrennung unterbinden möchte, fährt wahrscheinlich fürs erste mit der Version von Sebigos besser. Es verhindert nicht alles, aber doch einen Großteil und ist leichter umzusetzen.

Ja, ich fände es auch nicht sehr sinnvoll, jeden Tag Änderungen zu posten. Aber es wäre cool, wenn du mich (und andere?) ab und zu auf dem laufenden hälst, wenn es um neue Versionen geht.

Was ich aber bisher noch nicht herausgefunden habe ist, wie man den FB-Reader benutzten kann. Ich hab mal was gelesen, wie man in als Default einstellen kann, aber ich möchte ihn erst mal zum testen benutzen. Muß man da erst noch was herunterladen, oder ist der beim Pocketbook schon drauf?

[troll05]

Originally Posted by NASCARaddicted

Was ich aber bisher noch nicht herausgefunden habe ist, wie man den FB-Reader benutzten kann. Ich hab mal was gelesen, wie man in als Default einstellen kann, aber ich möchte ihn erst mal zum testen benutzen. Muß man da erst noch was herunterladen, oder ist der beim Pocketbook schon drauf?

Der fbreader ist drauf, du kannst ihn als Alternative für EPUBs auswählen indem du den Finger einige Sekunden auf dem Buch hältst (geht nur in der Biblithek) und ihn dann im Unterpunkt "Öffnen mit" anwählst.

Um ihn als default zu haben musst du die angehängte "extensions.cfg" nach "system -> config" kopieren. Den Adobe öffnest du dann genauso wie bisher den fbreader.
Falls du in die Datei reinguckst, da ist auch noch der CR3 bei den EPUBS als Alternative möglich, aber der arbeitet auf dem Touch noch nicht so ganz reibungslos, zum Probieren gibt es ihn hier (die zweite Version nehmen)

[mmat1]

Originally Posted by NASCARaddicted

P.S. Was ja auch interessant ist: Ich hab festgestellt, daß die Silbentrennung nur funktioniert, wenn die Text-Sprache im Header richtig eingestellt ist.

Wo genau ? Es gibt mehrere Möglichkeiten, eine Spache im Header unterzubringen.

[NASCARaddicted]

Originally Posted by troll05

Der fbreader ist drauf, du kannst ihn als Alternative für EPUBs auswählen indem du den Finger einige Sekunden auf dem Buch hältst (geht nur in der Biblithek) und ihn dann im Unterpunkt "Öffnen mit" anwählst.

Ok, danke für die Erklärung. Ich hab es mal getestet, aber ich bevorzuge dann doch den normalen Viewer. Alleine schon, wenn ich sehe, daß Text der rechtsbündig sein soll nicht richtig dargestellt wird ...

Originally Posted by mmat1

Wo genau ? Es gibt mehrere Möglichkeiten, eine Spache im Header unterzubringen.

Also bei mir sieht es so aus:

In der 3. Zeile (also noch vor dem eigentlichen Header) steht:

<html xmlns="http://www.w3.org/1999/xhtml" xml:lang="de">

Das xml:lang="de" gibt die Sprache an.

In der Vergangenheit habe ich bei selbst erstellten epubs diese Sprachkennung aus Unwissenheit nicht reingeschrieben. Darum fehlt bei diesen ebooks dann auch die Silbentrennung, da der Pocketbook ja nicht weiß, welche Sprache (also welche Sprachregeln) er anwenden muß. Bei neueren epubs schreibe ich es rein und die Silbentrennung funktioniert und dank Sento sieht es jetzt sogar richtig gut aus.

Dabei ist aber noch anzumerken: es gibt ja die Möglichkeit, einer einzelnen Textpassage eine andere Sprache zuzuweisen. In der Vergangenheit hab ich das auch nie benutzt, das muß ich jetzt also auch noch bearbeiten (aber so viele mehrsprachige ebooks hab ich eh nicht).

[mmat1]

Originally Posted by NASCARaddicted

<html xmlns="http://www.w3.org/1999/xhtml" xml:lang="de">
Das xml:lang="de" gibt die Sprache an.

Danke. What learned....

Originally Posted by NASCARaddicted

In der Vergangenheit habe ich bei selbst erstellten epubs diese Sprachkennung aus Unwissenheit nicht reingeschrieben. Darum fehlt bei diesen ebooks dann auch die Silbentrennung, da der Pocketbook ja nicht weiß, welche Sprache (also welche Sprachregeln) er anwenden muß.

Naja, in den Metadaten ist zumindest in der Regel der Hinweis auf die Sprache zu finden.

Auf der anderen Seite: Wenn das Ding das erste oder letzte Zeichen abhackt, ist es wurscht in welcher Sprache, das dürfte in 99,9% aller Fälle falsch sein.

[sento]

Originally Posted by NASCARaddicted

Also bei mir sieht es so aus:

In der 3. Zeile (also noch vor dem eigentlichen Header) steht:

<html xmlns="http://www.w3.org/1999/xhtml" xml:lang="de">

Das xml:lang="de" gibt die Sprache an.

In der Vergangenheit habe ich bei selbst erstellten epubs diese Sprachkennung aus Unwissenheit nicht reingeschrieben. Darum fehlt bei diesen ebooks dann auch die Silbentrennung, da der Pocketbook ja nicht weiß, welche Sprache (also welche Sprachregeln) er anwenden muß. Bei neueren epubs schreibe ich es rein und die Silbentrennung funktioniert und dank Sento sieht es jetzt sogar richtig gut aus

Danke für den Hinweis. Ich hatte auch ein Buch, wo weder fbreader noch AdobeViewer trennen wollten. Siehe da, ihm fehlte dieser Verweis auf die Sprache. Habe mir schon gedacht, dass es irgendwo einen Verweis auf die Sprache haben muss, aber wo der stehen soll, war mir nicht bekannt.

Ich habe eine neue Version in meinem ersten Post in diesem Thread angehängt. Hauptsächlich habe ich eigene Fehler beseitigt und weiter aufgeräumt.

[NASCARaddicted]

Originally Posted by sento

Ich habe eine neue Version in meinem ersten Post in diesem Thread angehängt. Hauptsächlich habe ich eigene Fehler beseitigt und weiter aufgeräumt.

Danke. Die lad ich mir gleich runter.

Gerade gestern ist mir ein gutes Beispiel eingefallen, wie schwierig das mit der Silbentrennung sein kann.

Ich meine als Beispiel: Worte wie Pferd oder Pfennig: da darf nach dem Pf keine Trennung sein. Aber bei einem zusammengesetzten Wort wie Dampfwalze, da schon ... zum Glück kann man das ganze Wort Dampfwalze auch reinschreiben ...

Was mir aber noch aufgefallen ist: du hast 2 Dateien drin, einmal normal und einmal "ohne Punkt". Übersehe ich da gerade das Offensichtliche oder was ist mit dem "ohne Punkt" gemeint?

Danke nochmal

[sento]

Wird Dampfwalze denn falsch getrennt?

Pf-Trennung sollte keine so großen Probleme mehr bereiten. Du findest unter meinen Anhängen zu den Trennmustern auch eine Abteilung, die sich nur mit dem Verbot von Trennungen von "Pf" befasst.

Zu den zwei Varianten bin ich in der Readme ausführlicher eingegangen, unter dem Punkt Unterschied zur Vorversion.
Grundsätzlich sind es zwei unterschiedliche Herangehensweise beim Problem mit den drei Punkten, dass ich schon vorher erläutert hatte.

Die erste kleinere Datei (hyph_de.dic) enthält den Punkt als Wortgrenze. Das heißt, der Punkt wird nicht mehr zum Wort hinzugerechnet. Dadurch entsteht allerdings ein sehr seltsames Abtrennungsverhalten, wenn die eBook-Ersteller für Auslassungspunkte drei normale Punkte hintereinander verwenden und nicht das Zeichen für Auslassungspunkte. Beispiel: "und ...". Die drei Punkte werden unter Umständen zusammen mit einem Strich in die nächste Zeile verfrachtet:
"und
-..."
Dafür habe ich bis jetzt noch keine Lösung in der Silbentrennung selbst gefunden. Das Einzige ist die Konvertierung beispielsweise mit Calibre und mit Search&Replace die drei normalen Punkte alle durch das Zeichen Auslassungspunkte zu ersetzen. Dann wird es korrekt dargestellt.

Die größere Datei mit dem Zusatz "ohne_Punkt" hat den Punkt nicht als Wortgrenze. Das heißt der Punkt wird zum Wort hinzuaddiert. Um hier Trennungen am Ende eines Wortes, das einen Punkt an sich kleben hat, zu vermeiden, bedarf es einiger Ergänzungen, die die Datei ca. 1/4 größer werden lassen als die Alternative. Leider wird auch hier das Problem nicht vollkommen gelöst. Es kommt in unseren Beispiels dann zu folgender Trennung:
"un-
d ..."
In dieser Hinsicht eher eine Frage, was einem kosmetisch besser gefällt. Allerdings werden solche Abtrennungen seltener vorkommen, als die Variante oben, da für die Trennung erst einmal das nötige Muster vorhanden sein muss. Sodass es sehr selten auftreten sollte. Wobei auch hier die einzige endgültige Lösung die Konvertierung der Punkte wäre.

Die meisten eBook-Hersteller verwenden die Auslassungspunkte. Einige allerdings auch nur drei normale Punkte.

Der Vorteil der kleinen Datei ist eben, dass sich das eBook etwas schneller öffnet und es einfacher ist den Überblick zu behalten.

Die Datei mit ohne Punkt müsste allerdings noch in "hyph_de.dic" umbenannt werden bevor sie in das entsprechende Verzeichnis im Pocketbook kopiert wird, damit sie dort auch ihre Wirkung entfaltet.