Steffen Weber

Google Chrome already uses SPDY

2011-01-19T17:51:00.000+01:00

SSL connections from Google Chrome to a Google server have a 90 % chance of using SPDY. SPDY is an HTTP replacement that encrypts all data and greatly reduces latency (it's way better than persistent or keep-alive HTTP connections). Read more about SPDY at Wikipedia. Although already deloyed by Google, support for SPDY in any free HTTP server software is currently non-existent.

Saving Revisions of Articles in a Database

2011-01-10T17:31:00.000+01:00

Reverse diffs
Assumption: You have the most recent revision available anyways in your "articles" table. Then use reverse-diffs (that convert revision k into revision k-1) instead of normal forward-diffs (that would convert revision k into revision k+1). This saves disk space.

Let's assume you have n revisions. With reverse-diffs your "revisions" table only needs to save one reverse-diff for each of the (n-1) old revisions. In contrast to that for forward-diffs you would have to store the initial revision completely (1) plus one forward-diff for each following revision (n-1) which sums up to n.

Diff format
Instead of using diffutils think about whether it might be more easy and maybe even efficient to serialize and gzip the data of all revisions. Mediawiki does this especially because this is a very efficient way to deal with edit-wars (source for this is a presentation by a Mediawiki developer, but I have lost the link, sorry).

As expected: No Response to Opera Bug Reports

2011-01-08T13:36:00.003+01:00

Why should I bother reporting bugs to Opera if they never ever send a response? Three weeks ago I told them that in Opera 11.00 input fields with type="search" cannot be submitted (DSK-322619). They did not respond to any of my bug reports in the past but I wanted to let them know nevertheless. But as expected they did not react at all.

In the future I won't waste my time reporting Opera bugs.

nginx: Blocking Mozilla Prefetch Requests

2011-01-05T01:19:00.011+01:00

if ( $http_x_moz = "prefetch" ) {
    return 444;
}

On ComputerBase they accounted for 15 % of all HTTP requests for HTML pages. And our HTML pages cannot even be cached so this behaviour of Mozilla browsers is a waste of resources (server load + traffic).

Mozilla should fix Firefox such that it only prefetches resources marked as rel="prefetch". Those marked as rel="next" should not be prefetched.

Edit: Switched from "return 403" to "return 444" (i.e. just close connection) because some users reported problems with proxy servers.

Removing a password from a PDF file

2010-01-14T17:43:00.003+01:00

One of my tutors protects PDF files with a password although they are only accessible after you've authenticated yourself as a student. Since it is annoying to enter a password each and every time you open one of those PDFs, you can use QPDF to get rid of the password:

qpdf --password=<PASSWORD> --decrypt input.pdf output.pdf

Gentoo Overlay with GraphicsMagick ebuilds

2009-10-01T16:37:00.001+01:00

Just have a look at the Sunrise Project.

Running Hunspell via PHP's exec function

2009-10-01T16:09:00.003+01:00

Reminder to self: Ensure that the environment variable $HOME is set. Otherwise hunspell refuses to report any misspelled words.

Lösung für memcached-Timeouts: Unix Domain Sockets

2008-01-08T17:41:00.000+01:00

Beim Herstellen der Verbindung zu unserem memcached-Server kam es mehr oder weniger konstant zu ein paar Dutzend Timeouts pro Minute (das liegt in der Größenordnung von circa 1 % aller Verbindungsversuche).

Diese Probleme waren schlagartig behoben, nachdem die Verbindung zu memcached via Unix Domain Sockets anstatt TCP/IP aufgebaut wurde (PHP Manual Memcache::connect). Ganz erklären kann ich mir das nicht, aber vielleicht hilft es ja jemandem.

Unix Domain Sockets sind natürlich nur dann eine Option, wenn memcached auf demselben Server läuft wie die Clients (in unserem Fall Apache/PHP).

MySQL: _rowid ermöglicht Zugriff auf PRIMARY-Key

2008-01-03T16:33:00.000+01:00

Wenn man eine Klasse zum Verwalten von Datensätzen hat, der man im Konstruktor nur den Tabellennamen und den Wert des PRIMARY-Keys – nicht aber dessen Spaltenname – übergeben möchte, gibt es einen einfachen Trick.

Solange der PRIMARY-Key nur eine einzige Integer-Spalte umfasst, lässt sich darauf mit dem Schlüsselwort _rowid zugreifen:

SELECT * FROM table WHERE _rowid=$id

Nachzulesen im Abschnitt CREATE TABLE Syntax des MySQL Manuals.

MySQL: SHOW COLUMNS beeinflusst Created_tmp_disk_tables

2008-01-02T16:35:00.001+01:00

Man sollte sich nicht über hohe Werte der MySQL-Statusvariable Created_tmp_disk_tables wundern, wenn man zahlreiche "SHOW COLUMNS"-Queries absetzt. Diese inkrementieren nämlich die genannte Statusvariable.

Nachzulesen als MySQL-Bug #29153.

Sphinx-Suche im ComputerBase-Forum

2007-06-17T22:22:00.000+01:00

Die im vorherigen Beitrag erwähnte Sphinx-Suche verwenden wir nun seit einem Monat im Forum von ComputerBase und sind sehr zufrieden. Der Suchindex ist in etwa genau so groß wie die indizierten MySQL-Tabellen und wird aufgrund der erwähnten Update-Problematik jede Nacht neu erstellt.

Sphinx: Die Lösung für lahmende Suchfunktionen?

2007-03-17T23:16:00.000+01:00

Betreiber großer Foren werden ein Lied davon singen können: Spätestens wenn die Datenbanktabelle mit den Beitragstexten die Gigabyte-Grenze überschreitet, gerät die in MySQL integrierte FULLTEXT-Suche an ihre Grenzen.

Sphinx könnte ein Ausweg aus dieser Misere sein. Diese Suchmaschine läuft als System-Daemon und verwendet MySQL lediglich zum Speichern des Datenbestands. Der eigentliche Suchalgorithmus hat nichts mit der MySQL-FULLTEXT-Suche zu tun.

Nach allem was man im Forum liest, ist Sphinx dabei unglaublich schnell, ein Vergleich mit der FULLEXT-Suche erscheint beinahe unfair. Diverse Benchmarks finden sich in den Folien des Vortrags High Performance Full Text Search for Database Content von Peter Zaitsev.

Ein paar Haken hat die Sache leider: Der Suchindex kann nur periodisch unter Verwendung von Delta-Indizes aktualisiert werden. Das Löschen von Einträgen scheint grundsätzlich nicht möglich – dazu muss der komplette Suchindex neu erstellt werden.

Erste Ansätze zur Integration von Sphinx in vBulletin existieren jedoch bereits.

Genial einfach, einfach genial: SSH Filesystem

2006-07-14T06:17:00.000+01:00

Seitdem in den Linux Kernel 2.6.14 das FUSE-Modul (Filesystem in Userspace) aufgenommen wurde, können Dateisystem-Treiber im User-Space implementiert werden. Eine solche Implementierung ist das SSH Filesystem. Damit kann man die Verzeichnisstruktur eines per SSH erreichbaren Servers in den lokalen Verzeichnisbaum integrieren als ob man eine Festplatte oder USB-Stick mounten würde. Fortan lässt sich mit jeder beliebigen Anwendung auf die Dateien des entfernten Computers zugreifen als befänden sich diese auf der lokalen Festplatte.

Benutzern des UNIX-Desktops KDE steht ein vergleichbares Feature seit Jahrem unter dem namen KIO-Slaves zur Verfügung. Jedoch eben ausschließlich KDE-Anwendungen, da nur diese mit den speziellen Protokollen in den Adressen der Dateien wie beispielsweise sftp:// umgehen können.

My Programming Job Went To India ...

2006-03-19T01:17:00.000+01:00

... ist ein sehr empfehlenswertes Buch von Chad Fowler, der als Mitarbeiter eines US-amerikanischen Unternehmens eineinhalb Jahre am Aufbau einer neuen Niederlassung in Bangalore beteiligt war.

Wie der Untertitel "52 Ways To Save Your Job" erahnen lässt geht es ihm nicht um das Verteufeln der Globalisierung und dem damit verbundenen Outsourcing in Länder mit niedrigen Arbeitskosten.

Stattdessen geht es in erster Linie darum, was man selbst tun kann, um das Outsourcen des eigenen Jobs zu verhindern. Praktisch läuft vieles darauf hinaus, dass man die Standortvorteile, die man in Europa oder den USA genießt, nutzt.

Einfache Tippfehlerkorrektur für Website-Suche

2006-03-16T12:17:00.000+01:00

Erstaunlich einfach lässt sich zu einer Website-Suche ein Korrekturvorschlag-Service hinzufügen. Zunächst erstellt man eine Datenbank aller Wörter und deren soundex-Wert. Die soundex-Funktion bildet ähnlich klingende Wörter auf den gleichen vierstelligen Wert ab, der immer aus dem Anfangsbuchstaben sowie drei Ziffern besteht (mehr zum Soundex-System).

Zudem sollte man zu jedem Wort speichern, wie oft dieses insgesamt vorkommt, hat also im Endeffekt zum Beispiel eine Tabelle mit den Spalten word, soundex und occurences.

Um Korrekturvorschläge zu einem Wort zu finden, bildet man dessen Soundex-Wert und liest alle Wörter mit dem gleichen Soundex-Wert aus der beschriebenen Tabelle aus, die mindestens genauso oft vorkommen wie das Wort, für das man Korrekturvorschläge sucht.

Welches dieser in Frage kommenden Wörter schlägt man dem Benutzer nun vor? Die levenshtein-Funktion zum Berechnen der Distanz zwischen zwei Strings hilft weiter. Sollten zwei der in Frage kommenden Korrekturwörter die gleiche Distanz aufweisen, bevorzugt man das häufiger vorkommende.

Idealerweise bräuchte man die Vorselektierung in Frage kommender Wörter anhand deren Soundex-Wert nicht. Dann müsste man jedoch den Levenshtein-Algorithmus über alle Wörter in der Datenbank jagen, was bei vielen Einträgen nicht performant zu bewerkstelligen ist (mehr zum Levenshtein-Algorithmus).

In Aktion sind diese Korrekturvorschläge zu sehen bei ComputerBase. Beispiel-Suche mit absichtlichen Tippfehlern: nvidai gforxe

Supernature-Forum klagt gegen unberechtigte Abmahnung

2006-03-16T12:01:00.000+01:00

Das Supernature-Forum wurde Opfer einer unberechtigten Abmahnung und hat sich nun dazu entschieden zurückzuschlagen. Die Anklage beruft sich auf das höchst umsttrittene Heise-Urteil, für das noch keine schriftliche Begründung vorliegt.

Um das finanzielle Risiko in Grenzen zu halten werden Spenden gesammelt!

Mein Blog!

2006-03-16T11:10:00.000+01:00

Nachdem ich nun schon lange Weblogs lese, habe ich nun endlich auch mein eigenes Blog eingerichtet. Ich werde wahrscheinlich ziemlich unregelmäßig bloggen, hoffe aber, dass es trotzdem für den ein oder anderen interessant ist. ;-)