Linux

Auf dem LinuxTag 2010 geht es heiß zu. Damit meine ich nicht nur das Wetter, sondern auch Henne. Er wird wohl zur Hausfrau - gestern hat er sogar auf dem openSUSE-Stand gebügelt...

LinuxTag 2010 is hot. I don't only mean the weather with this, but also Henne. He seems to become a housewife - yesterday he started ironing at the openSUSE booth...

Anschließend ging es zur LinuxNacht am Berliner Strand (Beach at the Box). Eine nette Location, aber leider mussten wir ab 23:00 Uhr in die "Box".

Afterwards we went to the LinuxNacht at the Berlin beach (Beach at the Box). A nice location, but unfortunately we had to go inside at 11pm.

Prosit Neujahr und alles Gute für 2010! Dieser Artikel enthält einiges, das ich schon 2009 bloggen wollte, und außerdem eine kleine Neujahrsüberraschung von SpamAssassin ;-)

Happy New Year! This article contains some things I wanted to blog about in 2009 already, and a little new year surprise from SpamAssassin ;-)

• PostfixAdmin 2.3 wurde im Oktober 2009 releast, RPMs gibt es natürlich im openSUSE Build Service
  PostfixAdmin 2.3 was released in october 2009, RPMs are available in the openSUSE Build Service


• Postfixadmin 2.4 (oder 3.0?) wird Smarty für die Templates verwenden
  PostfixAdmin 2.4 (or 3.0?) will use smarty for the templates


• PostfixAdmin 2.3.1 (alle Bugfixes seit dem 2.3-Release, aber ohne Smarty) ist in Arbeit
  PostfixAdmin 2.3.1 (with all bugfixes since 2.3 release, but without smarty) is under development


• openSUSE 11.2 wurde im November 2009 releast, und auch gleich von uns (Jan, Jan-Simon und mir) auf der Open Source Expo in Karlsruhe präsentiert
  openSUSE 11.2 was released in november 2009, and presented by us (Jan, Jan-Simon and me) at the Open Source Expo in Karlsruhe


• und die Neujahrsüberraschung von SpamAssassin: 2010 bekommt jede Mail erstmal 3.188 Punkte... - Bugreport
  and the new year surprise from SpamAssassin: every mail in 2010 gets 3.188 points... - Bugreport
  

"AppArmor in der Praxis" - unter diesem Titel hielt ich einen Vortrag auf dem LinuxTag, der trotz des eher trockenen Themas (Security!) recht gut besucht war. Ich habe versucht, den Vortrag so unterhaltsam wie möglich zu halten - ob mir das gelungen ist, darf gern in den Kommentaren vermerkt werden ;-)

Ein Seifenkisten-Rennen und fast zwei Wochen später gibt es meine Präsentation zum Download. (Die Originaldatei im OpenDocument-Format ist auf Anfrage erhältlich.) Eine Video-Aufzeichnung des Vortrags müsste demnächst im openSUSE-Wiki verfügbar sein.

"AppArmor in practise" is the title of the talk I gave at LinuxTag which was received quite well despite the "pedestrian" security topic. Nevertheless I tried to make the talk as lively as possible - feel free to add a comment if this worked out ;-)

One soap box race and nearly two weeks later, I managed to upload my presentation (german). (The original file in OpenDocument format is available on request.) A video recording of my talk should be available on the openSUSE wiki soon.

Download:apparmor-in-der-praxis.pdf

Wie gerade in meinem Vortrag "AppArmor in der Praxis" versprochen gibt es hier meine AppArmor-Profile, die ich auf meinem 11.1-Server benutze. Hinweis: Viele Profile sind im complain-Mode - mit aa-enforce können sie in den enforce-Mode versetzt werden. (Die Präsentation lade ich in den nächsten Tagen hoch.)

As just proposed in my "AppArmor in der Praxis" talk at LinuxTag, here are the AppArmor profiles I use on my 11.1 server. Note that many of them are in complain mode - use aa-enforce to switch them to enforce mode. (I'll upload my presentation in some days.)

Download: apparmor-profiles-111.tar.bz2

Seit gestern bin ich mal wieder in Berlin - der LinuxTag hat gerufen ;-)

Morgen halte ich übrigens einen Vortrag über "AppArmor in der Praxis" (16:30 Uhr, Saal Berlin I) - wer etwas über AppArmor lernen will, ist herzlich willkommen ;-)

openSUSE 11.1 wurde heute freigegeben / was released today.

Neben diesem Blogeintrag habe ich mich zu einer etwas ungewöhnlichen Werbemethode per .htaccess entschieden:

Besides this blog entry, I decided to start a somewhat unusual advertising campaign using .htaccess:

    RewriteCond %{HTTP_REFERER} myspace.com  [OR]
    RewriteCond %{HTTP_REFERER} web3.vs165036.vserver.de  [OR]
    # some other domains
    RewriteRule .*\.(gif|jpg|jpeg|bmp|png)$ http://counter.opensuse.org [R,NC]

Das bedeutet, dass Leute, die Bilder von diesem Blog auf ihren Seiten einbinden und mir Traffic produzieren, ab sofort Werbung fürs neueste openSUSE-Release machen :-) Man sollte eben das Beste aus dem Bilderklau machen *g*

This means that people who hotlink images from my blog on their pages (and cause traffic on my server) are automatically advertising the new openSUSE-release :-) Hey, I'm making the best of these image thefts *g*

(BTW: Am häufigsten geklautes Bild / most stolen image: Winterlicher Weinberg)

(nur für Admins interessant, daher nur auf englisch)

I just released patch2mail 0.9.4 which will send you a mail when updates are available for your openSUSE system (details).

Changes:

• updated patch2mail script to make it compatible with openSUSE 11.1 (zypper lu needs "-t patch" now)
• some small XSLT fixes to hide useless messages (thanks Thomas!)
• older distributions are still supported of course - just make sure to install the package for the correct distribution

Zur Spamabwehr gibt es diverse Möglichkeiten. Seit einiger Zeit habe ich versuchsweise einen "Faulpelz-MX" laufen, der als Backup-MX eingetragen ist und den ganzen Tag nur Mails mit der temporären Fehlermeldung »I'm a "Faulpelz, please use the primary MX« abweist.

Das Ergebnis in Form einer Reject-Statistik für einen Tag:

There are several ways to fight spam. Since some time I'm using a "Faulpelz-MX" (a "Faulpelz" is a sluggard) which does nothing else than rejecting mails with a temporary error message »I'm a "Faulpelz, please use the primary MX« all the day.

The results in the reject statistics for one day:

- 18.000 ix.dnsbl.manitu.net blacklist (5xx)
- 12.000 zen.spamhaus.org blacklist (5xx)
- 13.000 Faulpelz-MX (4xx)
-    600 Greylisting (4xx)

Sprich: Rund ein Drittel der Spammer probiert es beim Backup-MX, der aber den ganzen Tag nur auf der faulen Haut liegt und keine Mails annimmt ;-)  Im Gegenzug ist insbesondere Greylisting stark entlastet, die Blacklisten natürlich auch. Und einen billigeren Check als eine RegEx-Prüfung auf .* wird es kaum geben *g*

Die Menge an abgewiesenen Mails insgesamt hat sich übrigens seit Einsatz des Faulpelzes nicht erhöht - die Spammer sind also immer noch zu faul, um es bei mehreren MXen zu probieren. Nur ein paar "echte" Mailserver, die ins Greylisting laufen, probieren es zusätzlich auch beim Faulpelz - die sind aber zahlenmäßig zu vernachlässigen.

Die nötige Postfix-Konfiguration gibt es im vollständigen Eintrag...

About one third of the spammers try to deliver their mails to the backup MX - which simply rejects all the mails. This reduces the load especially on greylisting, but also on blacklists. And you won't find a "cheaper" check than checking against the .* regex *g*

BTW: The total number of rejected mails didn't change since I use the Faulpelz as backup MX - the spammers are still too lazy to retry at the primary mailserver. Only some "real" mailservers that hit greylisting retry at the Faulpelz - but these can be ignored numerically.

Read the full article to see the required postfix configuration...

(nur für Admins interessant, daher nur auf englisch)

I just released patch2mail 0.9.2 which will send you a mail when updates are available for your openSUSE system (details).

Changes:

• updated patch2mail script to make it compatible with openSUSE 11.0 (zypp-checkpatches-wrapper is deprecated, replaced with zypp-refresh-wrapper and zypper --xmlout lu)
• older distributions are still supported of course - just make sure to install the package for the correct distribution
• some spec changes to make rpmlint more happy (it still complains about some things)

Der LinuxTag ist mal wieder vorbei. Wie gewohnt waren es schöne Tage in Berlin, an denen ich einiges lernte und auch etlichen Besuchern am openSUSE-Stand ihre Fragen beantworten konnte. Außerdem traf ich viele Leute, die ich vorher nur aus Mails kannte. Mindestens genauso schön waren die Abende - am Donnerstag auf der LinuxNacht (die offizielle LinuxTag Party), am Freitag mit dem openSUSE Team beim "openSUSE dinner".

Vielen Dank an alle, die durch ihre gelungenen Vorträge, ihre interessanten Fragen und durchs Spendieren des Abendessens ;-) den LinuxTag zu einem gelungenen Event machten!

Inzwischen habe ich auch meine Hausaufgaben gemacht und die GPG-Keys aller Teilnehmer der Keysigning-Party signiert.

LinuxTag is over again. As usual, the time in Berlin was very good. I learned several things and was able to answer lots of questions at the openSUSE booth. Besides that, I met several people I only knew from mails before. The evenings were even better - thursday at the LinuxNacht (LinuxNight, the official LinuxTag party), friday at the openSUSE dinner with the openSUSE team.

Thanks to everybody who made the LinuxTag an exciting event by giving good talks, asking interesting questions and by treating the dinner ;-)

In the meantime, I did my homework and signed the GPG keys of all participiants of the keysigning party.

Der LinuxTag in Bildern: / LinuxTag in pictures:

LinuxNacht - ob wir es nächstes Jahr schaffen, den Springbrunnen in openSUSE-grün zu färben? ;-) LinuxNight - can we manage to paint the fountain openSUSE-green next year? ;-)	Kreatives Vortragsdesign: "Wir ertrinken in Mails" Creative talk design: "we are drowning in mails"	Key signing party mit rund 60 Teilnehmern Key signing party with around 60 participiants
Martin wird interviewt Martin being interviewed	Zonker und ich beim openSUSE dinner Zonker and me at the openSUSE dinner	Martin kündigt am openSUSE-Tag Zonkers Vortrag an Martin announcing Zonker's talk at openSUSE day
Das openSUSE Laptop Team The openSUSE laptop team	Gefüllter Saal beim KDE4-Vortrag Crowded room at the KDE4 talk

Wie schon vor ein paar Tagen angedroht ;-) bin ich seit heute in Berlin. Heute morgen habe ich mir zuerst ein paar Sehenswürdigkeiten angesehen, und seit ca. 10:30 Uhr bin ich auf dem LinuxTag zwischen Vorträgen, Besuchen an diversen Ständen und Dienst am openSUSE-Stand.

Da ich gerade keine Lust für große Worte habe (ich habe schon genügend Leuten openSUSE nähergebracht ;-) lasse ich lieber Bilder sprechen.

As already mentioned some days ago ;-) I'm at the LinuxTag in Berlin. This morning, I first did some sightseeing. Since about 10:30 am, I'm at the LinuxTag between talks, visiting boots and the openSUSE booth.

I don't really want to write lots of text right now (I have already explained openSUSE to enough people ;-) and let images talk.

Reichstag

Brandenburger Tor

... und dann nix wie ab zum LinuxTag ;-)

Der LinuxTag steht vor der Tür (28.-31.5. in Berlin). Ich bin auch wieder dabei, und zwar vom Donnerstag bis Samstag.

Falls noch jemand eine Eintrittskarte zum LinuxTag braucht - eine habe ich noch übrig. Bei Interesse einfach per Mail melden (Adresse siehe Impressum).

Und falls jemand einfach nur "hallo" sagen will: Ich bin in Berlin des Öfteren am openSUSE-Stand anzutreffen ;-)

Schöner Titel zum Mitraten, oder? ;-)

Paste Search ist ein unspektakuläres PHP-Script, das aber die Usability von Konqueror (und anderen Webbrowsen) enorm verbessert. Konkret geht es um das Verhalten beim "Mittelklicken" des Browserfensters, das normalerweise eine Google-Suche auslöst und nach dem Begriff in der Zwischenablage sucht. Dieses Standardverhalten ist schonmal gut, aber oft habe ich andere Ziele - beispielsweise ein Bugreport auf bugzilla.novell.com oder im SourceForge Tracker.

Die Lösung ist relativ einfach: Das folgende PHP-Script wird auf einen Webserver hochgeladen und als Standard-Suchmaschine im Browser eingetragen. Ab diesem Zeitpunkt wird bei Zahlen automatisch im Bugtracker gesucht (die Unterscheidung erfolgt anhand der Nummer - alles bis 500000 geht an bugzilla.novell.com, der Rest an SourceForge), bei Text mit Google.

Nice title to guess on, right? ;-)

Paste Search is an unspectacular PHP script that greatly enhances the usability of Konqueror (and other web browsers). To be exact, it is about the behaviour when "middle-clicking" the browser window which usually starts a google search for the content of the clipboard. This default behaviour is not bad, but sometimes I have other targets - for example bugreports on bugzilla.novell.com or in the SourceForge trackers.

The solution is quite simple: Upload the following PHP script to a webserver and configure your browser to use it as default search engine. If you paste numbers to your browser now, it will go to the bugtracker automatically (the selection depends on the bug number - up to 500000 goes to bugzilla.novell.com, everything above to the SourceForge tracker). If you paste text, you will be redirected to Google.

<?php # cbPasteSearch.php
if (empty($_GET['q'])) {
    echo "Please run me with ?q=searchterm";
} else {
    $q = trim($_GET['q']);
    if (preg_match("/^[0-9]+$/", $q)) { # numeric
        if ($q < 500000) { # Novell bugzilla
            header("Location: https://bugzilla.novell.com/show_bug.cgi?id=$q");
        } else { # SF tracker
            header("Location: https://sourceforge.net/support/tracker.php?aid=$q");
        }
    } else { # not numeric - ask Google
            header("Location: http://www.google.de/search?q=$q");
    }
}
?>

Natürlich kann man sich das Script nach Bedarf durch zusätzliche if-Abfragen anpassen. Vorschläge dazu nehme ich in den Kommentaren gern entgegen ;-)

Of course you can customize the script as needed by adding additional if statements. Please add your ideas to the comment section ;-)

Hätte ich diesen Artikel zwei Stunden früher gepostet, hätte man ihn für einen Aprilscherz gehalten: Ich habe gestern eine MySQL-Query bei gleichem Ergebnis um den Faktor 1000 beschleunigt. Das Ganze ohne irgendwelche Änderungen an der Datenbank oder der MySQL-Konfiguration, sondern nur durch Änderung der Query.

Das ist die ursprüngliche Query (etwas vereinfacht, im Original wurden noch ein paar mehr Felder SELECTed):

SELECT 
a.id,a.rubrik,a.sort,
b.id as rid,b.verfall as rverfall,
c.id as sid,c.verfall as sverfall,
d.id as kid,d.verfall as kverfall
FROM a,b,c,d
WHERE a.rubrik=24 AND
(a.id = b.id OR a.id = c.id OR a.id = d.id) AND 
(b.verfall >=now() OR c.verfall >=now() OR d.verfall >=now())
GROUP BY a.id
ORDER BY a.sort;

Laufzeit dieser Abfrage sind gut 3 Sekunden bei einem recht kleinen Datenbestand (b, c und d haben jeweils rund 100 Datensätze, a hat "immerhin" 380). Das Ergebnis der Query sind lächerliche 8 Datensätze.

Bei einem so kleinen Datenbestand ist die hohe Laufzeit doch recht verwunderlich. Ich wage zu behaupten, dass man die Daten per RTP (Rauchzeichen Transfer Prototokoll ;-) schneller aus der Datenbank bekommen hätte...

Sieht man sich die Abfrage mit EXPLAIN an, sieht man einen Teil der Ursache: Es wird eine temporäre Tabelle angelegt. (Waaas?! Für 8 Datensätze?!). Verständlich wird das Problem, wenn man einmal das "GROUP BY" weglässt. Das Ergebnis enthält dann rund 15.000 Datensätze - davon 14.992 Duplikate, die durch die impliziten JOINs ("WHERE ... a.oid=b.oid") erzeugt werden. Dass man für diese Datenmenge eine temporäre Tabelle braucht, ist schon weniger verwunderlich ;-) aber trotzdem nicht akzeptabel.

Die überarbeitete Query sieht dann so aus:

SELECT a.rubrik,a.id,a.tabname,a.sort,
b.id as rid,b.verfall as rverfall
FROM a,b
WHERE a.rubrik=24 AND a.id = b.id AND b.verfall >=now()
UNION
SELECT a.rubrik,a.id,a.tabname,a.sort,
c.id as sid,c.verfall as sverfall
FROM a,c
WHERE a.rubrik=24 AND a.id = c.id AND c.verfall >=now()
UNION
SELECT a.rubrik,a.id,a.tabname,a.sort,
d.id as kid,d.verfall as kverfall
FROM a,d
WHERE a.rubrik=24 AND a.id = d.id AND d.verfall >=now() 
ORDER BY a.sort;

Wie man sieht, braucht diese Abfrage kein GROUP BY, weil sie keine überflüssigen Duplikate produziert. Das wirkt sich auch sehr positiv auf die Laufzeit aus - nur noch 0,003 Sekunden und somit ein Tausendstel der alten Query :-)

Danke, Kris für die MySQL-Dienstage in Deiner Zeit in Karlsruhe, bei denen man u. a. solche Dinge lernen konnte. Ja, ich lese Dein Blog immer noch ;-) - unter anderem wegen der hervorragenden technischen Artikel.

Mit etwas Verspätung (wegen Zeitmangel), dafür aber mit Grüßen vom Osterhasen veröffentliche ich heute die SQL-Abfragen, um die Mailkonfiguration von Qmail / Plesk nach Postfix mit MySQL-Backend zu migrieren. Einige der Queries haben durchaus Chancen auf den Longest-SQL-Query-of-the-year-Award ;-)

Alle Queries wurden bei einer echten Migration getestet und funktionieren. Zur Verwaltung der Mailkonfiguration nach der Migration zu Postfix empfehle ich Postfixadmin (RPMs), bei dem ich auch seit einiger Zeit mitprogrammiere.

A bit late (because a lack of time), but with greetings from the easter-bunny, I publish the SQL queries that are needed to migrate from Qmail / Plesk to Postfix with MySQL backend. Some of the queries have good chances to win the longest-SQL-query-of-the-year award ;-)

All queries were tested while a real server migration and work. To manage your mail addresses after migrating to postfix, I recommend Postfixadmin (RPMs) on which I'm co-developer since some time.

Die SQL-Queries und einige Details stehen im vollständigen Artikel - bitte weiterlesen...

The SQL queries and some more details are available in the full article - read on...