openSUSE 11.1 wurde heute freigegeben / was released today. Neben diesem Blogeintrag habe ich mich zu einer etwas ungewöhnlichen Werbemethode per .htaccess entschieden: Besides this blog entry, I decided to start a somewhat unusual advertising campaign using .htaccess: RewriteCond %{HTTP_REFERER} myspace.com [OR]
RewriteCond %{HTTP_REFERER} web3.vs165036.vserver.de [OR]
# some other domains
RewriteRule .*\.(gif|jpg|jpeg|bmp|png)$ http://counter.opensuse.org [R,NC]Das bedeutet, dass Leute, die Bilder von diesem Blog auf ihren Seiten einbinden und mir Traffic produzieren, ab sofort Werbung fürs neueste openSUSE-Release machen :-) Man sollte eben das Beste aus dem Bilderklau machen *g* This means that people who hotlink images from my blog on their pages (and cause traffic on my server) are automatically advertising the new openSUSE-release :-) Hey, I'm making the best of these image thefts *g* (BTW: Am häufigsten geklautes Bild / most stolen image: Winterlicher Weinberg)
(nur für Admins interessant, daher nur auf englisch) I just released patch2mail 0.9.4 which will send you a mail when updates are available for your openSUSE system (details). Changes: - updated patch2mail script to make it compatible with openSUSE 11.1 (zypper lu needs "-t patch" now)
- some small XSLT fixes to hide useless messages (thanks Thomas!)
- older distributions are still supported of course - just make sure to install the package for the correct distribution
You can download patch2mail from the openSUSE build service.Oh, and I'm going to submit patch2mail to Contrib ;-)
Zur Spamabwehr gibt es diverse Möglichkeiten. Seit einiger Zeit habe ich versuchsweise einen "Faulpelz-MX" laufen, der als Backup-MX eingetragen ist und den ganzen Tag nur Mails mit der temporären Fehlermeldung »I'm a "Faulpelz, please use the primary MX« abweist. Das Ergebnis in Form einer Reject-Statistik für einen Tag: There are several ways to fight spam. Since some time I'm using a "Faulpelz-MX" (a "Faulpelz" is a sluggard) which does nothing else than rejecting mails with a temporary error message »I'm a "Faulpelz, please use the primary MX« all the day. The results in the reject statistics for one day: - 18.000 ix.dnsbl.manitu.net blacklist (5xx)
- 12.000 zen.spamhaus.org blacklist (5xx)
- 13.000 Faulpelz-MX (4xx)
- 600 Greylisting (4xx) Sprich: Rund ein Drittel der Spammer probiert es beim Backup-MX, der aber den ganzen Tag nur auf der faulen Haut liegt und keine Mails annimmt ;-) Im Gegenzug ist insbesondere Greylisting stark entlastet, die Blacklisten natürlich auch. Und einen billigeren Check als eine RegEx-Prüfung auf .* wird es kaum geben *g* Die Menge an abgewiesenen Mails insgesamt hat sich übrigens seit Einsatz des Faulpelzes nicht erhöht - die Spammer sind also immer noch zu faul, um es bei mehreren MXen zu probieren. Nur ein paar "echte" Mailserver, die ins Greylisting laufen, probieren es zusätzlich auch beim Faulpelz - die sind aber zahlenmäßig zu vernachlässigen. Die nötige Postfix-Konfiguration gibt es im vollständigen Eintrag... About one third of the spammers try to deliver their mails to the backup MX - which simply rejects all the mails. This reduces the load especially on greylisting, but also on blacklists. And you won't find a "cheaper" check than checking against the .* regex *g* BTW: The total number of rejected mails didn't change since I use the Faulpelz as backup MX - the spammers are still too lazy to retry at the primary mailserver. Only some "real" mailservers that hit greylisting retry at the Faulpelz - but these can be ignored numerically. Read the full article to see the required postfix configuration...
Bounces von Spam-Mails, die mit gefaktem Absender verschickt wurden, sind nicht schön. Es gibt aber Ausnahmen - diesmal hat eine Benachrichtigung über die Zustellverzögerung eher für Erheiterung bei mir gesorgt. Aber lest selbst... Receiving bounces for spam mails with faked sender address is not nice. But there are exceptions - today a mail delivery delay notification somewhat exhilarated me. But please read yourself... Subject: Warning: message 1Jloab-000J5Z-0j delayed 3936 hours
From: Mail Delivery System <Mailer-Daemon@free1.firehosting.nl>
To: [faked sender address @cboltz.de]
This message was created automatically by mail delivery software.
A message that you sent has not yet been delivered to one or more of its
recipients after more than 3936 hours on the queue on free1.firehosting.nl.
[...]
The date of the message is: Tue, 15 Apr 2008 21:05:01 +0400
[...]
No action is required on your part. Delivery attempts will continue for
some time, and this warning may be repeated at intervals if the message
remains undelivered. Eventually the mail delivery software will give up,
and when that happens, the message will be returned to you.
Man achte auf die genannte Verzögerungszeit - immerhin kann man dem Provider nicht vorwerfen, dass er bei der Mailzustellung vorschnell aufgibt ;-) Please notice the delay time - at least you can't argue the provider gives up on mail delivery too early ;-)
Bei mir hat sich am Sonntag die Festplatte meines Laptops verabschiedet, dem Geräusch nach zu urteilen per Headcrash. Das bedeutet, dass alle Mails seit 22.8. (letztes Backup) erstmal weg sind. Immerhin bin ich wieder arbeitsfähig. Einziger Pluspunkt ist, dass die neue Platte 160 GB statt 40 GB groß ist :-) Falls mir jemand seit 22. August geschrieben hat und noch auf eine Antwort von mir wartet: bitte nochmal schreiben. Falls jemand Tipps hat, wie man eine verschlüsselte Partition mit einer Menge badblocks wenigstens großteils wiederherstellt, wäre ich für einen Hinweis dankbar ;-) On sunday evening my laptop's harddisk died, probably with a headcrash. This means that all mails since Aug 22th (last backup) are lost for now. At least I have a working system again. On the positive side, the new harddisk has 160 GB instead of 40 GB :-) If you have sent me a mail since Aug 22th and did not receive an answer yet, please send your mail again. If you have some tips about recovering (most parts of) an encrypted partition with lots of badblocks, please drop me a note.
(nur für Admins interessant, daher nur auf englisch) I just released patch2mail 0.9.2 which will send you a mail when updates are available for your openSUSE system (details). Changes: - updated patch2mail script to make it compatible with openSUSE 11.0 (zypp-checkpatches-wrapper is deprecated, replaced with zypp-refresh-wrapper and zypper --xmlout lu)
- older distributions are still supported of course - just make sure to install the package for the correct distribution
- some spec changes to make rpmlint more happy (it still complains about some things)
You can download patch2mail from the openSUSE build service.
Der LinuxTag ist mal wieder vorbei. Wie gewohnt waren es schöne Tage in Berlin, an denen ich einiges lernte und auch etlichen Besuchern am openSUSE-Stand ihre Fragen beantworten konnte. Außerdem traf ich viele Leute, die ich vorher nur aus Mails kannte. Mindestens genauso schön waren die Abende - am Donnerstag auf der LinuxNacht (die offizielle LinuxTag Party), am Freitag mit dem openSUSE Team beim "openSUSE dinner". Vielen Dank an alle, die durch ihre gelungenen Vorträge, ihre interessanten Fragen und durchs Spendieren des Abendessens ;-) den LinuxTag zu einem gelungenen Event machten! Inzwischen habe ich auch meine Hausaufgaben gemacht und die GPG-Keys aller Teilnehmer der Keysigning-Party signiert. LinuxTag is over again. As usual, the time in Berlin was very good. I learned several things and was able to answer lots of questions at the openSUSE booth. Besides that, I met several people I only knew from mails before. The evenings were even better - thursday at the LinuxNacht (LinuxNight, the official LinuxTag party), friday at the openSUSE dinner with the openSUSE team. Thanks to everybody who made the LinuxTag an exciting event by giving good talks, asking interesting questions and by treating the dinner ;-) In the meantime, I did my homework and signed the GPG keys of all participiants of the keysigning party. Der LinuxTag in Bildern: / LinuxTag in pictures: 
LinuxNacht - ob wir es nächstes Jahr schaffen, den Springbrunnen in openSUSE-grün zu färben? ;-)
LinuxNight - can we manage to paint the fountain openSUSE-green next year? ;-) | 
Kreatives Vortragsdesign: "Wir ertrinken in Mails"
Creative talk design: "we are drowning in mails" | 
Key signing party mit rund 60 Teilnehmern
Key signing party with around 60 participiants | 
Martin wird interviewt
Martin being interviewed | 
Zonker und ich beim openSUSE dinner
Zonker and me at the openSUSE dinner | 
Martin kündigt am openSUSE-Tag Zonkers Vortrag an
Martin announcing Zonker's talk at openSUSE day | 
Das openSUSE Laptop Team
The openSUSE laptop team | 
Gefüllter Saal beim KDE4-Vortrag
Crowded room at the KDE4 talk | |
Wie schon vor ein paar Tagen angedroht ;-) bin ich seit heute in Berlin. Heute morgen habe ich mir zuerst ein paar Sehenswürdigkeiten angesehen, und seit ca. 10:30 Uhr bin ich auf dem LinuxTag zwischen Vorträgen, Besuchen an diversen Ständen und Dienst am openSUSE-Stand. Da ich gerade keine Lust für große Worte habe (ich habe schon genügend Leuten openSUSE nähergebracht ;-) lasse ich lieber Bilder sprechen. As already mentioned some days ago ;-) I'm at the LinuxTag in Berlin. This morning, I first did some sightseeing. Since about 10:30 am, I'm at the LinuxTag between talks, visiting boots and the openSUSE booth. I don't really want to write lots of text right now (I have already explained openSUSE to enough people ;-) and let images talk. 
Reichstag | 
Brandenburger Tor | 
... und dann nix wie ab zum LinuxTag ;-) |
Der LinuxTag steht vor der Tür (28.-31.5. in Berlin). Ich bin auch wieder dabei, und zwar vom Donnerstag bis Samstag. Falls noch jemand eine Eintrittskarte zum LinuxTag braucht - eine habe ich noch übrig. Bei Interesse einfach per Mail melden (Adresse siehe Impressum). Und falls jemand einfach nur "hallo" sagen will: Ich bin in Berlin des Öfteren am openSUSE-Stand anzutreffen ;-)
Schöner Titel zum Mitraten, oder? ;-) Paste Search ist ein unspektakuläres PHP-Script, das aber die Usability von Konqueror (und anderen Webbrowsen) enorm verbessert. Konkret geht es um das Verhalten beim "Mittelklicken" des Browserfensters, das normalerweise eine Google-Suche auslöst und nach dem Begriff in der Zwischenablage sucht. Dieses Standardverhalten ist schonmal gut, aber oft habe ich andere Ziele - beispielsweise ein Bugreport auf bugzilla.novell.com oder im SourceForge Tracker. Die Lösung ist relativ einfach: Das folgende PHP-Script wird auf einen Webserver hochgeladen und als Standard-Suchmaschine im Browser eingetragen. Ab diesem Zeitpunkt wird bei Zahlen automatisch im Bugtracker gesucht (die Unterscheidung erfolgt anhand der Nummer - alles bis 500000 geht an bugzilla.novell.com, der Rest an SourceForge), bei Text mit Google. Nice title to guess on, right? ;-) Paste Search is an unspectacular PHP script that greatly enhances the usability of Konqueror (and other web browsers). To be exact, it is about the behaviour when "middle-clicking" the browser window which usually starts a google search for the content of the clipboard. This default behaviour is not bad, but sometimes I have other targets - for example bugreports on bugzilla.novell.com or in the SourceForge trackers. The solution is quite simple: Upload the following PHP script to a webserver and configure your browser to use it as default search engine. If you paste numbers to your browser now, it will go to the bugtracker automatically (the selection depends on the bug number - up to 500000 goes to bugzilla.novell.com, everything above to the SourceForge tracker). If you paste text, you will be redirected to Google. <?php # cbPasteSearch.php
if (empty($_GET['q'])) {
echo "Please run me with ?q=searchterm";
} else {
$q = trim($_GET['q']);
if (preg_match("/^[0-9]+$/", $q)) { # numeric
if ($q < 500000) { # Novell bugzilla
header("Location: https://bugzilla.novell.com/show_bug.cgi?id=$q");
} else { # SF tracker
header("Location: https://sourceforge.net/support/tracker.php?aid=$q");
}
} else { # not numeric - ask Google
header("Location: http://www.google.de/search?q=$q");
}
}
?> Natürlich kann man sich das Script nach Bedarf durch zusätzliche if-Abfragen anpassen. Vorschläge dazu nehme ich in den Kommentaren gern entgegen ;-) Of course you can customize the script as needed by adding additional if statements. Please add your ideas to the comment section ;-)
Hätte ich diesen Artikel zwei Stunden früher gepostet, hätte man ihn für einen Aprilscherz gehalten: Ich habe gestern eine MySQL-Query bei gleichem Ergebnis um den Faktor 1000 beschleunigt. Das Ganze ohne irgendwelche Änderungen an der Datenbank oder der MySQL-Konfiguration, sondern nur durch Änderung der Query. Das ist die ursprüngliche Query (etwas vereinfacht, im Original wurden noch ein paar mehr Felder SELECTed): SELECT
a.id,a.rubrik,a.sort,
b.id as rid,b.verfall as rverfall,
c.id as sid,c.verfall as sverfall,
d.id as kid,d.verfall as kverfall
FROM a,b,c,d
WHERE a.rubrik=24 AND
(a.id = b.id OR a.id = c.id OR a.id = d.id) AND
(b.verfall >=now() OR c.verfall >=now() OR d.verfall >=now())
GROUP BY a.id
ORDER BY a.sort; Laufzeit dieser Abfrage sind gut 3 Sekunden bei einem recht kleinen Datenbestand (b, c und d haben jeweils rund 100 Datensätze, a hat "immerhin" 380). Das Ergebnis der Query sind lächerliche 8 Datensätze. Bei einem so kleinen Datenbestand ist die hohe Laufzeit doch recht verwunderlich. Ich wage zu behaupten, dass man die Daten per RTP (Rauchzeichen Transfer Prototokoll ;-) schneller aus der Datenbank bekommen hätte... Sieht man sich die Abfrage mit EXPLAIN an, sieht man einen Teil der Ursache: Es wird eine temporäre Tabelle angelegt. (Waaas?! Für 8 Datensätze?!). Verständlich wird das Problem, wenn man einmal das "GROUP BY" weglässt. Das Ergebnis enthält dann rund 15.000 Datensätze - davon 14.992 Duplikate, die durch die impliziten JOINs ("WHERE ... a.oid=b.oid") erzeugt werden. Dass man für diese Datenmenge eine temporäre Tabelle braucht, ist schon weniger verwunderlich ;-) aber trotzdem nicht akzeptabel. Die überarbeitete Query sieht dann so aus: SELECT a.rubrik,a.id,a.tabname,a.sort,
b.id as rid,b.verfall as rverfall
FROM a,b
WHERE a.rubrik=24 AND a.id = b.id AND b.verfall >=now()
UNION
SELECT a.rubrik,a.id,a.tabname,a.sort,
c.id as sid,c.verfall as sverfall
FROM a,c
WHERE a.rubrik=24 AND a.id = c.id AND c.verfall >=now()
UNION
SELECT a.rubrik,a.id,a.tabname,a.sort,
d.id as kid,d.verfall as kverfall
FROM a,d
WHERE a.rubrik=24 AND a.id = d.id AND d.verfall >=now()
ORDER BY a.sort; Wie man sieht, braucht diese Abfrage kein GROUP BY, weil sie keine überflüssigen Duplikate produziert. Das wirkt sich auch sehr positiv auf die Laufzeit aus - nur noch 0,003 Sekunden und somit ein Tausendstel der alten Query :-) Danke, Kris für die MySQL-Dienstage in Deiner Zeit in Karlsruhe, bei denen man u. a. solche Dinge lernen konnte. Ja, ich lese Dein Blog immer noch ;-) - unter anderem wegen der hervorragenden technischen Artikel.
 Mit etwas Verspätung (wegen Zeitmangel), dafür aber mit Grüßen vom Osterhasen veröffentliche ich heute die SQL-Abfragen, um die Mailkonfiguration von Qmail / Plesk nach Postfix mit MySQL-Backend zu migrieren. Einige der Queries haben durchaus Chancen auf den Longest-SQL-Query-of-the-year-Award ;-)
Alle Queries wurden bei einer echten Migration getestet und funktionieren. Zur Verwaltung der Mailkonfiguration nach der Migration zu Postfix empfehle ich Postfixadmin (RPMs), bei dem ich auch seit einiger Zeit mitprogrammiere. A bit late (because a lack of time), but with greetings from the easter-bunny, I publish the SQL queries that are needed to migrate from Qmail / Plesk to Postfix with MySQL backend. Some of the queries have good chances to win the longest-SQL-query-of-the-year award ;-) All queries were tested while a real server migration and work. To manage your mail addresses after migrating to postfix, I recommend Postfixadmin (RPMs) on which I'm co-developer since some time. Die SQL-Queries und einige Details stehen im vollständigen Artikel - bitte weiterlesen... The SQL queries and some more details are available in the full article - read on...
Hatte ich noch gar nicht erwähnt: Das CBlog hat seit ein paar Wochen einen offiziellen Mirror: http://planetsuse.org/de/ Zumindest solange, bis sich noch andere Leute finden, die rund um openSUSE aktiv sind und auf deutsch bloggen - dann wird aus dem Mirror ein echter Planet ;-) Meine englischsprachigen Beiträge gibt es auch weiterhin auf der englischen Seite von Planet SUSE.
Mein erster Commit ins Zypp SVN: patch2mail. Ich nutze diese Gelegenheit gleich mal, um das Ganze bekanntzumachen ;-)
Server-Administratoren kennen das Problem: Es gibt kein gutes und einfaches Werkzeug, um per Mail benachrichtigt zu werden, sobald es neue Updates gibt. Mein patch2mail füllt diese Lücke und verschickt die gewünschte Mail.
Da Admins eh englisch können müssen, ist der Rest dieses Eintrags auf englisch ;-)
My first commit to the Zypp SVN: patch2mail. I'll use this opportunity to announce this little tool ;-)
Server admins know the problem: There's no good and simple tool available to get an email notification when new security updates are available.
patch2mail is a simple tool that fills this gap and mails you whenever new updates are available.
In theory, you could use
zypper lu | mail -s updates root
but this will also send a mail if no update is available.
I was annoyed by that and therefore wrote this little tool, consisting of a shell script and a XSLT file to transform the zypper XML output to text.
Usage is easy: Download the RPM from the buildservice (http://software.opensuse.org/search?q=patch2mail, it's in home:cboltz) and install it on your server. Make sure you receive mails for root (for example setup mail forwarding in /etc/aliases). That's it. The script directly installs to /etc/cron.daily and will inform you when new updates are available.
patch2mail is available for openSUSE 10.2 and 10.3. (might work on 11.0 alpha also, but I didn't test it yet) If you want to know in advance how the update notification mails look, have a look at this example mail:
Subject: <servername> updates
=== foobar-libs - Patch 1234-0 (security) ===
foobar-libs: fixed security issue when doing foo.
This patch contains the fix for a security problem when
doing foo. [... long patch description continues ...]
Weihnachten - das ist die Zeit von Ruhe und Besinnlichkeit. Es sei denn, man ist Admin eines Servers, der sich just an Heiligabend verabschiedet. Dann wird es nämlich recht hektisch. So "durfte" ich dann kurzerhand die Postfächer von rund 100 Domains auf einen anderen Server umziehen. Dazu noch ein paar datenbanklastige Webseiten (Typo3 und ein paar Spezialitäten). Naja, immerhin war ich vor der Bescherung fertig *g* Das Gute daran: Der Umzug hat recht schmerzfrei geklappt (die nötigen SQL-Queries hatte ich zum Glück schon vor längerer Zeit vorbereitet) und die betroffenen Kunden haben jetzt sogar ein (fast) spamfreies Postfach, was der vorherige Server (Plesk, Qmail) nicht geschafft hat. Und ich weiß jetzt, dass (entgegen meiner Erwartung und früherer Erfahrung) die meisten Spammer ihne DNS-Einträge nicht cachen - ich hatte nach der MX-Umstellung innerhalb einer Stunde eine Reject-Rate von 50 Mails/Minute statt vorher 3 ;-) Das "Migration von Plesk zu Postfix/MySQL HOWTO" zur Migration der Mailuser-Datenbank gibt es demnächst an dieser Stelle. Soviel verrate ich jetzt schon: Hauptbestandteil ist eine SQL-Query, die eine DIN A4-Seite für sich braucht. Was meint Ihr - soll ich das HOWTO auch im Plesk Forum posten? Wäre doch bestimmt ein Spaß ;-) Trotz allem wünsche ich frohe Rest-Weihnachten und schonmal einen guten Rutsch!
|
Mit etwas Verspätung (wegen Zeitmangel), dafür aber mit Grüßen vom Osterhasen veröffentliche ich heute die SQL-Abfragen, um die Mailkonfiguration von Qmail / Plesk nach Postfix mit MySQL-Backend zu migrieren. Einige der Queries haben durchaus Chancen auf den Longest-SQL-Query-of-the-year-Award ;-)
Kommentare