awk und sed

awk ist eine Programmiersprache zur Bearbeitung und Auswertung einfacher Textdaten, insbesondere CSV-Dateien. Der zugehörige Interpreter war eines der ersten Werkzeuge, die in der Version 3 von UNIX erschienen; sie wird auch heute noch vielfach zusammen mit sed in Shell-Skripten eingesetzt, um Daten zu bearbeiten, umzuformen oder auszuwerten. Die Bezeichnung “awk” ist aus den Anfangsbuchstaben der Nachnamen ihrer drei Autoren Alfred V. Aho, Peter J. Weinberger und Brian W. Kernighan zusammengesetzt.

Eine Version von awk ist heute in jedem Unix-System zu finden. Es ist aber auch für fast alle anderen Betriebssysteme verfügbar. Die Free Software Foundation stellt unter dem Namen “gawk” eine freie Version zur Verfügung.

awk arbeitet fast ausschließlich mit dem Datentyp Zeichenkette (engl. String). Daneben sind assoziative Arrays (d. h. mit Zeichenketten indizierte Arrays, auch Hashs genannt) und reguläre Ausdrücke grundlegende Bestandteile der Sprache.

Quelle: http://de.wikipedia.org/wiki/Awk

sed steht für Stream EDitor und ist ein bekanntes Unix-Werkzeug, mit dem Textdateien geändert werden können. sed ist wie jedes Unix-Werkzeug ein Programm, das die automatisierte Manipulation per Kommandozeile ermöglicht–im Gegensatz etwa zu einem interaktiven Texteditor wie etwa dem vi.

Die sed-Befehle orientieren sich teilweise an denen des zeilenorientierten Texteditors ed. Sed liest eine Eingabedatei Zeile für Zeile, und gibt jede Zeile entsprechend vorgegebener Regeln verändert wieder aus.

Quelle: http://de.wikipedia.org/wiki/Sed_(Unix)

Zwei Werkzeuge die nach meiner Erfahrung von vielen unterschätzt werden – vorallem da eine gewisses Maß an lernaufwand und Einarbeitungszeit vorausgesetzt wird.

Ich verwende awk-Einzeiler bzw. einfache awk-Skripte häufiger um ABAP-Datenextrakte (aus SAP R/3) flexibel aufzubereiten, so daß eine Datei für verschiedene Anwendungsfälle und Zielsystem / Reportingtools genutzt werden kann.
Sed kommt immer dann zum Einsatz wenn größere Datenbestände “manipuliert”, z.B. Zeichenketten ersetzt werden müssen.

Ich nutze sowohl awk als auch sed unter Windows und GNU/Linux.

Hier eine kleine Zusammenfassung von Tutorials, Cheatsheets, Reference Cards und Hintergrundinformationen.

• AWK Reference Card
• Die Programmiersprache Awk: Einführung, Tipps und Tricks.
• Awk by example, Part1. Englischsprachige Einfuehrung in awk
• GAWK (GNU Awk) Website
• The GNU Awk User’s Guide. Englischsprachige Anleitung zu GNU Awk
• Awk Tutorial
• AWK-Einführung auf Deutsch
• ausführliche AWK-Einführung auf Deutsch
• Datenmanipulation unter UNIX (sed und awk). (PDF-Dokument, 49 Seiten, 146 kb)
• Der Stream Editor sed
• GNU-Anleitung (englisch)
• Eine Einführung in sed
• Seder’s grab bag – Sed-Scripts
• Seder’s grab bag – Sed-Tutorials
• Der Stream-Editor Sed: Einführung, Tipps und Tricks
• Handy One-Liners for SED
• The SED FAQ
• Die Homepage von SED und SSED
• Book indexes with sed
• Getting Console or Disk Data into Environments under MS-Dos and Windows (for SED)
• IF and ELSE with SED. Wenn-Dann-Bedingungen mit SED abbilden
• Sed: Texte automatisch verarbeiten
• Sed (UNIX/Linux-Aufbau-Kurs)
• Some Useful Gawk Scripts
• AWK (Aho, Kernighan, and Weinberger) Summary
• Quick Tip: Use our AWK cheat sheets to quickly and easily manipulate UNIX data
• The awk programming language
• AWK cheat sheets
• The AWK Manual
• Improve your scripting with AWK, part 1: An introduction to the pattern scanning and processing utility
• Improve your scripting with AWK, part 2: The language
• Improve your scripting with AWK, part 3: Pre- and post-processing
• Tech Tip: Use awk to format output
• Manipulate text files easily with UNIX awk
• Extract text with awk
• Sed – An Introduction and Tutorial
• AWK Tutorial, Learn AWK
• SED Tutorial
• awk is a beautiful tool
• Get sed savvy – part 1
• Get sed savvy – part 2
• Get sed savvy – part 3
• Keine Angst vor awk – ein Schnelleinstieg

bearbeitet 2009/10/27:

Noch ein paar sehr hilfreiche Links zum Thema Awk.

• Awk – A tutorial and introduction
• Awk one-liners
• Famous Awk One-Liners Explained, Part I: File Spacing, Numbering and Calculations
• Famous Awk One-Liners Explained, Part II: Text Conversion and Substitution
• Famous Awk One-Liners Explained, Part III: Selective Printing and Deleting of Certain Lines

Update 2010/07/17:

• Common threads: Sed by example, Part 1
• Common threads: Sed by example, Part 2
• Common threads: Awk by example, Part 1
• Common threads: Awk by example, Part 2
• Common threads: Awk by example, Part 3
• Simplify data extraction using Linux text utilities
• Effective management of system logs
• Awk by example, Part 1
• Awk by example, Part 2
• Awk by example, Part 3