Datenerfassungssysteme künftiger Hochenergie- und Schwerionenexperimente

Autor:
Hermann Loring

Fortschritte der experimentellen Physik sind stets eng mit Verfeinerungen der Messmethoden in dem betrachteten Gebiet verknüpft. Im Bereich der ultrarelativistischen Schwerionenphysik muss die mit den Beschleunigern erreichbare Kollisionsenergie um so höher sein, je grösser die Energiedichte in der Reaktionszone sein soll. Mit dem steten Anwachsen der Schwerionen- und Teilchenenergie ist ein Anstieg der Informationsmenge pro Reaktion verbunden, dem zukünftige Grossforschungs-Experimente der Hochenergiephysik, wie sie z.B. um die Jahrtausendwende an den noch im Bau befindlichen Beschleunigern LHC (Large Hadron Collider) am europäischen Kernforschungszentrum CERN (Schweiz) und RHIC (Relativistic Heavy Ion Collider) in Brookhaven (USA) geplant sind, Rechnung tragen müssen; die Komplexität der Prozesse, die hier beobachtet werden sollen, erfordert die Erfassung einer Vielzahl von Detektorinformationen in extrem grosser Menge und zeitlicher Verdichtung Dies bedingt neue, innovative Methoden und Lösungen; es erweist sich dabei als entscheidend, bereits vor der Aufzeichnung diejenigen Anteile der Detektorsignale zu erkennen, zu selektieren und vorzuverarbeiten, die die gesuchte physikalische Information enthalten, und somit frühzeitig eine Entscheidung zu treffen, inwiefern eine Reaktion als physikalisch interessant zu bewerten ist oder ob sie verworfen werden kann.

Anhand des Beispiels zweier gegenwärtig im Aufbau befindlicher Experimente am LHC und am RHIC, bei denen sich solche im Vergleich zum Massstab heutiger Hochenergieexperimente extrem hohe, von der Art jedoch komplementäre Anforderungen stellen, sollen Lösungsansätze beschrieben werden.

STAR: Datenselektion durch Online-Spurrekonstruktion

Im STAR-Experiment (kurz für Solenoidal Tracker At RHIC) wird nach Signaturen eines Quark-Gluon-Plasmas gesucht und das Verhalten von stark wechselwirkender Materie erforscht. Zu diesem Zweck sollen Proton-Proton-, Proton-Kern- und vor allem Kern-Kern-Reaktionen bei sehr hohen Energien von bis zu 100 GeV/Nukleon untersucht werden. Zur Erfassung der physikalischen Observablen ist es notwendig, möglichst viele der bis zu zweitausend in einer Reaktion produzierten Teilchen nachzuweisen und zu vermessen. Dies erfordert ein grossvolumiges Multi-Detektorsystem ([1]Abb. 1).

Den grössten Anteil der gesamten Datenmenge liefert eine zylindrische, innerhalb eines Solenoidal-Magneten befindliche Spuren-Driftkammer (TPC, Time-Projection-Chamber), in deren grossen Volumen die Spuren geladener Teilchen nachgewiesen werden. Zur Auslese der Kammer besitzt die TPC an ihren Endkappen segmentierte Kathodenebenen mit 2 ´ 70 000 parallelen ADC-Kanälen (kurz für Analog-to-Digital Converter, Analog-Digital-Wandler). Ein Silicium-Vertex-Spurfinder (SVT, Silicon Vertex Tracker) dient zur Ermittlung des primären Reaktionspunktes (Vertex) und zur Aufspürung sekundärer Vertices aus Teilchenzerfällen. Zur Bestimmung der Zentralität der Reaktion umgibt ein Flugzeit-Detektorsystem (TOF, Time of Flight) die TPC. Ausserhalb des Magneten, in unmittelbarer Nähe zum Strahl des Beschleunigers, befinden sich zu diesem Zweck ferner Vertex-Positionsdetektoren. Zur Bestimmung der transversalen Energie dient ein elektromagnetisches Kalorimeter, das sich ebenfalls ausserhalb des Magnetfeldes befindet. Seine Aufgabe besteht bei Kern-Kern-Stössen darin, Stossereignisse mit einem spezifischen Stossparameter zu selektieren - dies sind Regelfall solche mit möglichst zentralem Stoss der Kerne -, bei Proton-Proton-Kollisionen hingegen in der Selektion von Ereignissen mit hohem Transversalimpuls. Das elektromagnetische Kalorimeter dient damit also als erstes Glied (Level-1) einer ganzen Reihe von Triggerstufen zur frühzeitigen Datenselektion. Die Spezifikation der zweiten Tiggerstufe ist beim gegenwärtigen Stand der Entwicklung noch nicht abgeschlossen; es werden hier jedoch die meisten Systeme, exklusive der TPC, einbezogen sein.

Im folgenden sei exemplarisch für das Gesamt-Detektorsystem die Auslesekette beschrieben, die die Signale aus der TPC zu durchlaufen haben:

Jeder einzelne Auslesekanal der TPC besitzt einen Vorverstärker (PA, Pre-Amplifier) und einen Pulsformer (SA, Shaper-Amplifier). Jeweils sechzehn dieser Kanäle werden in einem Chip zusammengefasst. In einem darauffolgenden SCA/ADC-Chip werden die Signale mit einer Speichertiefe von 10 Bit digitalisiert. Diese Vorverarbeitung findet in einer direkt am Detektor installierten FEE-Karte (Front-End-Electronic) statt. Dort werden in zwei separaten Strängen die Daten von 32 Kanälen verarbeitet ([2]Abb. 2).

18 FEE-Karten werden von einer Auslesekarte (Readout-Card) zusammengefasst. Diese ist ebenfalls direkt am Detektor installiert und versorgt die FEE-Karten mit der nötigen Spannung und allen zur Steuerung notwendigen Signalen. Darüber hinaus werden dort die parallelen Daten von einem Multiplexer in serielle Daten verwandelt und über eine Glasfaserverbindung zu den Empfängerkarten (Reveicerboards) übertragen, die sich in den VME-Sektor-Crates (VME-Bus, Geräterahmen) befinden. Jeder der 24 Sektoren der TPC wird von sechs parallelen Empfängerkarten ausgelesen. Ein Demultiplexer am Eingang der Empfängerkarte verteilt die Daten an drei unabhängige parallele, für PCI-Bus-Technologie konzipierte Verarbeitungseinheiten. Jeweils sechs ASICs (Application Specific Integrated Circuits) unterdrücken zuerst das Rauschen, indem die Daten nach Signal-Sequenzen untersucht werden. Interessante Daten werden anschliessend auf zwei Wegen weiterverarbeitet: Einerseits wird die Information nichtlinear auf 8 Bit komprimiert und in einen Ausgangsspeicher geschrieben; im anderen Fall wird zur weiteren Verarbeitung eine separate Liste der Sequenzen erzeugt. Diese Liste dient zur späteren Bestimmung der Raumpunkte, die geladene Teilchen entlang ihrer Trajektorie im aktiven Gasvolumen der TPC erzeugt haben.

Hier setzt nun das Neue dieser Art von Datenverarbeitung an: Ein konventionelles Ereignis entspricht einer Roh-Datenmenge von etwa 100 MByte, die Unterdrückung der unerwünschten nutzlosen Information durch die FPGAs (Field Programmable Gate Arrays) reduziert ein Ereignis auf ca. 12 MByte. Bei einer Ereignisrate von 100 Hz folgt daraus eine Datenrate von 1200 MByte/s. Eine derart gewaltige Datenmenge ist zur Zeit mit konventionellen Methoden nicht zu verarbeiten, und bei einer Laufzeit des Experimentes von ca. neun Monaten pro Jahr wäre es auch nahezu unmöglich, die Daten vollständig zu analysieren. Es ist also eine geschickte Datenkompression sowie eine Selektion der physikalisch interessanten Ereignisse erforderlich. Ein effektiver Weg, Daten zu reduzieren, besteht darin, die Spurrekonstruktion online, also unmittelbar nach der Datenaufzeichung, vorzunehmen; bei einer Multiplizität von etwa zweitausend geladenen Teilchen pro Reaktion ist dies eine äusserst rechenintensive und komplexe Aufgabe. Gelöst wird dies durch Parallelisierung des Rechenaufwands mittels einer lokalen Spurrekonstruktion (Tracking) innerhalb jeweils nur eines Sektors der TPC. Der erste Schritt zur Spurrekonstruktion ist die Ermittlung der Raumpunkte anhand der gefundenen Sequenzen; sind diese errechnet worden, erfolgt das eigentliche Tracking. Hierzu läuft ein schneller Rekonstruktions-Algorithmus auf einem lokalen Multi-Prozessorsystem, den sogenannten Level-3-Prozessoren. Es handelt sich dabei um einen Verbund von Power-PC-Prozessoren, die mit einem lokalen SCI-Bus-System vernetzt sind ([3]Abb. 3). In diesem lokalen SCI-Netz werden die Daten von jeweils vier VME-Sektor-Crates verarbeitet. Die L3-Prozessoren entnehmen den Empfänger-Karten über eine PCI/VME-Schnittstelle (Schnittstelle) die Liste der Sequenzen und ermitteln die resultierende Spur des geladenen Teilchens. Mit dem errechneten Ort, dem Impuls und der Ladung des Teilchens ist die Trajektorie eindeutig bestimmt. Es müssen also nur noch diese Daten gespeichert werden, um die vollständige Information der Reaktion zu erhalten; infolgedessen kann die Datenmenge um einen Faktor 20 auf ca. 600 kB pro Ereignis reduziert werden.

Drei dieser lokalen SCI-Netze sind mit dem globalen SCI-Bus verbunden. Über dieses Netzwerk werden nun die Daten der 24 Sektor-Crates zu den globalen Level-3-Prozessoren transferiert und mit allen anderen Detektor-Subsystemen zusammengefügt. Anhand der Daten wird nun eine Entscheidung getroffen, ob das Ereignis als physikalisch interessant zu bewerten ist oder nicht. Durch diese Selektion auf spezifische, frei wählbare physikalische Observablen lässt sich die aufzuzeichnende Datenmenge erheblich reduzieren. Bei einer angestrebten Ereignisrate von 100 Hz muss dabei die Entscheidung in weniger als 10 ms gefallen sein, um die Totzeit des Systems klein zu halten. Wird ein Ereignis als relevant selektiert, so wird ein entsprechender Befehl an die lokalen Ereigniserzeuger (Eventbuilder) der jeweiligen Sektoren weitergegeben. Hierzu lesen diese die im Ausgangsspeicher der Empfängerkarten gespeicherten komprimierten Daten aus und übermitteln sie über das Netzwerk zu dem globalen Ereigniserzeuger. Dieser fügt die Daten mit allen anderen Detektorsystemen zusammen, erstellt somit ein komplettes Ereignis und speichert es in einem Ausgangsspeicher. Von dort werden die Ereignisse anschliessend auf ein Hochgeschwindigkeitsbandgerät geschrieben.

Die entscheidende Neuerung bei STAR gegenüber bisherigen Schwerionen-Experimenten ist in der differenzierten Wahl der physikalischen Trigger-Parameter zu sehen, die eine gezielte Auswahl von Ereignissen mit spezifischen Eigenschaften vor der Datenaufzeichnung ermöglicht und somit die Datenmenge erheblich reduziert. Der hohe Grad der Parallelisierung des Systems zur Online-Spurrekonstruktion ist die Voraussetzung für diese effektive Datenkompression.

ATLAS: Datenselektion durch Beschränkung auf interessante Detektorbereiche

Das ATLAS-Experiment am LHC (CERN) befasst sich mit einer anderen physikalischen Fragestellung, die demgemäss auch zu anderen Anforderungen an das Datenerfassungssystem führt. Mittels Proton-Proton-Kollisionen soll die Ursache des spontanen Bruchs der Symmetrie im elektroschwachen Bereich des Standardmodells und, damit verbunden, die Frage der Existenz des Higgs-Bosons oder einer Familie von Higgs-Teilchen untersucht werden. Andere wichtige Zielsetzungen sind die Suche nach W- und Z-ähnlichen Objekten für supersymmetrische Partikel und die Erforschung der CP-Verletzung in B-Zerfällen.

Der Aufbau des Experimentes gliedert sich in drei Detektor-Hauptsysteme ([4]Abb. 4): dem inneren Detektor, dem Kalorimeter und einem grossen Myon-Spektrometer. Der innere Detektor, der eine Länge von 6,8 m und einen Radius von 1,15 m aufweist, besteht im Inneren aus hochauflösenden Silicium-Detektoren und im äusseren Teil seines Volumens aus Straw-Tube-Tracking-Detektoren. Seine Hauptaufgabe liegt in der Impulsbestimmung der sekundären Teilchen und der Ermittlung des primären Reaktionspunktes sowie der Identifizierung von Elektronen. Ausserhalb dieses in Flüssig-Argon-Technik konzipierten Kalorimeters befinden sich acht unabhängige, symmetrisch verteilte Luftkern-Toroid-Magnete. Dieser Aufbau ist von dem Myon-Spektrometer umgeben, das sich in drei hochauflösende Spurkammern, ergänzt durch schnelle Trigger-Kammern, teilt. Das Gesamtgewicht der Detektoranlage beträgt rund 7000 Tonnen, was fast dem Gewicht des Eiffelturms entspricht.

Das Konzept der Datenselektion basiert, gleich dem STAR-Experiment, ebenfalls auf einem dreistufigen Triggersystem. Da das Experiment eine Reaktionsrate von 10⁹ Ereignissen pro Sekunde erwarten lässt - resultierend aus der Rate von 40 MHz, mit der sich die Strahlpakete überschneiden -, ist auch hier eine Selektion der Detektorinformation vor der Aufzeichnung unumgänglich. Das Datenerfassungssystem soll es dabei ermöglichen, am Ende der Verarbeitung physikalisch interessante Ereignisse mit einer Ereignisrate von ca. 100 Hz permanent zu speichern. Somit muss eine effiziente Selektion seltener Ereignisse auf hohen Niveau erfolgen; beispielsweise wird ein Higgs-Boson-Zerfall in vier Leptonen nur einmal in 10¹³ Ereignissen erwartet.

Die erste Stufe des Triggers nutzt nicht die gesamte Detektorinformation, sondern arbeitet mit einem reduzierten Datensatz des Experimentes - nur die Daten des Kalorimeters und der Myon-Triggerkammern werden hierbei betrachtet. Dies ist notwendig, da eine Entscheidung des ersten Triggers innerhalb von 2 ms gefallen sein muss; die vollständige Information eines Ereignisses wäre in dieser Zeit nicht zu verarbeiten. Trotz dieser Reduktion beträgt die zu verarbeitende Datenrate der ersten Triggerstufe aber immer noch 100 -150 GByte/s. Der gesamte Datenumfang wird dabei bis zur Entscheidung in Zwischenspeichern (Pipeline Memories) gehalten. Als Entscheidungskriterium dienen der ersten Triggerstufe diverse Signaturen wie z.B. Myonen mit hohen bzw. niedrigen Transversalimpulsen, Elektronen und Photonen, Jets und Ereignisse mit fehlender transversaler Energie. Wird ein solches Ereignis erkannt, werden zur späteren Weiterverarbeitung um die interessanten Bereiche sogenannte ROIs (Regions of Interest) gebildet ([5]Abb. 5), es muss somit nicht der gesamte Datenumfang weiterverarbeitet werden, sondern nur noch die Signale aus denjenigen Detektorbereichen, die für die nächste Triggerstufe benötigt werden. Die ausgewählten Ereignisse werden anschliessend in Auslesespeicher transferiert, bis eine Entscheidung der nächsten Triggerstufe getroffen wird.

Der durch die ROIs reduzierte Datensatz wird nun in der zweiten Triggerstufe weiterverarbeitet. Die von der ersten Triggerstufe nur grob untersuchten Daten werden nun unter Zuhilfenahme aller Detektorinformationen, insbesondere auch des hochauflösenden inneren Spurdetektors, genauer analysiert. Dabei werden u.a. Spur-Paare, wie z.B. e ⁺e ^-, die von einem y-Zerfall herrühren, rekonstruiert. Es wird erwartet, dass die zweite Triggerstufe auf diese Weise die Datenrate bis auf ca. 1 kHz/s reduzieren kann. Die abschliessende dritte Triggerstufe, der Ereignisfilter, fasst nun die lokalen Fragmente des von der zweiten Triggerstufe akzeptierten Ereignisses in einem dedizierten Speicher zusammen und beginnt eine vollständige Rekonstruktion des Ereignisses. Auf einer entsprechenden Prozessorfarm erfolgt dies innerhalb einer Sekunde. Eine umfassende physikalische Analyse selektiert die interessanten Ereignisse und reduziert somit die Datenrate auf ca. 100 Hz. Bei einer Informationsmenge von ca. 1 MByte pro Ereignis sind das 100 MByte/s, die permanent aufgezeichnet werden müssen. Nach einjähriger Laufzeit des Experiments werden also rund 10⁶GByte an Daten vorliegen, die offline analysiert werden müssen.

Die beiden beschriebenen Beispiele machen deutlich, dass in Anbetracht der gewaltigen Datenmengen zukünftiger grossangelegter Experimente eine intelligente Selektion der physikalisch interessanten Ereignisse unumgänglich ist. Dabei geht es darum, möglichst alle Ressourcen effektiv zu nutzen und den Rechenaufwand soweit wie möglich zu verteilen. Um die Bandbreiten der Datenbusse und Netz-Schaltwerke nicht zu sprengen, ist es wichtig, nur solche Informationen zu transferieren, die für die weitere Analyse notwendig sind. Die geschilderten mehrstufigen Triggersysteme scheinen hier den Weg in die Zukunft zu weisen.

Literatur:

STAR Conceptual Design Report, LBL, PUB-5307

ATLAS Technical Proposal, CERN/LHCC/94-43