You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2025-12-18 - 08:52
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rack9slot2.osadl.org (updated Thu Dec 18, 2025 00:43:26)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
190002279177,17sleep00-21swapper/00
193582277190,66sleep20-21swapper/22
189632277226,38sleep30-21swapper/33
191682275179,76sleep10-21swapper/11
1998299256251,3cyclictest12867-21perf0
1999199179174,3cyclictest0-21swapper/22
1235521600,4sleep21999199cyclictest2
1998699144139,3cyclictest12873-21awk1
1999499127122,3cyclictest12846-21munin-run3
265752490,1sleep20-21swapper/22
229532490,1sleep30-21swapper/33
19991992912,8cyclictest28-21ksoftirqd/22
250722280,1sleep30-21swapper/33
1999499277,17cyclictest0-21swapper/33
19991992710,4cyclictest28-21ksoftirqd/22
19991992622,2cyclictest271rcuc/22
19991992615,3cyclictest28-21ksoftirqd/22
19991992610,4cyclictest28-21ksoftirqd/22
1999499256,17cyclictest35-21ksoftirqd/33
1999499256,17cyclictest35-21ksoftirqd/33
1999499254,18cyclictest340-21systemd-journal3
1999199256,6cyclictest28-21ksoftirqd/22
1999199253,11cyclictest28-21ksoftirqd/22
19991992511,4cyclictest28-21ksoftirqd/22
1999499245,17cyclictest11964-21sendmail-mta3
1999499244,17cyclictest32136-21sendmail-mta3
1999499244,17cyclictest31030-21sendmail-mta3
1999499244,17cyclictest0-21swapper/33
1999499241,20cyclictest517-21dbus-daemon3
1999199248,8cyclictest28-21ksoftirqd/22
1999199246,6cyclictest28-21ksoftirqd/22
1999199246,6cyclictest28-21ksoftirqd/22
1999199246,6cyclictest28-21ksoftirqd/22
1999199245,6cyclictest28-21ksoftirqd/22
1999199244,7cyclictest28-21ksoftirqd/22
1999199243,6cyclictest28-21ksoftirqd/22
1999199241,3cyclictest28-21ksoftirqd/22
19991992411,10cyclictest517-21dbus-daemon2
19986992419,3cyclictest21-21ksoftirqd/11
259882230,1sleep00-21swapper/00
1999499235,16cyclictest6282-21sendmail-mta3
1999499234,2cyclictest0-21swapper/33
1999499234,16cyclictest0-21swapper/33
1999499233,17cyclictest20121-21sendmail-mta3
1999499231,4cyclictest340-21systemd-journal3
1999499231,4cyclictest22891-21grep3
1999199237,7cyclictest28-21ksoftirqd/22
1999199235,6cyclictest28-21ksoftirqd/22
1999199235,6cyclictest28-21ksoftirqd/22
1999199235,6cyclictest28-21ksoftirqd/22
1999199234,4cyclictest28-21ksoftirqd/22
1999199234,10cyclictest28-21ksoftirqd/22
1999199233,5cyclictest28-21ksoftirqd/22
19982992315,5cyclictest340-21systemd-journal0
1999499224,17cyclictest20829-21awk3
1999499224,16cyclictest18816-21sendmail-mta3
1999499224,16cyclictest0-21swapper/33
1999499223,17cyclictest8073-21sendmail-mta3
1999499223,17cyclictest7884-21sendmail-mta3
1999499223,17cyclictest7884-21sendmail-mta3
1999499223,17cyclictest7072-21sendmail-mta3
1999499223,17cyclictest32330-21sendmail-mta3
1999499223,17cyclictest26969-21sendmail-mta3
1999499223,17cyclictest24185-21sendmail-mta3
1999499222,3cyclictest0-21swapper/33
19994992216,4cyclictest9262-21munin-run3
1999499221,3cyclictest6185-21munin-run3
1999499221,3cyclictest2366-21munin-run3
1999499221,19cyclictest32723-21munin-run3
1999499221,18cyclictest340-21systemd-journal3
1999499220,3cyclictest11093-21grep3
1999199229,3cyclictest111rcu_preempt2
1999199224,6cyclictest28-21ksoftirqd/22
1999199224,6cyclictest28-21ksoftirqd/22
1999199223,6cyclictest28-21ksoftirqd/22
1999199223,6cyclictest28-21ksoftirqd/22
1999199222,17cyclictest0-21swapper/22
19991992218,2cyclictest271rcuc/22
19991992212,9cyclictest28-21ksoftirqd/22
1999199221,11cyclictest28-21ksoftirqd/22
1998699229,3cyclictest249782cstates1
19986992216,4cyclictest571-21gdbus1
19986992215,4cyclictest2377-21apt-get1
19986992212,4cyclictest517-21dbus-daemon1
1999499213,16cyclictest4006-21sendmail-mta3
1999499212,17cyclictest35-21ksoftirqd/33
1999499212,17cyclictest24715-21sendmail-mta3
19994992115,4cyclictest25875-21sh3
1999499211,18cyclictest9241-1kworker/3:1H3
1999499210,3cyclictest10308-21grep3
1999199218,10cyclictest7884-21sendmail-mta2
1999199218,10cyclictest7884-21sendmail-mta2
1999199214,5cyclictest28-21ksoftirqd/22
1999199213,8cyclictest28-21ksoftirqd/22
1999199213,7cyclictest28-21ksoftirqd/22
1999199213,6cyclictest28-21ksoftirqd/22
1999199213,6cyclictest28-21ksoftirqd/22
1999199212,7cyclictest28-21ksoftirqd/22
1999199212,7cyclictest28-21ksoftirqd/22
1999199212,6cyclictest28-21ksoftirqd/22
1999199212,5cyclictest28-21ksoftirqd/22
19991992117,3cyclictest271rcuc/22
1999199211,6cyclictest0-21swapper/22
1999199211,5cyclictest0-21swapper/22
19991992114,5cyclictest517-21dbus-daemon2
19986992117,3cyclictest21-21ksoftirqd/11
19986992115,4cyclictest18082-21sh1
19986992115,4cyclictest12354-21/usr/sbin/munin1
1998699210,9cyclictest310422cstates1
19982992116,3cyclictest9-21ksoftirqd/00
19982992115,4cyclictest8075-21sed0
19982992115,4cyclictest8075-21sed0
19982992115,4cyclictest22862-21cut0
1998299210,19cyclictest10401-21latency_hist0
201072200,1sleep30-21swapper/33
1999499202,16cyclictest0-21swapper/33
19994992015,3cyclictest23939-21irqstats3
19994992015,3cyclictest19205-21acpi3
19994992015,3cyclictest1358-21sendmail_mailst3
19994992014,4cyclictest3987-21ntpq3
19994992014,4cyclictest28010-21awk3
1999499201,17cyclictest30443-21latency_hist3
1999499201,17cyclictest30257-21latency_hist3
1999499200,3cyclictest9241-1kworker/3:1H3
1999499200,3cyclictest18205-21munin-run3
1999199206,4cyclictest28-21ksoftirqd/22
1999199203,6cyclictest28-21ksoftirqd/22
19991992017,2cyclictest28-21ksoftirqd/22
1999199201,6cyclictest0-21swapper/22
1999199201,5cyclictest0-21swapper/22
19991992015,3cyclictest28-21ksoftirqd/22
19991992015,3cyclictest23304-21memory2
1999199200,6cyclictest0-21swapper/22
19986992018,1cyclictest0-21swapper/11
19986992014,4cyclictest27359-21acpi1
19986992014,4cyclictest21652-21seq1
19986992013,5cyclictest21-21ksoftirqd/11
19986992010,8cyclictest571-21gdbus1
1998699200,1cyclictest111rcu_preempt1
1998299201,5cyclictest517-21dbus-daemon0
19982992015,3cyclictest16711-21sh0
19982992014,4cyclictest545-21/usr/sbin/munin0
19982992014,4cyclictest25084-21sh0
19982992014,4cyclictest17590-21cat0
1999499198,7cyclictest20528-21apt-get3
19994991914,3cyclictest506-21df_inode3
19994991914,3cyclictest2868-21ls3
19994991914,3cyclictest22337-21kernelversion3
19994991914,3cyclictest20168-21aten2_r9power_c3
19994991914,3cyclictest12886-21find3
19994991913,4cyclictest18864-21cut3
1999499190,3cyclictest16977-21latency_hist3
1999199193,2cyclictest111rcu_preempt2
1999199192,5cyclictest28-21ksoftirqd/22
1999199192,5cyclictest28-21ksoftirqd/22
1999199192,4cyclictest0-21swapper/22
19991991917,1cyclictest0-21swapper/22
1999199191,5cyclictest28-21ksoftirqd/22
1999199191,5cyclictest0-21swapper/22
1999199191,5cyclictest0-21swapper/22
19986991916,2cyclictest0-21swapper/11
19986991916,2cyclictest0-21swapper/11
19986991916,2cyclictest0-21swapper/11
19986991916,2cyclictest0-21swapper/11
19986991914,3cyclictest634-21snmpd1
19986991914,3cyclictest21507-21ls1
19986991914,3cyclictest21-21ksoftirqd/11
19986991914,3cyclictest18215-21idleruntime-cro1
19986991914,3cyclictest13983-21ntp_states1
19986991913,4cyclictest32524-21/usr/sbin/munin1
19986991913,4cyclictest27407-21cat1
19986991913,4cyclictest2607-21/usr/sbin/munin1
19986991913,4cyclictest2169-21/usr/sbin/munin1
19986991910,6cyclictest18490-21apt-get1
19982991915,2cyclictest27358-21/usr/sbin/munin0
19982991915,2cyclictest22184-21munin-node0
19982991915,2cyclictest22048-21/usr/sbin/munin0
19982991915,2cyclictest12478-21open_inodes0
19982991914,3cyclictest9524-21/usr/sbin/munin0
19982991914,3cyclictest26656-21aten2_r9power_c0
19982991914,3cyclictest17380-21ls0
19982991914,3cyclictest11416-21mailstats0
19982991913,4cyclictest22340-21grep0
19982991913,4cyclictest12648-21tr0
19982991912,5cyclictest4913-21cat0
19982991912,5cyclictest2879-21cat0
19994991814,2cyclictest8272-21/usr/sbin/munin3
19994991814,2cyclictest31421-21/usr/sbin/munin3
19994991814,2cyclictest0-21swapper/33
19994991813,3cyclictest7833-21nfs4_client3
19994991813,3cyclictest4412-21cat3
19994991813,3cyclictest25140-21hostname3
1999499181,16cyclictest0-21swapper/33
1999499180,16cyclictest0-21swapper/33
1999199183,8cyclictest28-21ksoftirqd/22
1998699181,6cyclictest0-21swapper/11
19986991816,1cyclictest0-21swapper/11
19986991816,1cyclictest0-21swapper/11
19986991814,2cyclictest8896-21df1
19986991814,2cyclictest23739-21irqstats1
19986991814,2cyclictest23420-21unixbench_singl1
19986991814,2cyclictest0-21swapper/11
19986991813,3cyclictest9819-21tr1
19986991813,3cyclictest545-21/usr/sbin/munin1
19986991813,3cyclictest30602-21hostname1
19986991813,3cyclictest28906-21/usr/sbin/munin1
19986991813,3cyclictest26868-21/usr/sbin/munin1
19986991813,3cyclictest25336-21/usr/sbin/munin1
19986991813,3cyclictest25207-21expr1
19986991813,3cyclictest20510-21/usr/sbin/munin1
19986991813,3cyclictest18612-21seq1
19986991813,3cyclictest1054-21/usr/sbin/munin1
19986991813,3cyclictest10327-21/usr/sbin/munin1
19986991812,4cyclictest9533-21grep1
19986991812,4cyclictest24403-21sed1
19986991812,4cyclictest22789-21/usr/sbin/munin1
19986991812,4cyclictest13661-21sed1
19986991812,3cyclictest662-21runrttasks1
19986991812,3cyclictest340-21systemd-journal1
1998699180,16cyclictest32723-21/usr/sbin/munin1
1998699180,16cyclictest0-21swapper/11
1998699180,16cyclictest0-21swapper/11
1998299182,12cyclictest26886-21apt-get0
1998299181,7cyclictest517-21dbus-daemon0
19982991816,1cyclictest0-21swapper/00
1998299181,5cyclictest0-21swapper/00
19982991814,2cyclictest662-21runrttasks0
19982991814,2cyclictest24080-21/usr/sbin/munin0
19982991814,2cyclictest21496-21latency_hist0
19982991814,2cyclictest10552-21/usr/sbin/munin0
19982991813,3cyclictest9152-21ntp_offset0
19982991813,3cyclictest7406-21sed0
19982991813,3cyclictest31619-21cpuspeed0
19982991813,3cyclictest31323-21cat0
19982991813,3cyclictest30288-21sendmail-mta0
19982991813,3cyclictest2625-21apt-get0
19982991813,3cyclictest23504-21expr0
19982991813,3cyclictest19103-21aten2_r9power_p0
19982991813,3cyclictest15127-21cat0
19982991813,3cyclictest14998-21awk0
19982991813,3cyclictest1303-21cat0
19982991813,2cyclictest340-21systemd-journal0
19982991812,4cyclictest6189-21sh0
19982991812,4cyclictest517-21dbus-daemon0
19982991812,4cyclictest517-21dbus-daemon0
1998299181,1cyclictest0-21swapper/00
1998299180,17cyclictest0-21swapper/00
1998299180,17cyclictest0-21swapper/00
1998299180,16cyclictest0-21swapper/00
19986991713,3cyclictest17669-21/usr/sbin/munin1
19986991712,3cyclictest662-21runrttasks1
19986991712,3cyclictest4360-21timerwakeupswit1
19986991712,3cyclictest25110-21/usr/sbin/munin1
19986991712,3cyclictest19204-21/usr/sbin/munin1
19986991712,3cyclictest11941-21unixbench_singl1
1998699170,1cyclictest0-21swapper/11
1998699170,15cyclictest32089-21sed1
1998699170,15cyclictest0-21swapper/11
19982991715,1cyclictest0-21swapper/00
19982991715,1cyclictest0-21swapper/00
19982991715,1cyclictest0-21swapper/00
19982991714,2cyclictest0-21swapper/00
19982991714,2cyclictest0-21swapper/00
19982991713,2cyclictest7308-21tr0
19982991713,2cyclictest26396-21unixbench-2d0
19982991712,3cyclictest26775-21cstates0
19982991712,3cyclictest25678-21sed0
19982991712,3cyclictest19329-21hostname0
19982991712,3cyclictest17408-21which0
19982991711,4cyclictest28892-21ls0
19982991711,3cyclictest29045-21aten2.4-expect0
1998299170,16cyclictest0-21swapper/00
1998299170,15cyclictest19310-21sendmail-mta0
1998699162,9cyclictest15637-21apt-get1
19986991611,3cyclictest662-21runrttasks1
19982991510,3cyclictest32550-21aten2_r9power_c0
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional