You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2025-12-28 - 13:40
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of all highest latencies:
System rack9slot2.osadl.org (updated Sun Dec 28, 2025 00:43:26)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
181942305203,64sleep20-21swapper/22
189802290199,52sleep10-21swapper/11
1962999264259,3cyclictest11382-40gzip0
192202263182,44sleep00-21swapper/00
192312229192,25sleep30-21swapper/33
1964499214210,3cyclictest0-21swapper/33
1963199119113,3cyclictest12158-21strings1
19639999592,2cyclictest0-21swapper/22
180722630,2sleep20-21swapper/22
56092610,3sleep15614-21gltestperf1
56092610,3sleep15614-21gltestperf1
110422610,4sleep211023-21munin-run2
78392520,1sleep00-21swapper/00
163292520,10sleep121-21ksoftirqd/11
234182380,1sleep00-21swapper/00
19629993513,4cyclictest24680-21seq0
310472340,3sleep20-21swapper/22
19629993413,3cyclictest2968-21aten2_r9power_e0
19629993413,3cyclictest26171-21ntp_offset0
19629993311,4cyclictest2824-21seq0
19629993214,2cyclictest21746-21munin-node0
19629993113,3cyclictest662-21runrttasks0
19629993113,3cyclictest662-21runrttasks0
19629993113,2cyclictest29379-21/usr/sbin/munin0
19644992926,2cyclictest341rcuc/33
19644992913,14cyclictest662-21runrttasks3
1964499283,6cyclictest35-21ksoftirqd/33
19644992815,11cyclictest341rcuc/33
19644992811,11cyclictest35-21ksoftirqd/33
19629992812,2cyclictest662-21runrttasks0
1964499278,3cyclictest0-21swapper/33
1964499275,7cyclictest35-21ksoftirqd/33
1964499275,19cyclictest340-21systemd-journal3
19644992711,10cyclictest35-21ksoftirqd/33
19629992615,1cyclictest0-21swapper/00
19629992612,4cyclictest281752irqstats0
19629992612,4cyclictest281752irqstats0
1964499258,3cyclictest35-21ksoftirqd/33
1964499256,17cyclictest520-21rs:main3
1964499255,17cyclictest340-21systemd-journal3
19644992522,2cyclictest341rcuc/33
19644992519,4cyclictest8684-21turbostat3
1964499250,17cyclictest35-21ksoftirqd/33
280482240,1sleep20-21swapper/22
280482240,1sleep20-21swapper/22
244872240,3sleep00-21swapper/00
1964499245,9cyclictest35-21ksoftirqd/33
1964499245,17cyclictest515-21avahi-daemon3
1964499244,17cyclictest2891-21sendmail-mta3
1964499244,17cyclictest15137-21sendmail-mta3
1964499243,18cyclictest6966-21sendmail-mta3
1964499241,7cyclictest35-21ksoftirqd/33
19644992413,10cyclictest341rcuc/33
19644992411,11cyclictest341rcuc/33
19644992411,11cyclictest341rcuc/33
19644992410,13cyclictest35-21ksoftirqd/33
19644992410,12cyclictest16059-21tail3
19631992419,3cyclictest21-21ksoftirqd/11
220642230,2sleep10-21swapper/11
1964499237,8cyclictest35-21ksoftirqd/33
1964499233,7cyclictest35-21ksoftirqd/33
1964499233,18cyclictest18862-21sendmail-mta3
1964499232,18cyclictest0-21swapper/33
19644992318,3cyclictest341rcuc/33
1964499231,4cyclictest571-21gdbus3
19644992310,11cyclictest341rcuc/33
1964499227,3cyclictest111rcu_preempt3
1964499227,3cyclictest111rcu_preempt3
1964499224,16cyclictest8845-21sendmail-mta3
1964499222,17cyclictest23650-21sendmail-mta3
1964499221,7cyclictest35-21ksoftirqd/33
1964499221,6cyclictest35-21ksoftirqd/33
1964499221,3cyclictest31353-21munin-run3
19631992215,4cyclictest31843-21df1
19631992215,4cyclictest29142-21sh1
19629992211,9cyclictest5103-21cat0
98452210,3sleep11963199cyclictest1
1964499215,8cyclictest35-21ksoftirqd/33
1964499214,8cyclictest35-21ksoftirqd/33
1964499213,7cyclictest35-21ksoftirqd/33
1964499213,6cyclictest35-21ksoftirqd/33
1964499213,5cyclictest0-21swapper/33
1964499213,15cyclictest23345-21latency_hist3
1964499212,6cyclictest35-21ksoftirqd/33
1964499212,16cyclictest6386-21gpgv3
1964499211,6cyclictest35-21ksoftirqd/33
1964499211,3cyclictest13244-21munin-run3
1964499210,7cyclictest35-21ksoftirqd/33
1964499210,6cyclictest35-21ksoftirqd/33
1964499210,6cyclictest35-21ksoftirqd/33
1964499210,6cyclictest35-21ksoftirqd/33
1964499210,6cyclictest35-21ksoftirqd/33
1964499210,4cyclictest16923-1kworker/3:0H3
1964499210,18cyclictest18868-21munin-run3
1964499210,11cyclictest35-21ksoftirqd/33
19639992116,3cyclictest6342-21awk2
19639992114,4cyclictest21775-21basename2
19631992115,4cyclictest10283-21sed1
19631992114,5cyclictest15137-21sendmail-mta1
19631992114,4cyclictest20964-21basename1
19629992115,4cyclictest634-21snmpd0
19629992115,4cyclictest14930-21basename0
19629992115,4cyclictest10953-21seq0
19629992115,4cyclictest10953-21seq0
1964499209,3cyclictest111rcu_preempt3
1964499209,3cyclictest111rcu_preempt3
1964499205,2cyclictest111rcu_preempt3
1964499203,6cyclictest35-21ksoftirqd/33
1964499202,10cyclictest35-21ksoftirqd/33
1964499201,6cyclictest35-21ksoftirqd/33
1964499201,6cyclictest0-21swapper/33
1964499201,5cyclictest0-21swapper/33
1964499201,5cyclictest0-21swapper/33
19644992010,2cyclictest111rcu_preempt3
1963999202,7cyclictest31611-21apt-get2
19639992015,3cyclictest22889-21ntp_offset2
19639992015,3cyclictest15596-21diskstats2
19639992015,3cyclictest11230-21ls2
19639992014,4cyclictest26304-21sed2
19639992014,4cyclictest18235-21interrupts2
19639992014,3cyclictest9575-21aten2.4-expect2
19639992014,3cyclictest9575-21aten2.4-expect2
19639992013,4cyclictest28428-21apt-key2
19639992010,8cyclictest21148-21sendmail-mta2
19631992016,2cyclictest30108-21sed1
19631992016,2cyclictest30108-21sed1
19631992015,3cyclictest23344-21sh1
19631992015,3cyclictest15534-21/usr/sbin/munin1
19631992015,3cyclictest10094-21kernelversion1
19631992015,3cyclictest10094-21kernelversion1
19631992014,4cyclictest8749-21seq1
19631992014,4cyclictest31907-21cat1
19631992013,4cyclictest8803-21dump-pmu-power1
19631992013,4cyclictest7933-21which1
19631992013,4cyclictest6078-21sed1
19631992013,4cyclictest5461-21aten2.4-expect1
19629992015,3cyclictest8426-21seq0
19629992015,3cyclictest16556-21threads0
19629992014,4cyclictest634-21snmpd0
19629992014,4cyclictest15097-21seq0
19629992013,5cyclictest9822-21cat0
19629992013,4cyclictest16978-21sendmail0
1964499192,6cyclictest35-21ksoftirqd/33
1963999192,14cyclictest340-21systemd-journal2
19639991916,1cyclictest0-21swapper/22
19639991915,2cyclictest6906-21aten2.4-expect2
19639991915,2cyclictest20686-21users2
19639991914,3cyclictest28452-21/usr/sbin/munin2
19639991914,3cyclictest23668-21sh2
19639991914,3cyclictest23153-21seq2
19639991914,3cyclictest1787-21awk2
19639991914,3cyclictest1223-21/usr/sbin/munin2
19639991913,4cyclictest18993-21seq2
19639991912,4cyclictest13209-21cut2
1963199193,10cyclictest27542-21apt-get1
1963199193,10cyclictest27542-21apt-get1
1963199191,7cyclictest634-21snmpd1
19631991916,2cyclictest0-21swapper/11
19631991916,2cyclictest0-21swapper/11
19631991914,3cyclictest634-21snmpd1
19631991914,3cyclictest31829-21ls1
19631991914,3cyclictest24560-21aten2_r9power_e1
19631991914,3cyclictest22427-21/usr/sbin/munin1
19631991914,3cyclictest22262-21ls1
19631991914,3cyclictest21-21ksoftirqd/11
19631991914,3cyclictest10747-21basename1
19631991913,4cyclictest27033-21grep1
19631991913,4cyclictest26619-21aten2.4-expect1
19631991913,4cyclictest26229-21sed1
19631991913,4cyclictest24127-21ntp_states1
19631991913,3cyclictest18129-21mailstats1
19631991912,5cyclictest517-21dbus-daemon1
19631991912,4cyclictest20403-21switchtime1
1963199191,16cyclictest21575-21sh1
1963199191,15cyclictest14909-21munin-run1
19629991915,2cyclictest25482-21/usr/sbin/munin0
19629991914,3cyclictest5697-21cat0
19629991914,3cyclictest517-21dbus-daemon0
19629991914,3cyclictest3869-21if_enp2s00
19629991914,3cyclictest30009-21seq0
19629991914,3cyclictest27688-21ls0
19629991914,3cyclictest17588-21/usr/sbin/munin0
19629991914,3cyclictest17526-21gltestperf0
19629991914,3cyclictest14041-21rt-features0
19629991913,4cyclictest861-21basename0
19629991913,4cyclictest8542-21sed0
19629991913,4cyclictest20079-21cat0
19629991913,4cyclictest17803-21expr0
19629991913,3cyclictest340-21systemd-journal0
19639991814,2cyclictest7334-21cstates2
19639991814,2cyclictest31564-21cpu2
19639991814,2cyclictest29344-21sed2
19639991814,2cyclictest28902-21apt-get2
19639991814,2cyclictest28902-21apt-get2
19639991813,3cyclictest7761-21expr2
19639991813,3cyclictest7173-21/usr/sbin/munin2
19639991813,3cyclictest4209-21pluginstate2
19639991813,3cyclictest30596-21apt-config2
19639991813,3cyclictest2910-21/usr/sbin/munin2
19639991813,3cyclictest27279-21cat2
19639991813,3cyclictest24931-21df2
19639991813,3cyclictest24189-21cat2
19639991813,3cyclictest21907-21hostname2
19639991813,3cyclictest19992-21cat2
19639991813,3cyclictest16153-21memory2
19639991813,3cyclictest15534-21/usr/sbin/munin2
19639991813,3cyclictest11767-21cut2
19639991812,4cyclictest3749-21interrupts2
19639991812,4cyclictest25203-21sh2
19639991811,5cyclictest517-21dbus-daemon2
1963999180,16cyclictest0-21swapper/22
19631991816,1cyclictest0-21swapper/11
19631991816,1cyclictest0-21swapper/11
19631991814,2cyclictest23414-21/usr/sbin/munin1
19631991814,2cyclictest19008-21uptime1
19631991814,2cyclictest15152-21/usr/sbin/munin1
19631991814,2cyclictest11462-21/usr/sbin/munin1
19631991813,3cyclictest31382-21sed1
19631991813,3cyclictest31147-21ls1
19631991813,3cyclictest23365-21grep1
19631991813,3cyclictest20164-21kernelversion1
19631991813,3cyclictest12994-21cat1
19631991812,4cyclictest517-21dbus-daemon1
19631991812,4cyclictest517-21dbus-daemon1
19631991812,4cyclictest1765-21sed1
19631991812,4cyclictest14994-21date1
1963199180,16cyclictest0-21swapper/11
19629991813,3cyclictest990-21cat0
19629991813,3cyclictest662-21runrttasks0
19629991813,3cyclictest4519-21/usr/sbin/munin0
19629991813,3cyclictest32350-21seq0
19629991813,3cyclictest30789-21cat0
19629991813,3cyclictest2911-21expr0
19629991813,3cyclictest28883-21/usr/sbin/munin0
19629991813,3cyclictest28883-21/usr/sbin/munin0
19629991813,3cyclictest21990-21sh0
19629991813,3cyclictest21831-21gltestperf0
19629991813,3cyclictest21575-21cat0
19629991813,3cyclictest16891-21date0
19629991812,4cyclictest9396-21expr0
19629991812,4cyclictest27176-21sed0
19629991812,4cyclictest23982-21expr0
19629991810,5cyclictest27222-21missed_timers0
1963999174,4cyclictest18614-21awk2
1963999172,5cyclictest25962-21apt-get2
1963999172,11cyclictest9078-21apt-get2
19639991712,3cyclictest9332-21expr2
19639991712,3cyclictest5577-21df2
19639991712,3cyclictest5577-21df2
19639991712,3cyclictest4293-21latency_hist2
19639991712,3cyclictest29379-21/usr/sbin/munin2
19639991712,3cyclictest27831-21uptime2
19639991712,3cyclictest19953-21cat2
19639991712,3cyclictest14608-21sed2
19639991712,3cyclictest13441-21entropy2
19639991712,3cyclictest12318-21ntp_kernel_err2
19639991711,4cyclictest517-21dbus-daemon2
19639991711,4cyclictest517-21dbus-daemon2
19639991711,4cyclictest5072-21cut2
1963999170,16cyclictest0-21swapper/22
19631991713,2cyclictest1759-21ntp_states1
19631991712,3cyclictest400-21hostname1
19631991712,3cyclictest26685-21sed1
19631991712,3cyclictest19822-21apt-key1
19631991711,4cyclictest21-21ksoftirqd/11
19631991711,3cyclictest5108-21cat1
19629991715,1cyclictest0-21swapper/00
19629991713,2cyclictest25149-21irqstats0
19629991712,3cyclictest6323-21apt-get0
19629991712,3cyclictest27342-21cat0
19629991712,3cyclictest23544-21aten2_r9power_v0
19629991712,3cyclictest20718-21seq0
19629991712,3cyclictest14755-21timerwakeupswit0
19629991712,3cyclictest12886-21idleruntime-cro0
19629991711,4cyclictest5515-21basename0
19629991711,4cyclictest13035-21seq0
1963999162,9cyclictest1041-21apt-get2
19639991612,2cyclictest15032-21/usr/sbin/munin2
19631991611,3cyclictest2666-21latency_hist1
19631991611,3cyclictest24304-21cat1
19629991611,3cyclictest16177-21interrupts0
19629991610,4cyclictest22870-21entropy0
19629991610,4cyclictest1063-21cat0
1963199159,4cyclictest0-21swapper/11
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional