You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-09-18 - 02:28
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of all highest latencies:
System rack9slot2.osadl.org (updated Wed Sep 17, 2025 12:43:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
178682290253,24sleep20-21swapper/22
194942289251,26sleep10-21swapper/11
195132281244,25sleep00-21swapper/00
193252250178,37sleep30-21swapper/33
1979999176169,4cyclictest28439-21munin-run1
1980799172167,3cyclictest28459-21awk3
1979799164159,3cyclictest28453-21perf0
1943621570,3sleep11979999cyclictest1
1451921480,3sleep31980799cyclictest3
2304721330,3sleep21980399cyclictest2
19803999893,3cyclictest0-21swapper/22
103182570,1sleep10-21swapper/11
99482540,2sleep20-21swapper/22
57432530,2sleep25734-21sendmail-mta2
176432520,2sleep09-21ksoftirqd/00
260592450,1sleep30-21swapper/33
1979999431,29cyclictest14134-21seq1
152762410,2sleep20-21swapper/22
287412400,2sleep30-21swapper/33
183392380,1sleep10-21swapper/11
1980799371,15cyclictest18427-21cat3
1980799331,9cyclictest27399-21cat3
1979799332,7cyclictest9-21ksoftirqd/00
1979799332,7cyclictest9-21ksoftirqd/00
1980399320,30cyclictest26291-21kworker/2:02
1979799320,30cyclictest3266-21kworker/0:20
1979799311,6cyclictest9-21ksoftirqd/00
183672310,6sleep1211ksoftirqd/11
19803993011,3cyclictest28-21ksoftirqd/22
1979999301,8cyclictest23669-21awk1
1979799306,6cyclictest9-21ksoftirqd/00
19797993025,3cyclictest101rcuc/00
1980799291,16cyclictest3949-21sed3
1979799297,8cyclictest9-21ksoftirqd/00
1979799293,7cyclictest9-21ksoftirqd/00
1979799293,7cyclictest9-21ksoftirqd/00
1980799283,9cyclictest505-21dbus-daemon3
1979999287,7cyclictest665-21runrttasks1
1979999281,13cyclictest9633-21cstates1
1979999280,10cyclictest16112-21taskset1
1979799288,8cyclictest9-21ksoftirqd/00
1980799271,10cyclictest14006-21systemctl3
1979999273,9cyclictest254542chrt1
1979999272,10cyclictest19456-21ntp_states1
19797992722,3cyclictest101rcuc/00
1979799270,4cyclictest0-21swapper/00
1980799261,10cyclictest10410-21sed3
1979999262,14cyclictest31938-21seq1
1979999262,10cyclictest22873-21munin-plugin-st1
1979999261,9cyclictest23846-21chrt1
1979999261,10cyclictest31725-21if_enp3s01
1979799267,9cyclictest9-21ksoftirqd/00
1979799266,9cyclictest9-21ksoftirqd/00
1979799266,9cyclictest9-21ksoftirqd/00
1979799266,9cyclictest9-21ksoftirqd/00
1979799263,7cyclictest9-21ksoftirqd/00
1979799263,6cyclictest9-21ksoftirqd/00
1979799263,6cyclictest9-21ksoftirqd/00
1979799263,6cyclictest9-21ksoftirqd/00
19797992623,2cyclictest101rcuc/00
19797992623,2cyclictest101rcuc/00
1979799260,7cyclictest9-21ksoftirqd/00
1980799255,9cyclictest111rcu_preempt3
1980799251,5cyclictest0-21swapper/33
1980799250,9cyclictest4226-21cat3
1980399255,17cyclictest30631-21sort2
19803992512,11cyclictest28-21ksoftirqd/22
1979999255,11cyclictest88442ntpq1
1979999254,7cyclictest4560-21latency_hist1
1979999253,6cyclictest129802chrt1
1979999253,5cyclictest262952sleep11
1979999253,5cyclictest24112sleep11
1979999252,9cyclictest665-21runrttasks1
1979999252,9cyclictest16205-21chrt1
1979999252,8cyclictest9936-21grep1
1979999252,6cyclictest76012chrt1
1979999251,9cyclictest32008-21taskset1
1979999251,9cyclictest30966-21taskset1
1979999251,9cyclictest20654-21chrt1
1979799256,9cyclictest9-21ksoftirqd/00
1979799256,9cyclictest9-21ksoftirqd/00
1979799256,9cyclictest9-21ksoftirqd/00
1979799256,8cyclictest9-21ksoftirqd/00
1979799256,6cyclictest9-21ksoftirqd/00
1979799255,8cyclictest9-21ksoftirqd/00
1979799253,6cyclictest9-21ksoftirqd/00
1979799253,6cyclictest9-21ksoftirqd/00
19797992521,3cyclictest101rcuc/00
19797992521,2cyclictest101rcuc/00
19797992510,3cyclictest111rcu_preempt0
110082250,11sleep335-21ksoftirqd/33
1980799241,5cyclictest0-21swapper/33
19803992412,10cyclictest25575-21pluginstate2
1979999243,6cyclictest155542sleep11
1979999242,8cyclictest25240-21if_enp2s01
1979999242,7cyclictest665-21runrttasks1
1979999242,7cyclictest665-21runrttasks1
1979999242,5cyclictest665-21runrttasks1
1979999242,5cyclictest135162chrt1
1979999241,9cyclictest665-21runrttasks1
1979999241,9cyclictest21972-21chrt1
1979999241,7cyclictest21252-21irqstats1
1979999241,10cyclictest8382-21chrt1
1979999240,8cyclictest0-21swapper/11
1979799246,9cyclictest9-21ksoftirqd/00
1979799246,9cyclictest9-21ksoftirqd/00
1979799246,8cyclictest9-21ksoftirqd/00
1979799246,8cyclictest111rcu_preempt0
1979799245,7cyclictest9-21ksoftirqd/00
1979799245,10cyclictest9-21ksoftirqd/00
1979799242,6cyclictest9-21ksoftirqd/00
19797992420,2cyclictest101rcuc/00
19797992419,3cyclictest30471-21idleruntime-cro0
1979799241,6cyclictest9-21ksoftirqd/00
1979799241,6cyclictest9-21ksoftirqd/00
19797992412,3cyclictest9-21ksoftirqd/00
1980799238,3cyclictest111rcu_preempt3
1980799233,6cyclictest7667-21needreboot3
1980799231,6cyclictest28926-21taskset3
1980799230,8cyclictest35-21ksoftirqd/33
1980399234,18cyclictest21928-21needreboot2
1980399233,18cyclictest15192-21cat2
1980399231,4cyclictest13839-21munin-run2
1979999234,5cyclictest0-21swapper/11
1979999233,7cyclictest5620-21runrttasks1
1979999233,6cyclictest0-21swapper/11
1979999233,6cyclictest0-21swapper/11
1979999232,9cyclictest12491-21seq1
1979999232,7cyclictest2004-21apt-get1
1979999232,6cyclictest21-21ksoftirqd/11
1979999232,6cyclictest21-21ksoftirqd/11
1979999232,5cyclictest5212sleep11
1979999232,5cyclictest0-21swapper/11
1979999231,9cyclictest26848-21latency1
1979999231,6cyclictest21-21ksoftirqd/11
19799992315,5cyclictest505-21dbus-daemon1
1979999230,7cyclictest21-21ksoftirqd/11
1979799236,6cyclictest9-21ksoftirqd/00
1979799235,9cyclictest9-21ksoftirqd/00
1979799235,9cyclictest9-21ksoftirqd/00
1979799235,9cyclictest9-21ksoftirqd/00
1979799235,9cyclictest9-21ksoftirqd/00
1979799235,6cyclictest9-21ksoftirqd/00
1979799234,9cyclictest9-21ksoftirqd/00
1979799233,6cyclictest9-21ksoftirqd/00
19797992319,2cyclictest101rcuc/00
19797992318,3cyclictest101rcuc/00
19797992311,9cyclictest2612-21cat0
19797992311,3cyclictest111rcu_preempt0
1980799222,7cyclictest35-21ksoftirqd/33
1980799222,6cyclictest35-21ksoftirqd/33
1980799222,6cyclictest35-21ksoftirqd/33
1980799222,6cyclictest35-21ksoftirqd/33
1980799222,6cyclictest29559-21timerwakeupswit3
1980799222,17cyclictest19809-21memory3
19807992220,1cyclictest341rcuc/33
1980799221,7cyclictest35-21ksoftirqd/33
1980799221,7cyclictest35-21ksoftirqd/33
1980799221,6cyclictest3521-21taskset3
1980799221,6cyclictest0-21swapper/33
19807992216,4cyclictest8585-21sed3
19807992216,3cyclictest6584-21cron3
1980399223,16cyclictest0-21swapper/22
1980399223,16cyclictest0-21swapper/22
19803992215,5cyclictest31898-21seq2
1980399221,4cyclictest10333-21gdbus2
1980399221,18cyclictest505-21dbus-daemon2
1980399220,20cyclictest2074-21aten2_r9power_p2
1979999222,5cyclictest21-21ksoftirqd/11
1979999222,5cyclictest0-21swapper/11
1979999220,9cyclictest11796-21chrt1
1979999220,8cyclictest704-21missed_timers1
1979799226,8cyclictest9-21ksoftirqd/00
1979799224,9cyclictest9-21ksoftirqd/00
1979799224,6cyclictest9-21ksoftirqd/00
1979799221,6cyclictest9-21ksoftirqd/00
19797992211,3cyclictest111rcu_preempt0
19797992211,2cyclictest111rcu_preempt0
1980799217,3cyclictest111rcu_preempt3
1980799216,4cyclictest35-21ksoftirqd/33
1980799213,6cyclictest35-21ksoftirqd/33
1980799212,6cyclictest35-21ksoftirqd/33
1980799211,6cyclictest7948-21rs:main3
1980799211,6cyclictest35-21ksoftirqd/33
1980799211,6cyclictest30961-21taskset3
19807992115,4cyclictest334-21sed3
19803992116,3cyclictest870-21munin-run2
19803992116,3cyclictest11918-21sh2
19803992115,4cyclictest8420-21diskstats2
19803992115,4cyclictest28642-21fw_packets2
19803992115,4cyclictest25908-21diskstats2
1980399211,4cyclictest13092-21munin-run2
1980399211,18cyclictest2530-21munin-run2
1979999212,6cyclictest21-21ksoftirqd/11
1979999212,6cyclictest21-21ksoftirqd/11
1979999211,5cyclictest21-21ksoftirqd/11
1979999211,5cyclictest0-21swapper/11
19799992115,4cyclictest15683-21sed1
19799992111,6cyclictest8085-21apt-get1
19799992111,6cyclictest8085-21apt-get1
19799992110,6cyclictest23432-21apt-get1
1979799215,9cyclictest9-21ksoftirqd/00
1979799215,8cyclictest9-21ksoftirqd/00
1979799212,5cyclictest9-21ksoftirqd/00
1980799207,6cyclictest111rcu_preempt3
1980799207,2cyclictest111rcu_preempt3
1980799202,6cyclictest35-21ksoftirqd/33
1980799202,6cyclictest35-21ksoftirqd/33
1980799201,6cyclictest35-21ksoftirqd/33
19807992015,3cyclictest1870-21sed3
19807992014,4cyclictest6491-21diskstats3
19807992014,4cyclictest31973-21awk3
19807992014,4cyclictest30090-21awk3
19807992014,4cyclictest13760-21expr3
1980799200,8cyclictest35-21ksoftirqd/33
1980799200,7cyclictest35-21ksoftirqd/33
1980799200,4cyclictest35-21ksoftirqd/33
19803992016,2cyclictest26307-21/usr/sbin/munin2
19803992015,3cyclictest24123-21latency2
19803992014,4cyclictest7553-21seq2
19803992014,4cyclictest24888-21cat2
19803992014,4cyclictest24888-21cat2
1980399201,3cyclictest8343-1kworker/2:2H2
19803992013,5cyclictest30068-21seq2
19803992013,4cyclictest29873-21expr2
1980399201,17cyclictest32041-21munin-run2
1980399201,17cyclictest19502-21latency_hist2
1980399200,3cyclictest28604-21switchtime2
1980399200,3cyclictest24011-21munin-run2
1979999202,5cyclictest21-21ksoftirqd/11
1979999200,8cyclictest665-21runrttasks1
1979999200,7cyclictest21-21ksoftirqd/11
1980799199,2cyclictest111rcu_preempt3
1980799199,2cyclictest111rcu_preempt3
1980799197,2cyclictest111rcu_preempt3
1980799195,7cyclictest111rcu_preempt3
1980799192,5cyclictest0-21swapper/33
1980799191,6cyclictest35-21ksoftirqd/33
19807991913,4cyclictest30344-21date3
1980799190,7cyclictest35-21ksoftirqd/33
1980399199,6cyclictest24646-21apt-get2
1980399198,3cyclictest111rcu_preempt2
19803991915,2cyclictest20305-21cstates2
19803991915,2cyclictest13832-21ntp_states2
19803991914,3cyclictest7331-21gltestperf2
19803991914,3cyclictest3185-21unixbench-2d2
19803991914,3cyclictest23018-21diskstats2
19803991914,3cyclictest10702-21interrupts2
19803991913,4cyclictest505-21dbus-daemon2
19803991913,4cyclictest505-21dbus-daemon2
19803991913,4cyclictest4883-21hostname2
19803991913,4cyclictest4407-21expr2
1980399191,17cyclictest21979-21cron2
1980399191,14cyclictest18189-21apt-get2
1980399190,17cyclictest1773-21runrttasks2
1980399190,17cyclictest17531-21users2
1979999192,6cyclictest21-21ksoftirqd/11
1980799181,6cyclictest35-21ksoftirqd/33
1980799181,6cyclictest35-21ksoftirqd/33
1980799181,5cyclictest35-21ksoftirqd/33
1980799181,5cyclictest0-21swapper/33
1980799181,5cyclictest0-21swapper/33
19807991813,3cyclictest3181-21cat3
19807991812,3cyclictest18718-21cpu3
1980799180,6cyclictest35-21ksoftirqd/33
19803991816,1cyclictest0-21swapper/22
19803991816,1cyclictest0-21swapper/22
19803991814,2cyclictest7822-21latency_hist2
19803991814,2cyclictest20544-21missed_timers2
19803991814,2cyclictest19217-21interrupts2
19803991813,3cyclictest8632-21sed2
19803991813,3cyclictest3764-21proc_pri2
19803991813,3cyclictest28-21ksoftirqd/22
19803991813,3cyclictest24215-21seq2
19803991813,3cyclictest24215-21seq2
19803991813,3cyclictest16971-21awk2
19803991813,3cyclictest13265-21sed2
19803991813,3cyclictest11247-21cat2
19803991713,2cyclictest17027-21/usr/sbin/munin2
19803991610,4cyclictest27758-21seq2
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional