You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-12-03 - 00:12
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rack9slot2.osadl.org (updated Tue Dec 02, 2025 12:43:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
194042255185,25sleep10-21swapper/11
194522246173,25sleep30-21swapper/33
177332243177,52sleep00-21swapper/00
192262230193,24sleep20-21swapper/22
1967499162155,5cyclictest29428-21sendmail-mta1
1968199151145,4cyclictest29416-21munin-run3
1967799136120,14cyclictest29402-21apt-get2
1316821300,2sleep11967499cyclictest1
1966999121115,4cyclictest29426-21awk0
191662760,3sleep31968199cyclictest3
141502500,1sleep30-21swapper/33
19674994914,17cyclictest16378-21cat1
312012480,3sleep10-21swapper/11
1967499483,26cyclictest25017-21apt-get1
1967499481,29cyclictest26836-21chrt1
1967499481,29cyclictest26836-21chrt1
19674994512,18cyclictest20329-21seq1
1967499450,3cyclictest320892chrt1
19674994412,18cyclictest27501-21seq1
19674994412,17cyclictest22366-21seq1
19674994412,17cyclictest21527-21seq1
19674994312,17cyclictest12011-21seq1
1967499430,2cyclictest147122chrt1
255412420,1sleep30-21swapper/33
1967499429,18cyclictest4390-21seq1
1967499428,19cyclictest206552chrt1
1967499427,20cyclictest187752chrt1
149112420,2sleep10-21swapper/11
1967499418,18cyclictest281222chrt1
1967499409,18cyclictest31602-21seq1
1967499406,20cyclictest5418-21seq1
19681993810,9cyclictest26572-21munin-run3
19681993711,9cyclictest4736-21sed3
19681993710,10cyclictest14258-21sed3
1967799373,6cyclictest28-21ksoftirqd/22
1968199369,10cyclictest25807-21sed3
19681993612,9cyclictest2082-21systemd-journal3
19681993611,9cyclictest333-21sed3
1967499361,3cyclictest40222chrt1
1968199357,16cyclictest0-21swapper/33
1968199356,9cyclictest0-21swapper/33
19681993511,9cyclictest505-21dbus-daemon3
19681993510,9cyclictest9701-21sed3
19677993518,15cyclictest271rcuc/22
1968199349,9cyclictest17299-21chrt3
1968199349,8cyclictest23393-21chrt3
1968199349,10cyclictest5317-21chrt3
1968199348,9cyclictest20872-21taskset3
1968199347,17cyclictest0-21swapper/33
1968199347,16cyclictest0-21swapper/33
1968199346,17cyclictest0-21swapper/33
1968199345,16cyclictest0-21swapper/33
19681993410,9cyclictest27658-21taskset3
19681993410,9cyclictest16151-21chrt3
19681993410,10cyclictest3954-21chrt3
19681993410,10cyclictest16834-21chrt3
1968199339,9cyclictest7066-21chrt3
1968199339,9cyclictest28310-21chrt3
1968199339,9cyclictest28310-21chrt3
1968199336,16cyclictest0-21swapper/33
1968199336,15cyclictest0-21swapper/33
19681993310,9cyclictest27779-21awk3
19681993310,9cyclictest15532-21chrt3
1967499333,22cyclictest28418-21apt-get1
1967499330,2cyclictest30927-21munin-run1
19669993322,3cyclictest9-21ksoftirqd/00
1968199329,9cyclictest6670-21chrt3
1968199329,9cyclictest32691-21chrt3
1968199329,9cyclictest21432-21chrt3
1968199329,9cyclictest10499-21chrt3
1968199329,9cyclictest1012-21chrt3
1968199329,8cyclictest24443-21telnet3
1968199326,16cyclictest0-21swapper/33
1968199326,16cyclictest0-21swapper/33
1968199325,15cyclictest0-21swapper/33
1968199325,15cyclictest0-21swapper/33
19681993210,8cyclictest29169-21timerandwakeup3
1967499322,23cyclictest5653-21apt-get1
1967499322,23cyclictest23260-21apt-get1
19674993214,15cyclictest12933-21grep1
19669993213,4cyclictest9-21ksoftirqd/00
72182310,11sleep09-21ksoftirqd/00
1968199318,9cyclictest31780-21chrt3
1968199318,9cyclictest19092-21timerwakeupswit3
1968199318,9cyclictest12833-21switchtime3
1968199316,8cyclictest0-21swapper/33
1968199315,15cyclictest0-21swapper/33
1968199315,15cyclictest0-21swapper/33
19681993120,5cyclictest22696-21apt-get3
19677993121,2cyclictest28-21ksoftirqd/22
19677993116,3cyclictest28-21ksoftirqd/22
19677993113,4cyclictest28-21ksoftirqd/22
1967499312,23cyclictest4947-21apt-get1
1967499312,23cyclictest13873-21apt-get1
1966999319,4cyclictest9-21ksoftirqd/00
1968199307,9cyclictest0-21swapper/33
1968199307,8cyclictest0-21swapper/33
1968199306,9cyclictest0-21swapper/33
1968199306,8cyclictest4408-21apt-get3
1968199306,15cyclictest0-21swapper/33
1967499309,19cyclictest10971-21avahi-daemon1
1967499307,19cyclictest505-21dbus-daemon1
1967499306,21cyclictest505-21dbus-daemon1
1967499303,21cyclictest21237-21apt-get1
1967499302,23cyclictest505-21dbus-daemon1
1967499302,23cyclictest16210-21apt-get1
1967499302,22cyclictest11062-21apt-get1
19674993012,15cyclictest18239-21expr1
1967499300,3cyclictest9842-21awk1
1966999308,4cyclictest9-21ksoftirqd/00
19669993012,4cyclictest9-21ksoftirqd/00
1968199299,8cyclictest0-21swapper/33
1968199295,9cyclictest0-21swapper/33
1967799295,8cyclictest28-21ksoftirqd/22
19677992924,3cyclictest271rcuc/22
1967499293,23cyclictest30384-21cstates1
1967499292,22cyclictest9726-21apt-get1
1967499292,21cyclictest32473-21apt-get1
1967499292,21cyclictest0-21swapper/11
1967499292,20cyclictest31987-21apt-get1
1967499291,24cyclictest25732-21awk1
1967499291,23cyclictest24810-21apt-get1
1967499291,22cyclictest22330-21apt-get1
19674992912,15cyclictest23146-21diskstats1
1967499290,3cyclictest15060-21grep1
1967499290,2cyclictest2637-21systemctl1
1967499290,2cyclictest0-21swapper/11
1966999299,5cyclictest9-21ksoftirqd/00
1968199286,7cyclictest0-21swapper/33
1968199285,9cyclictest0-21swapper/33
1968199285,8cyclictest0-21swapper/33
1967799289,10cyclictest28-21ksoftirqd/22
1967499288,17cyclictest6302-21sed1
1967499286,19cyclictest4459-21cups-browsed1
1967499282,21cyclictest7764-21apt-get1
1967499282,20cyclictest19831-21apt-get1
1967499281,25cyclictest26651-21sendmail_mailst1
1967499280,4cyclictest18245-21/usr/sbin/munin1
19669992817,3cyclictest9-21ksoftirqd/00
19669992811,9cyclictest9-21ksoftirqd/00
1968199276,8cyclictest0-21swapper/33
1968199275,9cyclictest0-21swapper/33
1968199275,8cyclictest0-21swapper/33
1967799276,10cyclictest28-21ksoftirqd/22
19677992724,2cyclictest271rcuc/22
19677992724,2cyclictest271rcuc/22
19677992711,7cyclictest28-21ksoftirqd/22
1967799270,12cyclictest28-21ksoftirqd/22
1967499276,18cyclictest28073-21cut1
1967499276,18cyclictest21670-21unixbench_singl1
1967499272,20cyclictest32074-21apt-get1
19674992713,11cyclictest665-21runrttasks1
1967499271,22cyclictest505-21dbus-daemon1
1967499271,20cyclictest0-21swapper/11
1967499270,3cyclictest17738-21cat1
1967499270,3cyclictest12969-21switchtime1
19681992614,7cyclictest16607-21apt-get3
1967799268,5cyclictest28-21ksoftirqd/22
1967799266,6cyclictest28-21ksoftirqd/22
1967499267,16cyclictest0-21swapper/11
1967499262,21cyclictest16154-21cstates1
1967499261,22cyclictest505-21dbus-daemon1
19669992618,3cyclictest9-21ksoftirqd/00
19669992618,2cyclictest9-21ksoftirqd/00
19669992611,4cyclictest9-21ksoftirqd/00
1968199255,8cyclictest0-21swapper/33
1967799253,6cyclictest28-21ksoftirqd/22
1967799252,7cyclictest28-21ksoftirqd/22
19677992513,2cyclictest28-21ksoftirqd/22
1967799250,6cyclictest28-21ksoftirqd/22
1967799250,6cyclictest28-21ksoftirqd/22
1966999256,9cyclictest9-21ksoftirqd/00
296892240,4sleep229695-21gltestperf2
1968199245,7cyclictest0-21swapper/33
1967799249,3cyclictest111rcu_preempt2
1967799245,8cyclictest28-21ksoftirqd/22
19677992416,5cyclictest23698-21munin-run2
1966999246,9cyclictest9-21ksoftirqd/00
19669992418,4cyclictest17985-21turbostat.cron0
19669992416,2cyclictest111rcu_preempt0
1967799238,7cyclictest28-21ksoftirqd/22
1967799234,6cyclictest28-21ksoftirqd/22
1967799234,10cyclictest28-21ksoftirqd/22
1967799233,6cyclictest28-21ksoftirqd/22
1967799233,5cyclictest28-21ksoftirqd/22
1967799232,6cyclictest19886-21munin-node2
19677992317,3cyclictest271rcuc/22
1966999239,3cyclictest111rcu_preempt0
19669992318,3cyclictest9-21ksoftirqd/00
19669992314,3cyclictest9-21ksoftirqd/00
19669992313,3cyclictest9-21ksoftirqd/00
19669992311,2cyclictest111rcu_preempt0
19669992310,2cyclictest111rcu_preempt0
1967799228,5cyclictest111rcu_preempt2
1967799227,2cyclictest111rcu_preempt2
1967799225,9cyclictest18031-21runrttasks2
1967799225,5cyclictest28-21ksoftirqd/22
1967799223,9cyclictest28-21ksoftirqd/22
1967799223,9cyclictest28-21ksoftirqd/22
1967799223,6cyclictest28-21ksoftirqd/22
1967799223,5cyclictest28-21ksoftirqd/22
1967799223,5cyclictest28-21ksoftirqd/22
1967799222,5cyclictest28-21ksoftirqd/22
19677992219,2cyclictest271rcuc/22
1967799221,8cyclictest28-21ksoftirqd/22
19677992217,3cyclictest271rcuc/22
19677992214,5cyclictest27635-21timerwakeupswit2
19677992210,3cyclictest111rcu_preempt2
1967799220,6cyclictest28-21ksoftirqd/22
1967799220,6cyclictest28-21ksoftirqd/22
1967799220,4cyclictest24108-21perf2
1966999227,3cyclictest9-21ksoftirqd/00
1966999224,6cyclictest9-21ksoftirqd/00
19669992218,2cyclictest9-21ksoftirqd/00
19669992217,3cyclictest9-21ksoftirqd/00
1967799219,2cyclictest111rcu_preempt2
1967799213,6cyclictest28-21ksoftirqd/22
1967799212,6cyclictest28-21ksoftirqd/22
1967799212,5cyclictest28-21ksoftirqd/22
19677992118,2cyclictest271rcuc/22
1967799211,5cyclictest28-21ksoftirqd/22
19677992115,3cyclictest17056-21timerwakeupswit2
1967799211,17cyclictest17058-21cat2
1967799210,8cyclictest28-21ksoftirqd/22
1967799210,8cyclictest28-21ksoftirqd/22
1967799210,7cyclictest28-21ksoftirqd/22
1967799210,18cyclictest7520-21perf2
1966999219,3cyclictest111rcu_preempt0
1966999219,2cyclictest111rcu_preempt0
1966999218,2cyclictest9-21ksoftirqd/00
1966999216,3cyclictest9-21ksoftirqd/00
1967799209,2cyclictest111rcu_preempt2
1967799204,6cyclictest28-21ksoftirqd/22
1967799204,3cyclictest111rcu_preempt2
19677992015,3cyclictest19397-21memory2
1967799200,7cyclictest28-21ksoftirqd/22
1966999209,2cyclictest111rcu_preempt0
1966999208,3cyclictest9-21ksoftirqd/00
1966999208,2cyclictest111rcu_preempt0
1966999208,2cyclictest111rcu_preempt0
1966999207,3cyclictest9-21ksoftirqd/00
1966999206,3cyclictest9-21ksoftirqd/00
1966999203,3cyclictest9-21ksoftirqd/00
1966999201,5cyclictest0-21swapper/00
19669992015,3cyclictest9-21ksoftirqd/00
19669992015,3cyclictest9-21ksoftirqd/00
19669992015,3cyclictest9-21ksoftirqd/00
19669992015,3cyclictest3829-21cpuspeed0
19669992015,3cyclictest22061-21munin-plugin-st0
19669992014,4cyclictest12612-21ntpq0
19669992012,2cyclictest9-21ksoftirqd/00
19669992011,3cyclictest111rcu_preempt0
1966999200,6cyclictest9-21ksoftirqd/00
1966999200,5cyclictest9-21ksoftirqd/00
1966999199,2cyclictest111rcu_preempt0
1966999197,2cyclictest111rcu_preempt0
1966999192,4cyclictest111rcu_preempt0
1966999191,9cyclictest111rcu_preempt0
1966999191,5cyclictest0-21swapper/00
19669991915,2cyclictest9-21ksoftirqd/00
19669991915,2cyclictest28418-21apt-get0
19669991914,3cyclictest7801-21aten2_r9power_e0
19669991914,3cyclictest30153-21aten2_r9power_v0
19669991914,3cyclictest14092-21ls0
19669991913,4cyclictest10333-21gdbus0
19669991913,3cyclictest20816-21sed0
19669991911,2cyclictest111rcu_preempt0
1966999190,9cyclictest111rcu_preempt0
1966999187,2cyclictest111rcu_preempt0
19669991814,3cyclictest9-21ksoftirqd/00
19669991814,2cyclictest14623-21aten2_r9power_e0
19669991813,3cyclictest3438-21ls0
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional