You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-05-05 - 05:37
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 792 highest latencies:
System rack9slot2.osadl.org (updated Mon May 05, 2025 00:43:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
267292271178,78sleep10-21swapper/11
256642266178,16sleep20-21swapper/22
266122254180,42sleep00-21swapper/00
264632227189,25sleep30-21swapper/33
2698199198193,3cyclictest31463-21idleruntime-cro2
2698499194188,3cyclictest31443-21munin-run3
2697899170163,4cyclictest10333-21gdbus1
2697399125120,3cyclictest31460-21perf0
264632460,1sleep10-21swapper/11
174092420,2sleep2271rcuc/22
293312380,1sleep00-21swapper/00
60502370,1sleep00-21swapper/00
2698199369,8cyclictest16489-21apt-get2
2698199367,16cyclictest0-21swapper/22
26981993614,19cyclictest8103-21munin-run2
2698199355,19cyclictest0-21swapper/22
26981993512,20cyclictest5592-21perf2
2698199349,9cyclictest30898-21cat2
2698199349,9cyclictest12024-21chrt2
26981993413,6cyclictest7948-21rs:main2
26981993413,18cyclictest21766-21tail2
26981993413,18cyclictest12108-21munin-run2
183802340,1sleep30-21swapper/33
2698499335,10cyclictest28181-21sed3
2698199338,9cyclictest2082-21systemd-journal2
26981993315,10cyclictest22891-21apt-get2
26981993315,10cyclictest22891-21apt-get2
26981993312,18cyclictest20139-21idleruntime-cro2
26981993312,18cyclictest11707-21munin-run2
26981993310,9cyclictest20023-21chrt2
2698199326,15cyclictest0-21swapper/22
2698199325,9cyclictest7283-21apt-get2
2698499317,8cyclictest2082-21systemd-journal3
2698199318,10cyclictest21508-21chrt2
2698199315,8cyclictest28800-21apt-get2
2698199314,9cyclictest27121-21apt-get2
2698199314,9cyclictest27121-21apt-get2
2698499305,10cyclictest12373-21cat3
2698199307,10cyclictest8145-21/usr/sbin/munin2
2698199306,9cyclictest0-21swapper/22
2698199306,8cyclictest30275-21apt-get2
2698199306,8cyclictest0-21swapper/22
2698199305,8cyclictest24494-21apt-get2
2698199305,8cyclictest24494-21apt-get2
2698199303,15cyclictest0-21swapper/22
26981993010,17cyclictest3569-21cron2
26981993010,17cyclictest28285-21http2
2698499294,10cyclictest32682-21cat3
2698199297,9cyclictest254332sleep22
2698199295,9cyclictest39912chrt2
2698199295,8cyclictest14372-21apt-get2
2698199294,14cyclictest0-21swapper/22
26978992915,4cyclictest21-21ksoftirqd/11
26978992911,10cyclictest21-21ksoftirqd/11
105462290,2sleep00-21swapper/00
26984992811,11cyclictest22374-21apt-get3
26984992811,11cyclictest22374-21apt-get3
2698199285,8cyclictest27983-21apt-get2
2698199285,20cyclictest0-21swapper/22
2698199283,9cyclictest0-21swapper/22
26981992817,7cyclictest32717-21sendmail-msp2
26981992816,9cyclictest1033-21sleep2
26981992816,7cyclictest32294-21apt-get2
2698499272,8cyclictest27121-21apt-get3
2698499272,8cyclictest27121-21apt-get3
2698499271,15cyclictest9283-21apt-get3
2698199279,3cyclictest19343-21latency_hist2
2698199277,8cyclictest6939-21needreboot2
2698199276,8cyclictest24945-21apt-get2
2698199273,8cyclictest0-21swapper/22
2698199273,8cyclictest0-21swapper/22
2698199273,14cyclictest0-21swapper/22
26981992717,7cyclictest28681-21munin-run2
26981992717,5cyclictest11973-21apt-get2
26981992716,8cyclictest26902-21grep2
26981992711,12cyclictest0-21swapper/22
26978992718,2cyclictest21-21ksoftirqd/11
2697399277,19cyclictest0-21swapper/00
26984992613,8cyclictest17757-21/usr/sbin/munin3
2698499260,13cyclictest16336-21apt-get3
2698199265,9cyclictest0-21swapper/22
26981992617,6cyclictest8946-21grep2
26981992617,6cyclictest505-21dbus-daemon2
26981992617,6cyclictest505-21dbus-daemon2
26981992614,7cyclictest30786-21apt-get2
26981992611,12cyclictest13762-21tail2
2697899263,2cyclictest111rcu_preempt1
2697399260,5cyclictest8109-21perf0
2697399260,2cyclictest111rcu_preempt0
2698499255,17cyclictest8866-21/usr/sbin/munin3
26984992513,8cyclictest9891-21munin-run3
26984992513,8cyclictest32683-21munin-run3
26984992512,8cyclictest24767-21grep3
26984992512,6cyclictest11290-21apt-get3
2698199255,8cyclictest0-21swapper/22
2698199255,8cyclictest0-21swapper/22
2698199254,8cyclictest0-21swapper/22
26981992515,7cyclictest3023-21sh2
26981992515,7cyclictest23814-21grep2
26981992515,7cyclictest1724-21latency_hist2
26981992514,7cyclictest12372-21apt-get2
26981992514,6cyclictest28395-21apt-get2
26978992512,4cyclictest21-21ksoftirqd/11
26984992412,7cyclictest1127-21grep3
26984992412,7cyclictest1014-21munin-run3
2698199244,18cyclictest18346-21cat2
26981992414,7cyclictest7028-21perf2
26978992415,3cyclictest21-21ksoftirqd/11
26978992415,3cyclictest21-21ksoftirqd/11
26978992414,2cyclictest21-21ksoftirqd/11
26978992414,2cyclictest21-21ksoftirqd/11
26984992313,7cyclictest11700-21cron3
26984992313,6cyclictest505-21dbus-daemon3
26984992313,6cyclictest3713-21apt3
26984992313,6cyclictest19642-21wc3
26984992312,8cyclictest16194-21cron3
26984992312,7cyclictest30529-21munin-run3
26984992312,6cyclictest3274-21apt-get3
2698199232,8cyclictest0-21swapper/22
26981992314,5cyclictest25643-21grep2
2698499222,8cyclictest0-21swapper/33
26984992215,4cyclictest24806-21df3
26984992213,6cyclictest28705-21basename3
26984992213,6cyclictest28280-21latency_hist3
26984992212,7cyclictest3573-21munin-run3
26984992212,7cyclictest26901-21ps3
26984992212,7cyclictest2082-21systemd-journal3
26984992212,7cyclictest16072-21sendmail3
26984992212,7cyclictest16072-21sendmail3
26984992212,6cyclictest6346-21apt-get3
26984992211,8cyclictest30125-21munin-run3
26984992210,8cyclictest5948-21apt-get3
2697899228,2cyclictest137852apt-key1
2697899223,5cyclictest0-21swapper/11
26978992217,3cyclictest21-21ksoftirqd/11
26978992217,3cyclictest21-21ksoftirqd/11
26978992212,2cyclictest21-21ksoftirqd/11
26973992210,3cyclictest241512tr0
185912220,1sleep10-21swapper/11
2698499217,10cyclictest0-21swapper/33
26984992115,4cyclictest17636-21unixbench-2d3
26984992112,6cyclictest24201-21cron3
26984992112,6cyclictest22360-21munin-run3
26984992112,6cyclictest16117-21latency_hist3
26984992111,7cyclictest505-21dbus-daemon3
26984992111,6cyclictest8370-21apt-get3
26984992111,6cyclictest8370-21apt-get3
26984992111,6cyclictest505-21dbus-daemon3
26984992111,6cyclictest3175-21cut3
26984992111,6cyclictest18479-21apt-get3
26984992111,6cyclictest11977-21chrt3
26984992110,8cyclictest3003-21cron3
26984992110,8cyclictest29973-21ps3
26984992110,6cyclictest6999-21munin-run3
2697899219,3cyclictest21-21ksoftirqd/11
2697899214,3cyclictest21-21ksoftirqd/11
2697899213,6cyclictest21-21ksoftirqd/11
2697899212,2cyclictest111rcu_preempt1
26978992116,3cyclictest21-21ksoftirqd/11
26978992116,3cyclictest21-21ksoftirqd/11
26978992115,3cyclictest32146-21wc1
2697899210,6cyclictest25718-21unixbench_singl1
2697899210,13cyclictest21-21ksoftirqd/11
26973992116,3cyclictest9-21ksoftirqd/00
26973992115,4cyclictest8145-21/usr/sbin/munin0
26973992115,4cyclictest25308-21seq0
26973992114,4cyclictest14085-21seq0
2698499209,7cyclictest13585-21apt-get3
2698499209,6cyclictest336-21apt-get3
2698499207,9cyclictest0-21swapper/33
26984992015,3cyclictest13004-21interrupts3
26984992014,4cyclictest30673-21cat3
26984992014,4cyclictest2082-21systemd-journal3
26984992013,4cyclictest4266-21diskstats3
26984992012,5cyclictest7897-21perf3
26984992011,6cyclictest24506-21aten2_r9power_c3
26984992011,6cyclictest24506-21aten2_r9power_c3
26984992010,7cyclictest20379-21sh3
2697899208,3cyclictest111rcu_preempt1
2697899207,2cyclictest111rcu_preempt1
2697899207,2cyclictest111rcu_preempt1
2697899203,1cyclictest111rcu_preempt1
2697899202,6cyclictest21-21ksoftirqd/11
2697899202,3cyclictest21-21ksoftirqd/11
2697899202,3cyclictest21-21ksoftirqd/11
26978992016,2cyclictest21-21ksoftirqd/11
26978992016,2cyclictest21-21ksoftirqd/11
26978992015,3cyclictest7289-21http1
26978992015,3cyclictest21-21ksoftirqd/11
26978992013,5cyclictest7703-21sh1
26978992013,4cyclictest505-21dbus-daemon1
26978992013,4cyclictest21-21ksoftirqd/11
2697899201,2cyclictest111rcu_preempt1
26978992012,2cyclictest111rcu_preempt1
26978992012,2cyclictest111rcu_preempt1
26978992010,6cyclictest24212-21sendmail1
26978992010,2cyclictest111rcu_preempt1
26978992010,2cyclictest111rcu_preempt1
26973992016,2cyclictest22453-21/usr/sbin/munin0
26973992015,3cyclictest9265-21/usr/sbin/munin0
26973992015,3cyclictest30363-21/usr/sbin/munin0
26973992015,3cyclictest2745-21ls0
26973992014,4cyclictest27795-21seq0
26973992014,4cyclictest2713-21sh0
26973992014,4cyclictest21377-21seq0
26973992014,4cyclictest20709-21cat0
26973992013,4cyclictest12120-21sh0
26973992010,5cyclictest31731-21apt-get0
156182200,1sleep115616-21apt-get1
2698499199,6cyclictest20387-21apt-get3
26984991914,3cyclictest7680-21expr3
26984991914,3cyclictest28320-21expr3
26984991914,3cyclictest24909-21date3
26984991911,6cyclictest21657-21munin-run3
26984991910,5cyclictest12757-21cpuspeed_turbos3
2697899194,7cyclictest21-21ksoftirqd/11
2697899194,6cyclictest665-21runrttasks1
2697899194,3cyclictest111rcu_preempt1
2697899193,9cyclictest28948-21apt-get1
2697899192,9cyclictest0-21swapper/11
2697899192,2cyclictest111rcu_preempt1
26978991914,3cyclictest318-21/usr/sbin/munin1
26978991914,3cyclictest21-21ksoftirqd/11
26978991914,3cyclictest18850-21cpuspeed1
26978991914,3cyclictest18375-21/usr/sbin/munin1
26978991914,3cyclictest14308-21sed1
26978991913,4cyclictest29252-21grep1
26978991912,4cyclictest21504-21cut1
26973991915,2cyclictest8786-21df0
26973991915,2cyclictest8786-21df0
26973991915,2cyclictest3822-21/usr/sbin/munin0
26973991915,2cyclictest26462-21/usr/sbin/munin0
26973991915,2cyclictest20612-21/usr/sbin/munin0
26973991914,3cyclictest637-21sed0
26973991914,3cyclictest6107-21idleruntime-cro0
26973991914,3cyclictest32543-21seq0
26973991914,3cyclictest25965-21seq0
26973991914,3cyclictest25965-21seq0
26973991914,3cyclictest24362-21seq0
26973991914,3cyclictest20444-21ls0
26973991914,3cyclictest19576-21cat0
26973991914,3cyclictest18774-21sed0
26973991914,3cyclictest16714-21cat0
26973991914,3cyclictest1575-21expr0
26973991914,3cyclictest13757-21http0
26973991913,4cyclictest29999-21cat0
26973991913,4cyclictest27589-21grep0
26973991913,4cyclictest27589-21grep0
26973991913,4cyclictest20802-21cat0
26973991913,4cyclictest15885-21seq0
26973991913,4cyclictest15885-21seq0
26973991913,4cyclictest15247-21seq0
26973991913,4cyclictest14578-21cat0
26973991912,4cyclictest18629-21cat0
2697399191,15cyclictest3954-21apt-get0
2697899183,12cyclictest20220-21tr1
2697899182,10cyclictest21-21ksoftirqd/11
26978991814,2cyclictest21-21ksoftirqd/11
26978991813,3cyclictest9945-21/usr/sbin/munin1
26978991813,3cyclictest27462-21cat1
26978991813,3cyclictest23136-21sed1
26978991813,3cyclictest21-21ksoftirqd/11
26978991811,4cyclictest7980-21cut1
26978991811,4cyclictest4540-21sort1
2697899180,16cyclictest0-21swapper/11
2697399189,3cyclictest1218-21awk0
26973991816,1cyclictest0-21swapper/00
26973991814,2cyclictest9-21ksoftirqd/00
26973991814,2cyclictest7952-21/usr/sbin/munin0
26973991814,2cyclictest32389-21/usr/sbin/munin0
26973991814,2cyclictest22901-21/usr/sbin/munin0
26973991814,2cyclictest22901-21/usr/sbin/munin0
26973991813,3cyclictest9-21ksoftirqd/00
26973991813,3cyclictest7767-21expr0
26973991813,3cyclictest4911-21seq0
26973991813,3cyclictest32329-21seq0
26973991813,3cyclictest23791-21cut0
26973991813,3cyclictest12445-21/usr/sbin/munin0
26973991813,3cyclictest11633-21cat0
26973991812,4cyclictest29011-21cat0
26973991812,4cyclictest16747-21ls0
26973991810,5cyclictest5543-21grep0
2697899176,3cyclictest111rcu_preempt1
2697399177,8cyclictest7883-21sendmail0
26973991715,1cyclictest0-21swapper/00
26973991713,2cyclictest1928-21/usr/sbin/munin0
26973991712,3cyclictest27964-21/usr/sbin/munin0
26973991711,4cyclictest16445-21date0
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional