You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2024-09-19 - 22:17
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 792 highest latencies:
System rack9slot2.osadl.org (updated Thu Sep 19, 2024 12:43:24)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
153852289196,57sleep20-21swapper/22
1584899286282,2cyclictest0-21swapper/11
1584899286282,2cyclictest0-21swapper/11
156202257184,25sleep00-21swapper/00
155792257183,26sleep10-21swapper/11
156132229192,24sleep30-21swapper/33
1585699183179,2cyclictest0-21swapper/33
1585699183179,2cyclictest0-21swapper/33
1585299139133,4cyclictest20046-21strings2
1585299139133,4cyclictest20046-21strings2
1584299131127,2cyclictest0-21swapper/00
1584299131127,2cyclictest0-21swapper/00
817721030,4sleep11584899cyclictest1
314022520,1sleep00-21swapper/00
273722520,5sleep31585699cyclictest3
119172420,1sleep00-21swapper/00
119432410,1sleep30-21swapper/33
61452400,1sleep00-21swapper/00
115422400,1sleep10-21swapper/11
15856993311,19cyclictest6222-21ntp_kernel_pll_3
15856993310,19cyclictest505-21dbus-daemon3
15856993210,19cyclictest22190-21cat3
1585699312,23cyclictest54852sleep33
15856993116,12cyclictest29333-21idleruntime-cro3
15856993115,13cyclictest22137-21kernelversion3
1585699300,4cyclictest1104-21apt-get3
1585699299,17cyclictest7403-21aten2_r9power_c3
1585699291,25cyclictest29916-21apt-get3
1585299298,4cyclictest28-21ksoftirqd/22
1585699282,6cyclictest23589-21apt-get3
1585699281,4cyclictest0-21swapper/33
15856992811,14cyclictest19650-21cpuspeed_turbos3
15852992814,7cyclictest28-21ksoftirqd/22
1585699278,16cyclictest270682chrt3
1585699272,7cyclictest27240-21chrt3
1585699272,4cyclictest0-21swapper/33
1585699272,4cyclictest0-21swapper/33
1585699271,4cyclictest0-21swapper/33
15848992721,4cyclictest16740-21df1
1585699268,15cyclictest14959-21apt-key3
1585699266,17cyclictest20299-21needreboot3
1585699264,4cyclictest10333-21gdbus3
1585699262,6cyclictest31911-21apt-get3
1585699261,5cyclictest25228-21munin-run3
1585699261,4cyclictest0-21swapper/33
15856992612,4cyclictest8852-21latency_hist3
15856992610,13cyclictest1694-21cstates3
1585299268,4cyclictest28-21ksoftirqd/22
15852992613,4cyclictest28-21ksoftirqd/22
1585699259,3cyclictest24092-21cat3
1585699258,3cyclictest5765-21kernelversion3
1585699258,2cyclictest12663-21latency_hist3
1585699257,3cyclictest86082chrt3
1585699256,4cyclictest24608-21vmstat3
1585699256,4cyclictest14347-21pmu-power3
1585699256,3cyclictest721-21cat3
1585699254,4cyclictest13145-21idleruntime-cro3
1585699253,5cyclictest13510-21apt-get3
1585699252,5cyclictest509-21systemd-logind3
1585699252,5cyclictest27534-21apt-get3
1585699252,5cyclictest13255-21apt-get3
1585699252,4cyclictest17314-21munin-run3
1585699252,3cyclictest0-21swapper/33
1585699251,6cyclictest15400-21apt-get3
104942250,1sleep20-21swapper/22
1585699248,2cyclictest29904-21idleruntime3
1585699246,3cyclictest5585-21latency3
1585699242,5cyclictest4835-21cron3
1585699242,4cyclictest3355-21apt-get3
1585699242,4cyclictest11486-21apt-get3
1585699241,8cyclictest10776-21grep3
1585699241,6cyclictest31302-21cron3
1585699241,5cyclictest4660-21ls3
1585699241,5cyclictest31560-21aten2_r9power_e3
1585699241,5cyclictest31560-21aten2_r9power_e3
1585699241,5cyclictest27013-21latency_hist3
1585699241,5cyclictest19248-21wc3
1585699241,4cyclictest9220-21munin-run3
1585699241,4cyclictest32171-21/usr/sbin/munin3
15852992410,11cyclictest9357-21date2
1585299240,4cyclictest28-21ksoftirqd/22
1584299245,16cyclictest21603-21basename0
15842992414,5cyclictest29252-21sendmail0
1585699236,3cyclictest10864-21cron3
1585699233,5cyclictest2709-21sed3
1585699232,4cyclictest21549-21apt-get3
1585699231,6cyclictest0-21swapper/33
1585699231,5cyclictest30252-21wc3
1585699231,4cyclictest21341-21perf3
1585699231,4cyclictest10692-21basename3
1585299239,12cyclictest13108-21latency_hist2
1585299234,17cyclictest28984-21latency_hist2
1585299233,18cyclictest21349-21sendmail2
1585299232,18cyclictest17198-21latency_hist2
15852992317,3cyclictest28-21ksoftirqd/22
15852992317,3cyclictest17266-21munin-run2
15852992316,3cyclictest28-21ksoftirqd/22
15848992316,4cyclictest30959-21seq1
1584299233,4cyclictest9-21ksoftirqd/00
1584299231,4cyclictest9-21ksoftirqd/00
15842992314,5cyclictest17342-21idleruntime-cro0
15842992311,10cyclictest18439-21ntpq0
212562220,5sleep21585299cyclictest2
1585699221,5cyclictest17528-21apt-get3
1585699220,6cyclictest0-21swapper/33
1585299225,15cyclictest19267-21munin-run2
1585299223,4cyclictest28-21ksoftirqd/22
1585299223,17cyclictest824-21cat2
1585299222,3cyclictest0-21swapper/22
15852992216,3cyclictest19507-21acpi2
15852992210,3cyclictest28-21ksoftirqd/22
15848992216,4cyclictest682-21sed1
15842992214,5cyclictest1-21systemd0
15842992214,5cyclictest11148-21basename0
1585699214,2cyclictest0-21swapper/33
1585299219,3cyclictest28-21ksoftirqd/22
1585299212,17cyclictest9098-21cat2
1585299212,17cyclictest31094-21latency_hist2
15852992116,3cyclictest271rcuc/22
15852992115,4cyclictest7301-21cat2
15852992115,4cyclictest6656-21munin-plugin-st2
15852992114,4cyclictest9803-21cat2
15852992114,4cyclictest26148-21basename2
15852992112,2cyclictest111rcu_preempt2
1585299211,18cyclictest29329-21munin-run2
15852992110,3cyclictest28-21ksoftirqd/22
15852992110,2cyclictest111rcu_preempt2
15852992110,2cyclictest111rcu_preempt2
1585299210,18cyclictest1221-21basename2
15848992115,4cyclictest5238-21cat1
15848992115,4cyclictest4304-21seq1
15848992115,4cyclictest21-21ksoftirqd/11
15848992115,3cyclictest22092-21grep1
1584299214,4cyclictest9-21ksoftirqd/00
15842992116,3cyclictest9-21ksoftirqd/00
15842992115,4cyclictest26690-21sed0
15842992115,3cyclictest2082-21systemd-journal0
15842992115,3cyclictest18777-21grep0
1584299211,4cyclictest9-21ksoftirqd/00
1584299211,16cyclictest1081-21apt-key0
1584299211,16cyclictest1081-21apt-key0
80292200,1sleep10-21swapper/11
1585299209,2cyclictest28-21ksoftirqd/22
15852992016,2cyclictest25251-21perf2
15852992015,3cyclictest2903-21http2
15852992015,3cyclictest271rcuc/22
15852992015,3cyclictest22710-21threads2
15852992015,3cyclictest2155-21swap2
1585299201,4cyclictest5192-21cron2
15852992014,4cyclictest5184-21cut2
15852992014,4cyclictest19855-21cat2
15852992013,4cyclictest10962-21seq2
15852992010,6cyclictest11381-21apt-get2
1585299200,17cyclictest4901-21latency_hist2
1585299200,17cyclictest0-21swapper/22
15848992017,2cyclictest0-21swapper/11
15848992015,3cyclictest31334-21/usr/sbin/munin1
15848992015,3cyclictest27276-21cat1
15848992015,3cyclictest26357-21timerandwakeup1
15848992015,3cyclictest20826-21unixbench-2d1
15848992015,3cyclictest19504-21/usr/sbin/munin1
15848992014,4cyclictest21906-21ls1
15848992014,4cyclictest1695-21seq1
15848992014,3cyclictest1924-21processes1
15848992013,4cyclictest9331-21df1
15848992011,5cyclictest1362-21apt-get1
1584899200,17cyclictest18011-21grep1
15842992015,3cyclictest3437-21/usr/sbin/munin0
15842992015,3cyclictest30426-21ntp_offset0
15842992015,3cyclictest27217-21acpi0
15842992014,4cyclictest2787-21sed0
15842992014,4cyclictest12744-21uptime0
15842992013,5cyclictest505-21dbus-daemon0
15842992013,4cyclictest23354-21perf0
15842992012,5cyclictest12881-21sendmail0
1585299197,3cyclictest111rcu_preempt2
1585299195,4cyclictest665-21runrttasks2
1585299193,9cyclictest17583-21apt-get2
1585299192,3cyclictest111rcu_preempt2
1585299191,5cyclictest0-21swapper/22
15852991915,2cyclictest21167-21munin-run2
15852991914,3cyclictest3346-21date2
15852991914,3cyclictest28-21ksoftirqd/22
15852991914,3cyclictest24754-21sed2
15852991913,4cyclictest7486-21cat2
15852991913,4cyclictest27815-21cat2
15852991912,4cyclictest31248-21idleruntime-cro2
15852991912,4cyclictest1458-21basename2
15852991912,4cyclictest13835-21diskstats2
1584899197,10cyclictest29286-21dump-pmu-power1
1584899193,8cyclictest15499-21apt-get1
15848991915,2cyclictest6892-21/usr/sbin/munin1
15848991914,3cyclictest5928-21needreboot1
15848991914,3cyclictest3994-21expr1
15848991914,3cyclictest32467-21which1
15848991914,3cyclictest32467-21which1
15848991914,3cyclictest31243-21unixbench_singl1
15848991914,3cyclictest24269-21sed1
15848991914,3cyclictest23223-21/usr/sbin/munin1
15848991914,3cyclictest22377-21ntp_states1
15848991914,3cyclictest21350-21date1
15848991914,3cyclictest13391-21/usr/sbin/munin1
15848991913,4cyclictest494-21seq1
15848991913,4cyclictest4633-21seq1
15848991913,4cyclictest31438-21date1
15848991913,4cyclictest28976-21sh1
15848991913,4cyclictest26320-21cat1
15848991913,4cyclictest17184-21seq1
15848991913,4cyclictest15100-21seq1
15848991913,4cyclictest12658-21seq1
15848991913,4cyclictest10587-21seq1
15848991913,3cyclictest13566-21expr1
15848991911,5cyclictest6440-21sed1
1584899190,17cyclictest18513-21rt-features1
1584899190,17cyclictest0-21swapper/11
1584299193,4cyclictest9-21ksoftirqd/00
1584299191,9cyclictest111rcu_preempt0
15842991915,2cyclictest19504-21/usr/sbin/munin0
15842991914,3cyclictest9-21ksoftirqd/00
15842991914,3cyclictest9-21ksoftirqd/00
15842991914,3cyclictest7181-21sh0
15842991914,3cyclictest5821-21gltestperf0
15842991914,3cyclictest29517-21sed0
15842991914,3cyclictest2853-21sed0
15842991913,4cyclictest25445-21grep0
15842991913,4cyclictest21970-21tail0
15842991913,4cyclictest16094-21cat0
15842991912,4cyclictest8310-21pmu-power0
15842991912,4cyclictest3382-21cut0
1585299188,2cyclictest111rcu_preempt2
1585299182,9cyclictest17481-21apt-get2
15852991813,3cyclictest25903-21expr2
15852991812,4cyclictest22644-21timerandwakeup2
15848991816,1cyclictest0-21swapper/11
15848991814,2cyclictest9462-21/usr/sbin/munin1
15848991814,2cyclictest29489-21/usr/sbin/munin1
15848991814,2cyclictest2611-21timerandwakeup1
15848991814,2cyclictest23475-21/usr/sbin/munin1
15848991813,3cyclictest665-21runrttasks1
15848991813,3cyclictest29367-21cat1
15848991813,3cyclictest25147-21seq1
15848991813,3cyclictest18932-21seq1
15848991813,3cyclictest17565-21/usr/sbin/munin1
15848991813,3cyclictest15382-21/usr/sbin/munin1
15848991813,3cyclictest12347-21seq1
15848991813,2cyclictest25679-21cpu1
15848991812,4cyclictest9637-21expr1
15848991812,3cyclictest16718-21grep1
15842991813,3cyclictest665-21runrttasks0
15842991813,3cyclictest665-21runrttasks0
15842991813,3cyclictest505-21dbus-daemon0
15842991813,3cyclictest32746-21nfs4_client0
15842991813,3cyclictest20465-21ntp_states0
15842991813,3cyclictest18564-21switchtime0
15842991813,3cyclictest15827-21expr0
15842991813,3cyclictest14283-21uname0
15842991812,4cyclictest30179-21wc0
15842991812,4cyclictest25226-21latency_hist0
15842991812,3cyclictest2423-21expr0
15842991811,4cyclictest27834-21cpuspeed_turbos0
15842991810,5cyclictest16348-21cut0
15842991810,5cyclictest0-21swapper/00
15848991714,2cyclictest0-21swapper/11
15848991712,3cyclictest5463-21acpi1
15848991712,3cyclictest14402-21cat1
15842991713,2cyclictest9462-21/usr/sbin/munin0
15842991713,2cyclictest4075-21timerwakeupswit0
15842991712,3cyclictest665-21runrttasks0
15842991712,3cyclictest32086-21basename0
15842991712,3cyclictest13112-21apt-key0
15842991711,4cyclictest6183-21wc0
15842991711,4cyclictest505-21dbus-daemon0
15842991711,4cyclictest21176-21cron0
1584299163,7cyclictest9125-21apt-get0
15842991611,3cyclictest21215-21latency_hist0
15842991610,4cyclictest21920-21latency0
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional