You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2023-11-28 - 20:42
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rack9slot2 (updated Tue Nov 28, 2023 12:43:24)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
246222309236,61sleep20-21swapper/22
2576099276271,3cyclictest30264-21cron3
252962258186,24sleep00-21swapper/00
245012256213,30sleep10-21swapper/11
2574599239232,4cyclictest30269-21munin-run0
254362228191,24sleep30-21swapper/33
2575099215207,4cyclictest2082-21systemd-journal1
1236721670,4sleep22575499cyclictest2
2220921450,3sleep10-21swapper/11
2398721260,4sleep12575099cyclictest1
2575499105100,3cyclictest30272-21cron2
261382560,1sleep00-21swapper/00
32322540,1sleep20-21swapper/22
87232500,2sleep28730-21gltestperf2
21542460,3sleep20-21swapper/22
118022450,1sleep30-21swapper/33
2574599431,27cyclictest483-21/usr/sbin/munin0
2574599421,25cyclictest19705-21cut0
249172400,1sleep30-21swapper/33
25745993810,16cyclictest665-21runrttasks0
235642370,4sleep323567-21latency3
2574599364,17cyclictest0-21swapper/00
2574599361,21cyclictest31220-21latency_hist0
2574599352,30cyclictest26956-21tail0
2574599336,15cyclictest14654-21telnet0
2574599313,22cyclictest6534-21apt-get0
2574599312,26cyclictest21516-21kernelversion0
2574599312,22cyclictest27682-21apt-get0
2574599312,21cyclictest19420-21apt-get0
25745993114,14cyclictest3301-21/usr/sbin/munin0
2574599303,22cyclictest6229-21apt-get0
2574599302,21cyclictest8525-21apt-get0
2574599302,21cyclictest8525-21apt-get0
2574599302,21cyclictest13394-21apt-get0
2574599301,24cyclictest24527-21ntpq0
2574599301,22cyclictest9325-21apt-get0
2574599297,18cyclictest12898-21unixbench-2d0
2574599292,21cyclictest12532-21apt-get0
2574599291,24cyclictest16531-21ntpq0
2574599291,22cyclictest25188-21apt-get0
2574599291,22cyclictest22891-21apt-get0
2574599290,3cyclictest5791-21memory0
2576099280,13cyclictest268192sed3
2575499289,3cyclictest16310-21idleruntime-cro2
2574599282,23cyclictest12794-21grep0
2574599282,21cyclictest1318-21apt-get0
25745992813,12cyclictest17902-21cpuspeed_turbos0
2574599281,24cyclictest4436-21grep0
2574599281,23cyclictest26628-21ntp_states0
2574599281,22cyclictest9951-21munin-run0
2574599281,22cyclictest9077-21basename0
2574599281,22cyclictest2786-21cron0
2574599281,21cyclictest22886-21apt-get0
2574599281,21cyclictest17414-21apt-get0
25745992811,14cyclictest665-21runrttasks0
2574599280,2cyclictest20078-21df0
2576099270,12cyclictest46332unixbench_singl3
2574599279,14cyclictest12187-21sed0
2574599275,19cyclictest23817-21cut0
2574599272,19cyclictest0-21swapper/00
2574599272,19cyclictest0-21swapper/00
2574599272,19cyclictest0-21swapper/00
2574599272,19cyclictest0-21swapper/00
2574599271,23cyclictest31868-21unixbench_multi0
2574599271,22cyclictest422-21awk0
2574599271,22cyclictest22035-21tr0
2574599270,3cyclictest13977-21cstates0
2574599270,2cyclictest819-21sed0
2574599270,23cyclictest18309-21sendmail0
2574599270,1cyclictest0-21swapper/00
2574599270,1cyclictest0-21swapper/00
2574599263,21cyclictest665-21runrttasks0
2574599262,19cyclictest5312-21apt-get0
2574599262,19cyclictest29774-21ntp_states0
2574599262,19cyclictest18565-21apt-get0
25745992613,11cyclictest15394-21/usr/sbin/munin0
2574599261,21cyclictest27732-21munin-node0
2574599261,21cyclictest14815-21grep0
2574599261,20cyclictest29806-21aten2_r9power_e0
2574599261,20cyclictest0-21swapper/00
2574599261,19cyclictest501-21apt-get0
2574599261,19cyclictest10540-21apt-get0
2574599260,2cyclictest12040-21chrt0
249062260,1sleep10-21swapper/11
2574599251,21cyclictest4802-21grep0
2574599250,1cyclictest7081-21apt-get0
250862250,2sleep22575499cyclictest2
25754992416,5cyclictest505-21dbus-daemon2
2575499241,5cyclictest11082-21grep2
2574599241,20cyclictest4783-21cpuspeed_turbos0
25754992317,3cyclictest27479-21sendmail2
25754992315,5cyclictest10835-21munin-run2
25754992311,11cyclictest28-21ksoftirqd/22
25750992316,4cyclictest6253-21sh1
2575499224,16cyclictest15450-21cat2
2575499223,17cyclictest17206-21cat2
2575499223,16cyclictest5040-21latency_hist2
2575499222,19cyclictest0-21swapper/22
25754992216,4cyclictest13382-21sh2
2575499221,5cyclictest22599-21sendmail2
2575099222,7cyclictest21-21ksoftirqd/11
2575099222,6cyclictest21-21ksoftirqd/11
2575099221,6cyclictest21-21ksoftirqd/11
25750992215,4cyclictest5293-21timerwakeupswit1
2575099220,6cyclictest3047-21taskset1
25760992116,3cyclictest28528-21processes3
25760992115,4cyclictest26353-21df3
25760992115,4cyclictest15464-21open_inodes3
2576099211,3cyclictest17153-21grep3
2575499211,4cyclictest8890-1kworker/2:1H2
25754992114,5cyclictest1054-21idleruntime-cro2
2575499211,3cyclictest8890-1kworker/2:1H2
2575499211,3cyclictest14318-21sendmail-mta2
25754992113,5cyclictest505-21dbus-daemon2
2575499211,18cyclictest20291-21latency_hist2
2575499211,17cyclictest29648-1kworker/2:0H2
2575499211,17cyclictest24627-21idleruntime-cro2
2575499210,3cyclictest17415-21grep2
2575099217,3cyclictest111rcu_preempt1
2575099215,6cyclictest21-21ksoftirqd/11
2575099215,5cyclictest21-21ksoftirqd/11
2575099213,5cyclictest21-21ksoftirqd/11
2575099212,6cyclictest21-21ksoftirqd/11
2575099212,6cyclictest21-21ksoftirqd/11
2575099212,16cyclictest19397-21sh1
25750992118,2cyclictest201rcuc/11
25750992118,2cyclictest201rcuc/11
25750992118,2cyclictest201rcuc/11
25750992118,2cyclictest201rcuc/11
25750992118,2cyclictest201rcuc/11
25750992117,3cyclictest201rcuc/11
2575099211,6cyclictest21-21ksoftirqd/11
2575099211,6cyclictest20831-21taskset1
2575099211,5cyclictest21-21ksoftirqd/11
25750992115,4cyclictest17739-21ls1
25750992115,4cyclictest1278-21seq1
25750992114,4cyclictest15412-21apt-get1
2575099210,6cyclictest8055-21seq1
2575099210,6cyclictest16283-21taskset1
2575099210,6cyclictest13917-21taskset1
2575099210,18cyclictest20385-21sed1
202392210,1sleep10-21swapper/11
25760992015,3cyclictest9310-21find3
25760992015,3cyclictest878-21ls3
25760992015,3cyclictest31966-21swap3
25760992015,3cyclictest30591-21ntp_kernel_pll_3
25760992015,3cyclictest18855-21/usr/sbin/munin3
25760992015,3cyclictest17790-21ls3
25760992015,3cyclictest10311-21unixbench-2d3
25760992014,4cyclictest6463-21seq3
25760992014,4cyclictest30645-21seq3
25760992014,4cyclictest25783-21sh3
2575499203,14cyclictest2303-21wc2
2575499202,16cyclictest31083-21cut2
25754992015,3cyclictest1678-21sed2
25754992014,4cyclictest25072-21grep2
25754992014,4cyclictest19944-21cut2
2575499201,3cyclictest18832-1kworker/2:1H2
25754992013,4cyclictest11175-21sort2
2575499201,17cyclictest30163-1kworker/2:2H2
2575499201,17cyclictest23438-21latency_hist2
2575499201,17cyclictest18306-21idleruntime-cro2
2575499200,18cyclictest3341-21tr2
2575499200,17cyclictest414-21cat2
2575099204,5cyclictest21-21ksoftirqd/11
2575099203,5cyclictest21-21ksoftirqd/11
25750992017,2cyclictest201rcuc/11
25750992017,2cyclictest201rcuc/11
25750992017,2cyclictest201rcuc/11
2575099201,6cyclictest21-21ksoftirqd/11
2575099201,6cyclictest21-21ksoftirqd/11
2575099201,6cyclictest21-21ksoftirqd/11
25750992016,3cyclictest201rcuc/11
25750992016,3cyclictest201rcuc/11
25750992016,3cyclictest201rcuc/11
25750992015,3cyclictest2451-21seq1
25750992014,4cyclictest665-21runrttasks1
25750992014,4cyclictest29296-21date1
25750992014,3cyclictest11753-21timerwakeupswit1
25750992013,4cyclictest11975-21cat1
2575099200,6cyclictest21-21ksoftirqd/11
2575099200,6cyclictest21-21ksoftirqd/11
25760991916,2cyclictest0-21swapper/33
25760991915,2cyclictest15745-21aten2_r9power_p3
25760991915,2cyclictest11860-21unixbench_singl3
25760991914,3cyclictest5293-21/usr/sbin/munin3
25760991914,3cyclictest4004-21cat3
25760991914,3cyclictest27756-21ntp_kernel_pll_3
25760991914,3cyclictest20098-21entropy3
25760991914,3cyclictest18271-21if_err_enp3s03
25760991914,3cyclictest16695-21sh3
25760991914,3cyclictest14247-21if_err_enp2s03
25760991913,4cyclictest6141-21cat3
25760991913,4cyclictest2866-21date3
25760991913,3cyclictest7717-21cat3
2575499199,6cyclictest4514-21apt-get2
25754991915,2cyclictest27671-21latency_hist2
25754991914,3cyclictest9946-21cron2
25754991914,3cyclictest5035-21/usr/sbin/munin2
25754991914,3cyclictest29472-21latency_hist2
25754991914,3cyclictest27405-21latency_hist2
25754991914,3cyclictest20595-21cron2
25754991914,3cyclictest18988-21awk2
25754991914,3cyclictest15769-21sed2
25754991913,4cyclictest8814-21turbostat.cron2
25754991913,4cyclictest6020-21sed2
25754991913,4cyclictest27513-21hostname2
25754991912,4cyclictest30641-21sendmail2
25754991912,4cyclictest16825-21apt-get2
2575499191,16cyclictest8890-1kworker/2:1H2
2575499191,15cyclictest10333-21gdbus2
2575499190,3cyclictest14317-1kworker/2:3H2
2575499190,3cyclictest11839-1kworker/2:2H2
2575499190,17cyclictest0-21swapper/22
2575499190,16cyclictest26839-21cat2
2575099192,5cyclictest21-21ksoftirqd/11
25750991916,2cyclictest201rcuc/11
25750991916,2cyclictest201rcuc/11
25750991916,2cyclictest201rcuc/11
25750991916,2cyclictest201rcuc/11
25750991916,2cyclictest201rcuc/11
25750991915,3cyclictest201rcuc/11
25750991915,3cyclictest201rcuc/11
25750991914,3cyclictest6210-21/usr/sbin/munin1
25750991914,3cyclictest32592-21aten2_r9power_e1
25750991914,3cyclictest11376-21/usr/sbin/munin1
25750991913,4cyclictest8107-21wc1
25750991913,4cyclictest26769-21seq1
25750991913,3cyclictest22998-21aten2_r9power_v1
2575099190,6cyclictest21-21ksoftirqd/11
25760991814,2cyclictest3039-21latency_hist3
25760991814,2cyclictest29480-21/usr/sbin/munin3
25760991814,2cyclictest0-21swapper/33
25760991813,3cyclictest740-21irqstats3
25760991813,3cyclictest3550-21gltestperf3
25760991813,3cyclictest32156-21expr3
25760991813,3cyclictest23313-21sh3
25760991813,3cyclictest22839-21cut3
25760991813,3cyclictest21239-21expr3
25760991813,3cyclictest20136-21cat3
25760991813,3cyclictest17517-21kernelversion3
25760991813,3cyclictest11680-21sh3
25760991812,4cyclictest8811-21expr3
25760991812,4cyclictest8811-21expr3
25760991812,4cyclictest8218-21apt3
25760991812,4cyclictest22094-21cat3
25760991812,4cyclictest16365-21date3
2576099181,16cyclictest0-21swapper/33
25754991813,3cyclictest8961-21cat2
25754991813,3cyclictest8961-21cat2
25754991813,3cyclictest30194-21sed2
25754991813,3cyclictest28625-21cron2
25754991812,4cyclictest1938-21cat2
25754991811,4cyclictest25393-21cron2
2576099172,9cyclictest25743-21apt-get3
25760991715,1cyclictest0-21swapper/33
25760991715,1cyclictest0-21swapper/33
25760991713,2cyclictest7335-21needreboot3
25760991713,2cyclictest29419-21tail3
25760991713,2cyclictest21637-21/usr/sbin/munin3
25760991713,2cyclictest11578-21gzip3
25760991712,3cyclictest5614-21cat3
25760991712,3cyclictest30543-21/usr/sbin/munin3
25760991712,3cyclictest28076-21cat3
25760991712,3cyclictest14254-21cron3
25760991712,3cyclictest12907-21cat3
25760991711,4cyclictest29556-21cat3
25760991711,4cyclictest24473-21memory3
25754991713,2cyclictest22962-21aten2_r9power_p2
25754991711,4cyclictest21104-21cpuspeed_turbos2
2576099163,11cyclictest6771-21ls3
25760991510,3cyclictest3140-21if_err_enp3s03
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional