You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2024-04-23 - 09:02
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rack9slot2.osadl.org (updated Tue Apr 23, 2024 00:43:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
325922306269,25sleep10-21swapper/11
325762304267,24sleep00-21swapper/00
324452270178,77sleep30-21swapper/33
48599269263,3cyclictest28695-21snmpd0
327242267228,26sleep20-21swapper/22
3012821560,2sleep048599cyclictest0
50299149143,4cyclictest7315-21idleruntime-cro3
48999123117,3cyclictest7327-21perf1
49799106101,3cyclictest7307-21munin-run2
21112470,1sleep00-21swapper/00
209602440,2sleep10-21swapper/11
33102430,2sleep10-21swapper/11
50299381,9cyclictest11895-21dpkg3
50299332,10cyclictest28261-21latency_hist3
50299323,10cyclictest31694-21grep3
50299312,5cyclictest341rcuc/33
50299301,10cyclictest27508-21sed3
50299281,9cyclictest22472-21aten2_r9power_e3
49799288,18cyclictest0-21swapper/22
50299273,6cyclictest17237-21sed3
50299271,10cyclictest23684-21sed3
126962270,3sleep335-21ksoftirqd/33
50299262,9cyclictest15348-21dump-pmu-power3
50299262,6cyclictest0-21swapper/33
50299261,6cyclictest35-21ksoftirqd/33
50299260,5cyclictest341rcuc/33
49799263,21cyclictest25377-21awk2
489992614,3cyclictest21-21ksoftirqd/11
50299252,7cyclictest35-21ksoftirqd/33
50299252,6cyclictest341rcuc/33
50299252,14cyclictest12926-21pmu-power3
49799257,2cyclictest111rcu_preempt2
48999251,4cyclictest21-21ksoftirqd/11
50299244,5cyclictest9994-21df3
50299243,6cyclictest26081-21taskset3
49799242,4cyclictest20399-21apt-get2
489992413,3cyclictest21-21ksoftirqd/11
489992412,3cyclictest21-21ksoftirqd/11
276542240,3sleep1201rcuc/11
50299234,5cyclictest1574-21sshd3
50299232,6cyclictest5077-21grep3
502992318,2cyclictest3559-21sh3
49799234,17cyclictest5898-21cat2
497992317,4cyclictest505-21dbus-daemon2
49799231,20cyclictest0-21swapper/22
49799231,19cyclictest21336-21munin-run2
48999239,2cyclictest111rcu_preempt1
489992318,3cyclictest6473-21cut1
489992317,3cyclictest22156-21sh1
48999231,4cyclictest21-21ksoftirqd/11
50299223,12cyclictest28383-21taskset3
50299222,7cyclictest35-21ksoftirqd/33
50299222,6cyclictest35-21ksoftirqd/33
50299222,6cyclictest341rcuc/33
50299221,7cyclictest0-21swapper/33
502992215,5cyclictest24327-21wc3
50299220,9cyclictest35-21ksoftirqd/33
50299220,20cyclictest20316-21kworker/3:03
49799222,18cyclictest1812-21awk2
497992216,3cyclictest11209-21vmstat2
497992215,4cyclictest28381-21cut2
497992215,4cyclictest26235-21idleruntime-cro2
497992215,4cyclictest1180-21seq2
49799221,3cyclictest5350-21users2
48999223,3cyclictest21-21ksoftirqd/11
489992218,2cyclictest21-21ksoftirqd/11
489992217,3cyclictest21-21ksoftirqd/11
489992215,4cyclictest28125-21head1
489992215,4cyclictest20140-21sh1
489992210,2cyclictest111rcu_preempt1
48999220,3cyclictest21-21ksoftirqd/11
485992217,3cyclictest9-21ksoftirqd/00
50299217,12cyclictest0-21swapper/33
50299217,12cyclictest0-21swapper/33
50299212,6cyclictest4171-21aten2_r9power_v3
50299212,6cyclictest35-21ksoftirqd/33
50299212,6cyclictest35-21ksoftirqd/33
50299212,6cyclictest35-21ksoftirqd/33
50299212,6cyclictest35-21ksoftirqd/33
50299211,5cyclictest0-21swapper/33
49799219,10cyclictest16205-21date2
497992117,2cyclictest30514-21aten2_r9power_c2
497992116,3cyclictest20675-21ls2
497992116,3cyclictest16704-21idleruntime2
497992114,4cyclictest23570-21timerandwakeup2
49799211,17cyclictest32139-21munin-run2
489992117,3cyclictest21-21ksoftirqd/11
489992115,4cyclictest12995-21ntpq1
489992110,3cyclictest21-21ksoftirqd/11
48999210,4cyclictest0-21swapper/11
485992116,3cyclictest9-21ksoftirqd/00
485992115,4cyclictest6181-21expr0
485992115,4cyclictest27125-21memory0
485992115,4cyclictest24443-21seq0
485992114,4cyclictest5145-21seq0
326032210,2sleep20-21swapper/22
50299201,6cyclictest35-21ksoftirqd/33
50299201,6cyclictest35-21ksoftirqd/33
50299201,5cyclictest28170-21latency_hist3
50299201,5cyclictest0-21swapper/33
502992015,3cyclictest18566-21ls3
502992014,4cyclictest9887-21cat3
502992014,3cyclictest25344-21ntpq3
502992014,3cyclictest16841-21unixbench-2d3
502992014,3cyclictest10993-21ps3
49799202,17cyclictest13343-21awk2
49799201,7cyclictest22397-21apt-get2
497992016,2cyclictest3020-21swap2
497992015,3cyclictest26185-21if_enp2s02
497992015,3cyclictest18655-21cpuspeed_turbos2
497992015,3cyclictest13098-21ps2
497992015,3cyclictest1135-21cpuspeed2
497992014,4cyclictest23727-21grep2
497992014,4cyclictest2192-21grep2
497992014,4cyclictest1598-21seq2
497992014,4cyclictest14037-21apt-get2
497992014,3cyclictest31169-21memory2
49799201,3cyclictest19890-21munin-run2
497992013,4cyclictest9997-21df_inode2
497992013,4cyclictest4343-21idleruntime2
49799201,2cyclictest10333-21gdbus2
49799201,17cyclictest24483-1kworker/2:2H2
49799201,16cyclictest16777-21memory2
49799201,16cyclictest16777-21memory2
497992011,4cyclictest1805-21apt-get2
49799200,4cyclictest10333-21gdbus2
49799200,3cyclictest24483-1kworker/2:2H2
48999208,7cyclictest1967-21apt-get1
48999203,2cyclictest111rcu_preempt1
48999202,16cyclictest15789-21apt1
48999202,16cyclictest13774-21ls1
489992015,3cyclictest7986-21/usr/sbin/munin1
489992015,3cyclictest5842-21wc1
489992015,3cyclictest21-21ksoftirqd/11
489992015,2cyclictest10014-21aten2_r9power_c1
489992014,4cyclictest6728-21cut1
489992014,4cyclictest358-21df_inode1
485992015,3cyclictest3480-21seq0
485992015,3cyclictest29884-21seq0
485992015,3cyclictest20381-21/usr/sbin/munin0
485992015,3cyclictest11563-21acpi0
485992014,4cyclictest7700-21seq0
485992014,4cyclictest26400-21acpi0
485992014,4cyclictest16142-21sh0
485992014,4cyclictest11181-21sed0
485992014,3cyclictest32672-21missed_timers0
485992014,3cyclictest22908-21diskstats0
485992011,5cyclictest16161-21apt-get0
50299192,5cyclictest0-21swapper/33
502991917,1cyclictest0-21swapper/33
50299191,6cyclictest35-21ksoftirqd/33
50299191,5cyclictest0-21swapper/33
502991915,2cyclictest833-21ntp_offset3
502991915,2cyclictest6145-21cpu3
502991914,3cyclictest14747-21expr3
502991914,3cyclictest12684-21sed3
502991913,3cyclictest7205-21vmstat3
502991913,3cyclictest5942-21wc3
502991913,3cyclictest22157-21sh3
50299190,7cyclictest35-21ksoftirqd/33
497991915,2cyclictest3514-21ntp_states2
497991914,3cyclictest8589-21missed_timers2
497991914,3cyclictest27726-21unixbench_singl2
497991914,3cyclictest11056-21processes2
49799191,3cyclictest30204-21cron2
497991913,4cyclictest27584-21seq2
497991913,4cyclictest15994-21cut2
49799191,1cyclictest0-21swapper/22
49799191,16cyclictest26145-21perf2
49799190,3cyclictest24483-1kworker/2:2H2
49799190,17cyclictest0-21swapper/22
48999194,9cyclictest1262-21apt-get1
489991917,1cyclictest0-21swapper/11
489991915,2cyclictest29259-21ntp_states1
489991914,3cyclictest29611-21/usr/sbin/munin1
489991914,3cyclictest2700-21latency_hist1
489991914,3cyclictest21-21ksoftirqd/11
489991914,3cyclictest21-21ksoftirqd/11
489991914,3cyclictest17833-21sed1
489991914,3cyclictest17833-21sed1
489991914,3cyclictest12484-21sh1
489991913,4cyclictest9696-21hostname1
489991913,4cyclictest26296-21wc1
489991913,4cyclictest19092-21grep1
489991913,4cyclictest18136-21/usr/sbin/munin1
489991912,4cyclictest9563-21sendmail1
489991912,4cyclictest26166-21cat1
489991912,4cyclictest2239-21sort1
489991912,4cyclictest2082-21systemd-journal1
48999191,16cyclictest23400-21cut1
48599198,9cyclictest13868-21munin-run0
485991915,2cyclictest30407-21apt0
485991915,2cyclictest20323-21/usr/sbin/munin0
485991914,3cyclictest9802-21/usr/sbin/munin0
485991914,3cyclictest962-21pluginstate0
485991914,3cyclictest8066-21aten2.4-expect0
485991914,3cyclictest8043-21/usr/sbin/munin0
485991914,3cyclictest4826-21ntpq0
485991914,3cyclictest29837-21cat0
485991914,3cyclictest28414-21aten2_r9power_c0
485991914,3cyclictest26150-21sh0
485991914,3cyclictest23408-21processes0
485991914,3cyclictest18136-21/usr/sbin/munin0
485991914,3cyclictest1571-21apt-key0
485991914,3cyclictest15602-21http0
485991913,4cyclictest9908-21cat0
485991913,4cyclictest9151-21seq0
485991913,4cyclictest58150irq/130-enp2s00
485991913,4cyclictest58150irq/130-enp2s00
485991913,4cyclictest30397-21date0
485991913,4cyclictest27324-21seq0
485991913,4cyclictest22421-21hostname0
485991913,4cyclictest21332-21cron0
485991913,4cyclictest15950-21cat0
485991911,7cyclictest17796-21perf0
502991814,2cyclictest9083-21sed3
50299181,2cyclictest35-21ksoftirqd/33
502991812,4cyclictest30533-21cut3
502991812,3cyclictest10090-21aten2.4-expect3
50299181,1cyclictest0-21swapper/33
50299180,6cyclictest35-21ksoftirqd/33
49799182,14cyclictest0-21swapper/22
497991813,3cyclictest6376-21expr2
497991813,3cyclictest5807-21/usr/sbin/munin2
497991813,3cyclictest25783-21uptime2
497991813,3cyclictest22598-21ps2
497991813,3cyclictest16419-21aten2_r9power_c2
497991812,4cyclictest27190-21needreboot2
497991812,4cyclictest17095-21seq2
497991812,3cyclictest2846-21ntp_kernel_pll_2
497991811,4cyclictest17861-21grep2
49799180,2cyclictest31547-21apt-key2
48999186,3cyclictest111rcu_preempt1
48999183,9cyclictest7563-21apt-get1
489991814,2cyclictest10041-21/usr/sbin/munin1
489991813,3cyclictest4681-21ntp_states1
489991813,3cyclictest24397-21/usr/sbin/munin1
489991813,3cyclictest23557-21cat1
489991813,3cyclictest22401-21/usr/sbin/munin1
489991813,3cyclictest1382-21seq1
489991811,4cyclictest23671-21unixbench_multi1
489991810,5cyclictest2082-21systemd-journal1
485991813,3cyclictest8096-21expr0
485991813,3cyclictest665-21runrttasks0
485991813,3cyclictest6048-21/usr/sbin/munin0
485991813,3cyclictest5225-21cat0
485991813,3cyclictest4421-21cat0
485991813,3cyclictest371-21df0
485991813,3cyclictest18370-21date0
485991813,3cyclictest10381-21expr0
485991813,2cyclictest1701-21latency_hist0
485991812,4cyclictest3534-21seq0
485991812,4cyclictest32073-21seq0
485991812,4cyclictest25495-21cat0
485991812,4cyclictest24289-21grep0
485991812,4cyclictest15130-21cat0
485991811,5cyclictest21004-21cat0
502991712,3cyclictest15777-21latency_hist3
497991712,3cyclictest18470-21aten2.4-expect2
48999173,8cyclictest32484-21apt-get1
48999173,8cyclictest24393-21apt-get1
489991712,3cyclictest31038-21idleruntime1
489991712,3cyclictest18803-21sed1
485991712,3cyclictest665-21runrttasks0
485991712,3cyclictest16635-21cat0
485991712,3cyclictest14154-21cat0
485991712,3cyclictest12065-21aten2_r9power_e0
485991711,4cyclictest4780-21cat0
485991711,4cyclictest28032-21seq0
48599170,16cyclictest0-21swapper/00
50299160,5cyclictest35-21ksoftirqd/33
489991610,4cyclictest8765-21wc1
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional