You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2024-04-24 - 11:53
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 376 highest latencies:
System rack9slot2 (updated Wed Apr 24, 2024 00:43:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
189692310273,24sleep30-21swapper/33
1936999290284,4cyclictest26536-21perf0
191502289254,23sleep00-21swapper/00
174792279195,70sleep20-21swapper/22
190352266228,26sleep10-21swapper/11
1938199233227,4cyclictest1-21systemd2
1937699195187,4cyclictest26527-21idleruntime-cro1
1491521570,3sleep01936999cyclictest0
1938599129124,3cyclictest26516-21munin-run3
296412550,2sleep2271rcuc/22
62572510,3sleep00-21swapper/00
128962470,0sleep20-21swapper/22
53902450,1sleep30-21swapper/33
1937699400,20cyclictest23023-21ntp_states1
1937699391,27cyclictest30777-21/usr/sbin/munin1
1937699380,27cyclictest2230-21http1
1937699370,17cyclictest26703-1kworker/1:2H1
1937699360,26cyclictest8686-21cstates1
1937699360,20cyclictest25596-21ntp_states1
1937699360,19cyclictest14329-21http1
1937699351,18cyclictest0-21swapper/11
1937699350,20cyclictest32238-21seq1
1937699350,18cyclictest18638-21http1
1937699341,18cyclictest12673-21aten2_r9power_c1
1937699340,19cyclictest22152-21seq1
1937699340,18cyclictest0-21swapper/11
60532330,4sleep06058-21tr0
1937699320,24cyclictest287771apt-get1
1937699320,19cyclictest7107-21ntpq1
1937699310,18cyclictest0-21swapper/11
19376993013,14cyclictest12387-21hostname1
19376993013,14cyclictest12387-21hostname1
1937699301,26cyclictest2082-21systemd-journal1
19376992813,12cyclictest10213-21/usr/sbin/munin1
19376992713,11cyclictest26761-21/usr/sbin/munin1
19376992710,15cyclictest27947-21cat1
19376992710,15cyclictest22594-21cat1
326502260,1sleep30-21swapper/33
1938199264,19cyclictest0-21swapper/22
1937699269,14cyclictest21275-21processes1
1937699269,14cyclictest19115-21ntp_offset1
1937699267,16cyclictest762-21grep1
1937699263,20cyclictest6407-21hostname1
19376992613,11cyclictest12332-21aten2_r9power_v1
19376992611,13cyclictest5851-21seq1
19376992610,13cyclictest22928-21tr1
19376992610,13cyclictest14550-21expr1
1937699260,1cyclictest0-21swapper/11
1937699260,1cyclictest0-21swapper/11
19381992513,10cyclictest9332-21threads2
1937699259,14cyclictest16263-21taskset1
1937699258,15cyclictest23866-21grep1
1937699255,17cyclictest18082-21procmail1
1937699254,18cyclictest20362-21sed1
1937699252,20cyclictest26353-21ls1
1937699252,18cyclictest28707-21apt-get1
1937699251,21cyclictest505-21dbus-daemon1
1937699251,21cyclictest12076-21cat1
19376992512,11cyclictest31271-21if_err_enp2s01
19376992510,13cyclictest29252-21if_err_enp2s01
19376992510,13cyclictest2210-21cat1
19376992510,12cyclictest3020-21missed_timers1
1937699250,3cyclictest20642-21http1
1937699250,22cyclictest23587-21tr1
1937699250,22cyclictest18783-21aten2.4-expect1
19369992516,5cyclictest30795-21apt-get0
19385992415,5cyclictest6299-21apt-get3
1937699248,14cyclictest5772-21seq1
1937699248,13cyclictest4750-21if_enp3s01
1937699246,15cyclictest12815-21/usr/sbin/munin1
1937699246,15cyclictest12815-21/usr/sbin/munin1
1937699243,19cyclictest17586-21head1
1937699242,19cyclictest24654-21cat1
1937699242,19cyclictest18873-21tr1
1937699242,18cyclictest10211-21apt-get1
1937699241,21cyclictest8326-21aten2.4-expect1
1937699241,20cyclictest2797-21gltestperf1
19376992410,12cyclictest28939-21cstates1
19376992410,12cyclictest27197-21idleruntime1
1937699240,21cyclictest7469-21grep1
1937699240,21cyclictest6322-21aten2_r9power_c1
1937699240,21cyclictest1406-21unixbench-2d1
1937699240,21cyclictest10461-21aten2_r9power_v1
1938199234,17cyclictest30685-21cat2
19381992317,4cyclictest1901-21munin-run2
19381992311,10cyclictest9521-21sed2
19381992310,11cyclictest28553-21sed2
1937699231,20cyclictest9040-21grep1
1937699231,18cyclictest0-21swapper/11
1937699230,1cyclictest0-21swapper/11
19369992316,5cyclictest9-21ksoftirqd/00
19369992313,8cyclictest91ksoftirqd/00
19369992313,6cyclictest22729-21apt-get0
19385992214,3cyclictest20576-21cat3
1938599220,20cyclictest31389-21sed3
1938199223,17cyclictest21280-21latency_hist2
1938199222,18cyclictest8034-21latency_hist2
19369992210,7cyclictest8287-21apt-get0
120342220,4sleep2271rcuc/22
19385992117,2cyclictest0-21swapper/33
19385992116,3cyclictest21519-21/usr/sbin/munin3
19385992116,3cyclictest18373-21sh3
19385992115,4cyclictest2706-21diskstats3
19385992113,6cyclictest14037-21sendmail3
19385992113,6cyclictest14037-21sendmail3
1938199217,12cyclictest29313-21cut2
19381992115,4cyclictest32179-21seq2
1938199211,4cyclictest6083-21sendmail2
1938199211,3cyclictest13181-1kworker/2:2H2
19381992113,5cyclictest2082-21systemd-journal2
19381992113,2cyclictest0-21swapper/22
1938199210,4cyclictest3927-21perf2
19369992116,3cyclictest665-21runrttasks0
19369992115,4cyclictest11485-21grep0
19385992015,3cyclictest4590-21sh3
19385992015,3cyclictest4461-21cpuspeed_turbos3
19385992015,3cyclictest22591-21sed3
19385992014,4cyclictest12238-21cat3
19385992011,5cyclictest8287-21apt-get3
1938199209,7cyclictest8234-21apt-get2
1938199207,3cyclictest18529-21gdbus2
19381992015,3cyclictest31730-21pmu-power2
19381992015,3cyclictest22587-21/usr/sbin/munin2
19381992015,3cyclictest1957-21munin-run2
19381992014,4cyclictest22771-21hostname2
19381992014,4cyclictest17544-21ntp_kernel_pll_2
19381992014,4cyclictest12184-21sed2
19381992014,3cyclictest5559-21grep2
1938199201,3cyclictest7948-21rs:main2
1938199201,3cyclictest0-21swapper/22
1938199201,17cyclictest22356-21awk2
1938199201,17cyclictest20426-21cat2
1938199200,3cyclictest24388-1kworker/2:1H2
1938199200,3cyclictest13181-1kworker/2:2H2
1938199200,17cyclictest6121-21cat2
19369992016,2cyclictest10995-21irqstats0
19369992015,3cyclictest6196-21/usr/sbin/munin0
19369992015,3cyclictest4202-21/usr/sbin/munin0
19369992015,3cyclictest29711-21expr0
19369992015,3cyclictest29561-21sed0
19369992015,3cyclictest26818-21aten2_r9power_e0
19369992015,3cyclictest21873-21sed0
19369992015,3cyclictest21457-21munin-node0
19369992015,3cyclictest15334-21cut0
19369992014,4cyclictest32431-21cat0
19369992014,4cyclictest31389-21sed0
19369992013,5cyclictest12187-21date0
1936999201,17cyclictest20343-21turbostat0
19369992011,5cyclictest12236-21apt-get0
19369992011,5cyclictest12236-21apt-get0
19385991916,2cyclictest0-21swapper/33
19385991915,2cyclictest6323-21aten2_r9power_p3
19385991915,2cyclictest19512-21ntp_offset3
19385991915,2cyclictest15113-21ntp_offset3
19385991915,2cyclictest12236-21apt-get3
19385991915,2cyclictest12236-21apt-get3
19385991914,3cyclictest8659-21fw_packets3
19385991914,3cyclictest665-21runrttasks3
19385991914,3cyclictest3199-21ntp_kernel_pll_3
19385991914,3cyclictest31454-21ls3
19385991914,3cyclictest28585-21/usr/sbin/munin3
19385991914,3cyclictest26722-21sh3
19385991914,3cyclictest24471-21date3
19385991914,3cyclictest23223-21cut3
19385991914,3cyclictest20373-21date3
19385991914,3cyclictest17013-21cstates3
19385991914,3cyclictest1257-21which3
19385991914,3cyclictest10812-21expr3
19385991913,4cyclictest25517-21ntp_kernel_pll_3
19385991912,4cyclictest18200-21cat3
1938599191,1cyclictest111rcu_preempt3
1938199192,15cyclictest26010-21sed2
19381991916,2cyclictest0-21swapper/22
19381991914,3cyclictest23841-21find2
19381991914,3cyclictest17108-21nfs4_client2
19381991913,4cyclictest4027-21seq2
19381991913,4cyclictest3480-21sed2
19381991913,4cyclictest28275-21seq2
19381991913,4cyclictest2193-21date2
19381991913,4cyclictest13979-21sendmail2
19381991912,4cyclictest18230-21find2
1938199191,15cyclictest12298-21apt-get2
1938199191,15cyclictest12298-21apt-get2
1938199190,17cyclictest0-21swapper/22
19369991915,2cyclictest24697-21/usr/sbin/munin0
19369991915,2cyclictest12280-21/usr/sbin/munin0
19369991915,2cyclictest12280-21/usr/sbin/munin0
19369991914,3cyclictest2705-21cat0
19369991914,3cyclictest26982-21tr0
19369991914,3cyclictest13188-21sed0
19369991913,4cyclictest20818-21cpuspeed0
19369991913,4cyclictest20549-21sed0
19369991913,4cyclictest15334-21cat0
19369991910,6cyclictest23902-21apt0
24682180,1sleep30-21swapper/33
19385991815,2cyclictest0-21swapper/33
19385991814,2cyclictest32525-21latency_hist3
19385991814,2cyclictest15236-21proc_pri3
19385991814,2cyclictest12646-21/usr/sbin/munin3
19385991813,3cyclictest305-21cat3
19385991813,3cyclictest29327-21basename3
19385991813,3cyclictest28066-21grep3
19385991813,3cyclictest25459-21ntpq3
19385991813,3cyclictest24817-21aten2_r9power_v3
19385991813,3cyclictest19896-21expr3
19385991813,3cyclictest16968-21cat3
19385991813,3cyclictest10636-21df3
19385991812,4cyclictest20690-21find3
19385991812,4cyclictest10113-21cut3
1938199182,5cyclictest14324-21apt-get2
19381991816,1cyclictest0-21swapper/22
19381991815,2cyclictest32375-21awk2
19381991813,3cyclictest896-21basename2
19381991813,3cyclictest31647-21proc_pri2
19381991813,3cyclictest30556-21ls2
19381991813,3cyclictest26557-21sed2
19381991813,3cyclictest15989-21latency_hist2
19381991813,3cyclictest12523-21grep2
19381991813,3cyclictest12523-21grep2
19381991813,3cyclictest11216-21ntpq2
19381991813,3cyclictest11203-21which2
19381991812,4cyclictest21510-21ntp_states2
19381991812,4cyclictest16345-21seq2
1936999183,10cyclictest30737-21apt-get0
19369991816,1cyclictest0-21swapper/00
19369991814,2cyclictest8197-21/usr/sbin/munin0
19369991814,2cyclictest25535-21ntp_states0
19369991813,3cyclictest9453-21sed0
19369991813,3cyclictest6985-21cat0
19369991813,3cyclictest6769-21sh0
19369991813,3cyclictest4318-21/usr/sbin/munin0
19369991813,3cyclictest3481-21cat0
19369991813,3cyclictest30541-21cut0
19369991813,3cyclictest18387-21idleruntime-cro0
19369991812,4cyclictest23894-21grep0
19369991812,4cyclictest16835-21cat0
19369991812,3cyclictest8215-21/usr/sbin/munin0
19369991812,3cyclictest2165-21apt-get0
19385991713,2cyclictest13099-21ntp_states3
19385991712,3cyclictest665-21runrttasks3
19385991712,3cyclictest665-21runrttasks3
19385991712,3cyclictest4011-21cut3
19385991712,3cyclictest29957-21unixbench_multi3
19385991712,3cyclictest27481-21sh3
19385991712,3cyclictest23367-21sed3
19385991712,3cyclictest10659-21sh3
19385991711,4cyclictest6445-21cat3
19381991715,1cyclictest0-21swapper/22
19381991713,2cyclictest27627-21proc_pri2
19381991712,3cyclictest25201-21expr2
19381991712,3cyclictest19154-21expr2
1938199171,1cyclictest0-21swapper/22
19381991711,4cyclictest7177-21ls2
1936999172,4cyclictest16691-21apt-get0
19369991715,1cyclictest0-21swapper/00
19369991713,2cyclictest20580-21apt-get0
19369991713,2cyclictest20231-21/usr/sbin/munin0
19369991713,2cyclictest1524-21uptime0
19369991712,3cyclictest676-21expr0
19369991712,3cyclictest428-21hostname0
19369991712,3cyclictest28952-21expr0
19369991712,3cyclictest2752-21sed0
19369991712,3cyclictest27020-21sh0
19369991712,3cyclictest25441-21ntp_kernel_err0
19369991712,3cyclictest12680-21expr0
19369991712,3cyclictest10239-21aten2_r9power_c0
19369991711,4cyclictest58150irq/130-enp2s00
19385991612,2cyclictest28686-21/usr/sbin/munin3
19385991611,3cyclictest380-21cpuspeed3
19385991611,3cyclictest18812-21if_enp2s03
19385991611,3cyclictest15390-21cat3
19369991614,1cyclictest0-21swapper/00
19369991611,3cyclictest28695-21snmpd0
1938599152,8cyclictest26779-21apt-get3
19385991511,2cyclictest35-21ksoftirqd/33
1936999151,11cyclictest19547-21apt-get0
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional