You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-06-17 - 05:54
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 792 highest latencies:
System rack9slot2.osadl.org (updated Tue Jun 17, 2025 00:43:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
50122305268,24sleep00-21swapper/00
49272299194,75sleep20-21swapper/22
49582294257,24sleep30-21swapper/33
49162292254,25sleep10-21swapper/11
535099212208,2cyclictest0-21swapper/00
536299161156,3cyclictest0-21swapper/33
2295221590,1sleep00-21swapper/00
535799137124,11cyclictest10658-21diskstats2
5354999491,1cyclictest0-21swapper/11
282992570,2sleep00-21swapper/00
216512560,3sleep1535499cyclictest1
86782490,1sleep38679-21sshd3
311462470,2sleep10-21swapper/11
253912470,1sleep10-21swapper/11
160522440,2sleep10-21swapper/11
69572420,4sleep06960-21unixbench_singl0
14242400,1sleep10-21swapper/11
128862380,1sleep20-21swapper/22
47062350,2sleep30-21swapper/33
535099266,19cyclictest0-21swapper/00
319272260,2sleep30-21swapper/33
269212260,1sleep30-21swapper/33
535799255,18cyclictest22968-21http2
5350992415,5cyclictest24802-21apt-get0
5362992315,5cyclictest505-21dbus-daemon3
535799234,17cyclictest25259-21latency_hist2
535799234,17cyclictest15511-21latency_hist2
5362992216,4cyclictest9517-21sed3
5362992215,4cyclictest12924-21idleruntime-cro3
535799223,17cyclictest6891-21cat2
535799223,17cyclictest27601-21sendmail2
535799223,17cyclictest20651-21sendmail-mta2
535799221,18cyclictest5743-21munin-run2
5350992216,4cyclictest30067-21sh0
216752220,2sleep3536299cyclictest3
5362992115,4cyclictest3675-21cron3
5362992115,4cyclictest17930-21sed3
5362992115,3cyclictest2709-21cron3
5362992114,4cyclictest5726-21sort3
535799218,11cyclictest0-21swapper/22
535799218,11cyclictest0-21swapper/22
5357992116,3cyclictest22276-21http2
5357992115,4cyclictest7101-21seq2
5357992115,4cyclictest4968-21df2
535799211,3cyclictest31110-21munin-run2
535799211,3cyclictest21953-1kworker/2:3H2
535799211,18cyclictest7300-21munin-run2
535799211,18cyclictest30677-21sendmail-mta2
535799210,18cyclictest12767-21munin-run2
535499219,7cyclictest21190-21apt-get1
5354992117,2cyclictest23206-21apt-get1
5354992116,3cyclictest14723-21entropy1
5354992115,4cyclictest8627-21acpi1
5354992114,5cyclictest2082-21systemd-journal1
5354992114,4cyclictest30636-21cron1
535099212,17cyclictest2717-21grep0
5350992116,3cyclictest4539-21/usr/sbin/munin0
5350992115,4cyclictest20745-21seq0
5350992114,4cyclictest2082-21systemd-journal0
199192210,2sleep3341rcuc/33
536299203,10cyclictest16378-21apt-get3
536299202,11cyclictest8163-21apt-get3
5362992015,3cyclictest3192-21cpuspeed_turbos3
5362992015,3cyclictest15247-21sort3
5362992014,4cyclictest6755-21sed3
5362992014,4cyclictest16103-21cut3
5362992013,4cyclictest7389-21basename3
5362992013,4cyclictest26134-21grep3
535799203,15cyclictest28255-21sendmail-mta2
5357992015,3cyclictest7776-21timerandwakeup2
5357992015,3cyclictest6740-21memory2
5357992015,3cyclictest2925-21cat2
5357992015,3cyclictest19494-21uptime2
5357992015,3cyclictest14244-21cat2
5357992015,3cyclictest12873-21if_err_enp3s02
5357992015,3cyclictest11766-21irqstats2
5357992014,4cyclictest7676-21hostname2
5357992014,4cyclictest20201-21mailstats2
5357992014,4cyclictest15488-21diskstats2
5357992014,4cyclictest1241-21cron2
5357992014,4cyclictest10873-21needreboot2
5357992014,4cyclictest10498-21users2
5357992014,4cyclictest10498-21users2
5357992014,3cyclictest1682-21cpu2
535799201,3cyclictest3676-21aten2_r9power_v2
535799201,17cyclictest3280-21head2
535799200,3cyclictest25647-1kworker/2:0H2
535799200,18cyclictest20188-21munin-run2
535799200,17cyclictest9939-21munin-run2
5354992016,2cyclictest7040-21/usr/sbin/munin1
5354992016,2cyclictest5983-21/usr/sbin/munin1
5354992015,3cyclictest6801-21unixbench-2d1
5354992015,3cyclictest2955-21/usr/sbin/munin1
5354992015,3cyclictest28274-21/usr/sbin/munin1
5354992015,3cyclictest27595-21cron1
5354992015,3cyclictest26840-21/usr/sbin/munin1
5354992015,3cyclictest2383-21sh1
5354992015,3cyclictest16790-21/usr/sbin/munin1
5354992015,2cyclictest12354-21head1
5354992014,4cyclictest445-21/usr/sbin/munin1
5354992014,4cyclictest326-21seq1
5354992014,4cyclictest24674-21date1
5354992014,3cyclictest9951-21cat1
5354992014,3cyclictest20119-21processes1
5354992010,6cyclictest26245-21apt-get1
5350992015,3cyclictest8997-21nfs4_client0
5350992015,3cyclictest29332-21/usr/sbin/munin0
5350992015,3cyclictest16790-21/usr/sbin/munin0
5350992014,4cyclictest9717-21seq0
5350992014,4cyclictest4227-21seq0
5350992014,4cyclictest19037-21cat0
536299193,9cyclictest22779-21apt-get3
536299192,10cyclictest9651-21apt-get3
536299192,10cyclictest9651-21apt-get3
5362991916,2cyclictest0-21swapper/33
5362991915,2cyclictest0-21swapper/33
5362991914,3cyclictest5533-21sed3
5362991914,3cyclictest4725-21sed3
5362991914,3cyclictest30294-21/usr/sbin/munin3
5362991914,3cyclictest29052-21sed3
5362991914,3cyclictest24313-21sed3
5362991914,3cyclictest22625-21forks3
5362991914,3cyclictest1902-21expr3
5362991914,3cyclictest17938-21ntpq3
5362991914,3cyclictest12396-21awk3
5362991913,4cyclictest26381-21threads3
5362991913,4cyclictest26381-21threads3
5362991913,3cyclictest31672-21dump-pmu-power3
536299191,16cyclictest0-21swapper/33
5362991911,5cyclictest505-21dbus-daemon3
5362991910,5cyclictest10333-21gdbus3
5357991915,2cyclictest28470-21if_enp3s02
5357991915,2cyclictest28-21ksoftirqd/22
5357991914,3cyclictest3563-21processes2
5357991914,3cyclictest2082-21systemd-journal2
5357991914,3cyclictest20601-21fw_packets2
5357991914,3cyclictest17723-21interrupts2
5357991914,3cyclictest14015-21processes2
5357991913,4cyclictest7051-21cat2
5357991913,4cyclictest3333-21expr2
5357991913,4cyclictest31748-21expr2
5357991913,4cyclictest31092-21cat2
5357991913,4cyclictest25831-21rt-features2
5357991913,4cyclictest23610-21cat2
5357991913,4cyclictest17847-21seq2
5357991913,3cyclictest31324-21sh2
5357991913,3cyclictest31324-21sh2
535799191,16cyclictest16397-21apt-config2
535799190,17cyclictest29202-21latency_hist2
535799190,17cyclictest25978-21latency_hist2
5354991916,2cyclictest0-21swapper/11
5354991915,2cyclictest9177-21aten2_r9power_p1
5354991915,2cyclictest9177-21aten2_r9power_p1
5354991915,2cyclictest4539-21/usr/sbin/munin1
5354991915,2cyclictest4388-21df_inode1
5354991915,2cyclictest30890-21/usr/sbin/munin1
5354991915,2cyclictest30890-21/usr/sbin/munin1
5354991915,2cyclictest1892-21/usr/sbin/munin1
5354991915,2cyclictest16359-21/usr/sbin/munin1
5354991915,2cyclictest14903-21gltestperf1
5354991915,2cyclictest12536-21aten2_r9power_v1
5354991915,2cyclictest12239-21/usr/sbin/munin1
5354991915,2cyclictest10043-21/usr/sbin/munin1
5354991914,3cyclictest665-21runrttasks1
5354991914,3cyclictest6584-21/usr/sbin/munin1
5354991914,3cyclictest29332-21/usr/sbin/munin1
5354991914,3cyclictest23479-21/usr/sbin/munin1
5354991914,3cyclictest23141-21which1
5354991914,3cyclictest18089-21/usr/sbin/munin1
5354991914,3cyclictest17073-21/usr/sbin/munin1
5354991914,3cyclictest16846-21dump-pmu-power1
5354991913,4cyclictest3955-21ls1
5354991913,4cyclictest30338-21hostname1
5354991912,4cyclictest1346-21date1
5350991914,3cyclictest665-21runrttasks0
5350991914,3cyclictest4180-21cat0
5350991914,3cyclictest26735-21seq0
5350991914,3cyclictest26735-21seq0
5350991914,3cyclictest25510-21unixbench_multi0
5350991914,3cyclictest24078-21unixbench_multi0
5350991914,3cyclictest1946-21seq0
5350991914,3cyclictest19339-21sed0
5350991914,3cyclictest17523-21entropy0
5350991914,3cyclictest13870-21sh0
5350991914,3cyclictest12210-21switchtime0
5350991914,3cyclictest11308-21seq0
5350991914,3cyclictest11308-21seq0
5350991914,3cyclictest10986-21/usr/sbin/munin0
5350991913,4cyclictest9972-21ntpq0
5350991913,4cyclictest9972-21ntpq0
5350991913,4cyclictest6663-21seq0
5350991913,4cyclictest25036-21seq0
5350991913,4cyclictest13630-21cat0
5350991913,3cyclictest4614-21kernelversion0
5350991912,4cyclictest9317-21latency0
305362190,4sleep0535099cyclictest0
5362991816,1cyclictest0-21swapper/33
5362991816,1cyclictest0-21swapper/33
5362991816,1cyclictest0-21swapper/33
5362991813,3cyclictest7827-21sed3
5362991813,3cyclictest665-21runrttasks3
5362991813,3cyclictest2884-21expr3
5362991813,3cyclictest14020-21latency_hist3
5362991812,4cyclictest27584-21sed3
5362991812,4cyclictest23162-21date3
5362991812,4cyclictest21375-21ls3
5362991812,4cyclictest15102-21grep3
5362991812,4cyclictest10477-21cat3
536299181,16cyclictest0-21swapper/33
5362991811,4cyclictest505-21dbus-daemon3
5362991811,3cyclictest27756-21gltestperf3
536299180,16cyclictest0-21swapper/33
5357991813,3cyclictest8979-21cat2
5357991813,3cyclictest23070-21expr2
5357991813,3cyclictest21583-21expr2
5357991813,3cyclictest17548-21missed_timers2
5357991813,3cyclictest15858-21apt-config2
5357991812,4cyclictest426-21cat2
5357991812,4cyclictest28567-21seq2
5357991812,3cyclictest9996-21ls2
535799180,16cyclictest0-21swapper/22
535499184,12cyclictest29033-21sendmail1
5354991816,1cyclictest0-21swapper/11
5354991816,1cyclictest0-21swapper/11
5354991813,3cyclictest8595-21cat1
5354991813,3cyclictest665-21runrttasks1
5354991813,3cyclictest24195-21/usr/sbin/munin1
5354991813,3cyclictest13346-21grep1
5354991812,4cyclictest27865-21/usr/sbin/munin1
5354991812,4cyclictest26333-21cat1
5354991812,4cyclictest26333-21cat1
5354991812,4cyclictest14436-21cat1
5354991811,5cyclictest10364-21cat1
5354991811,5cyclictest10364-21cat1
5354991811,4cyclictest21-21ksoftirqd/11
5350991816,1cyclictest0-21swapper/00
5350991816,1cyclictest0-21swapper/00
5350991816,1cyclictest0-21swapper/00
5350991814,2cyclictest28167-21latency_hist0
5350991814,2cyclictest16067-21/usr/sbin/munin0
5350991814,2cyclictest12389-21cpu0
5350991813,3cyclictest9001-21cut0
5350991813,3cyclictest29918-21which0
5350991813,3cyclictest27188-21cat0
5350991813,3cyclictest21875-21seq0
5350991813,3cyclictest21392-21sed0
5350991813,3cyclictest20193-21sh0
5350991812,4cyclictest665-21runrttasks0
536299179,5cyclictest505-21dbus-daemon3
536299179,5cyclictest505-21dbus-daemon3
5362991712,3cyclictest31577-21latency3
5362991712,3cyclictest31577-21latency3
5362991712,3cyclictest2251-21latency_hist3
5362991712,3cyclictest19240-21aten2_r9power_v3
5362991712,3cyclictest19014-21cat3
5362991711,4cyclictest31793-21df3
5357991712,3cyclictest25231-21cat2
5357991712,3cyclictest25231-21cat2
5354991713,2cyclictest7611-21/usr/sbin/munin1
5354991712,3cyclictest6888-21grep1
5354991712,3cyclictest665-21runrttasks1
5354991712,3cyclictest11479-21cat1
5350991715,1cyclictest0-21swapper/00
5350991713,3cyclictest8110-21grep0
5350991712,3cyclictest665-21runrttasks0
5350991712,3cyclictest665-21runrttasks0
5350991712,3cyclictest6563-21rt-features0
5350991712,3cyclictest4577-21seq0
5350991712,3cyclictest2082-21systemd-journal0
5350991712,3cyclictest10153-21aten2.4-expect0
5350991711,4cyclictest32073-21cat0
5350991711,4cyclictest32073-21cat0
5350991711,4cyclictest27080-21cat0
5350991711,4cyclictest25160-21date0
5350991711,4cyclictest14624-21cat0
5350991711,4cyclictest1283-21needreboot0
535099170,16cyclictest0-21swapper/00
535099170,15cyclictest7129-21cat0
536299163,8cyclictest8040-21apt-get3
536299163,7cyclictest32336-21apt-get3
536299161,12cyclictest2082-21systemd-journal3
536299161,12cyclictest12884-21grep3
5350991611,3cyclictest12469-21cat0
535099160,1cyclictest0-21swapper/00
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional