You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-12-01 - 15:20
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 792 highest latencies:
System rack9slot2.osadl.org (updated Mon Dec 01, 2025 12:43:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
178322271186,70sleep20-21swapper/22
161402256181,25sleep10-21swapper/11
177042254185,55sleep00-21swapper/00
170452226188,25sleep30-21swapper/33
1804999211205,4cyclictest5923-21latency_hist3
1804299209202,4cyclictest5922-21latency_hist2
1803499161156,3cyclictest5913-21gpgv0
3098821460,2sleep21804299cyclictest2
180389910096,2cyclictest5924-21latency_hist1
18822600,2sleep30-21swapper/33
206152510,1sleep30-21swapper/33
289442460,3sleep30-21swapper/33
247922440,1sleep30-21swapper/33
193912440,2sleep10-21swapper/11
321832420,2sleep30-21swapper/33
312672410,2sleep00-21swapper/00
295712400,1sleep00-21swapper/00
308972290,1sleep30-21swapper/33
18034992912,3cyclictest9-21ksoftirqd/00
1803499260,6cyclictest9-21ksoftirqd/00
1803499260,6cyclictest9-21ksoftirqd/00
18034992510,3cyclictest9-21ksoftirqd/00
18034992510,3cyclictest9-21ksoftirqd/00
1804999248,3cyclictest295762cut3
1803499246,2cyclictest111rcu_preempt0
1803499245,9cyclictest9-21ksoftirqd/00
1803499244,10cyclictest9-21ksoftirqd/00
18034992420,3cyclictest101rcuc/00
1803499240,6cyclictest9-21ksoftirqd/00
18049992317,4cyclictest15296-21sendmail3
1804299234,17cyclictest921-21cat2
18042992316,4cyclictest5464-21apt-get2
1804299231,20cyclictest12065-21munin-run2
1803499234,10cyclictest9-21ksoftirqd/00
1803499234,10cyclictest9-21ksoftirqd/00
1803499233,7cyclictest9-21ksoftirqd/00
1803499233,11cyclictest9-21ksoftirqd/00
18034992320,2cyclictest101rcuc/00
18034992319,2cyclictest101rcuc/00
18034992319,2cyclictest101rcuc/00
18034992319,2cyclictest101rcuc/00
1803499230,10cyclictest9-21ksoftirqd/00
248422220,3sleep11803899cyclictest1
18049992217,3cyclictest20384-21sed3
18049992216,3cyclictest19391-21idleruntime-cro3
1804299226,4cyclictest505-21dbus-daemon2
1804299223,17cyclictest11364-21latency_hist2
18042992216,4cyclictest12507-21ntp_states2
1803899224,16cyclictest6348-21cron1
1803899221,17cyclictest11481-21apt-get1
1803899221,17cyclictest11481-21apt-get1
1803499225,7cyclictest9-21ksoftirqd/00
1803499223,10cyclictest9-21ksoftirqd/00
1803499223,10cyclictest9-21ksoftirqd/00
1803499222,7cyclictest9-21ksoftirqd/00
1803499221,7cyclictest9-21ksoftirqd/00
1803499220,9cyclictest9-21ksoftirqd/00
1803499220,9cyclictest9-21ksoftirqd/00
18049992113,4cyclictest29534-21idleruntime-cro3
18049992113,4cyclictest29534-21idleruntime-cro3
1804299218,11cyclictest0-21swapper/22
1804299212,17cyclictest20326-21cat2
1804299212,17cyclictest1133-21cat2
18042992116,3cyclictest27354-21timerandwakeup2
18042992115,4cyclictest505-21dbus-daemon2
18042992115,4cyclictest10333-21gdbus2
1804299211,4cyclictest20651-21sendmail-mta2
18042992114,4cyclictest7030-21df_inode2
18042992114,4cyclictest3651-21perf2
18042992113,4cyclictest27265-21apt-get2
1804299211,18cyclictest18213-21perf2
1804299211,18cyclictest10445-21munin-run2
1804299211,18cyclictest10445-21munin-run2
1804299210,4cyclictest18606-21perf2
1803899219,3cyclictest247942cat1
18038992115,4cyclictest25593-21seq1
18038992114,4cyclictest26879-21seq1
1803899210,5cyclictest18933-21grep1
1803499217,2cyclictest111rcu_preempt0
1803499216,2cyclictest111rcu_preempt0
1803499216,2cyclictest111rcu_preempt0
1803499215,8cyclictest9-21ksoftirqd/00
1803499215,8cyclictest9-21ksoftirqd/00
1803499213,7cyclictest9-21ksoftirqd/00
1803499212,7cyclictest9-21ksoftirqd/00
1803499212,6cyclictest9-21ksoftirqd/00
1803499212,6cyclictest9-21ksoftirqd/00
1803499211,9cyclictest0-21swapper/00
1803499211,9cyclictest0-21swapper/00
1803499211,7cyclictest9-21ksoftirqd/00
1803499211,6cyclictest9-21ksoftirqd/00
18034992116,3cyclictest24379-21cat0
1803499210,8cyclictest9-21ksoftirqd/00
1803499210,8cyclictest9-21ksoftirqd/00
1803499210,8cyclictest9-21ksoftirqd/00
18049992015,3cyclictest5419-21sed3
18049992015,3cyclictest22783-21sed3
18049992014,4cyclictest4345-21idleruntime-cro3
18049992014,4cyclictest27956-21sed3
18049992014,4cyclictest20253-21wc3
18049992014,4cyclictest10256-21cut3
1804299205,13cyclictest4388-21sendmail-mta2
1804299203,15cyclictest32698-21latency_hist2
18042992015,3cyclictest791-21cut2
18042992015,3cyclictest30577-21needreboot2
18042992015,3cyclictest21833-21processes2
18042992015,3cyclictest21751-21proc_pri2
18042992015,3cyclictest15779-21cpuspeed2
18042992015,3cyclictest14581-21switchtime2
18042992015,3cyclictest12711-21/usr/sbin/munin2
18042992015,3cyclictest10634-21timerandwakeup2
18042992014,3cyclictest4276-21nfs4_client2
18042992014,3cyclictest2270-21ntp_offset2
1804299201,3cyclictest27494-21munin-run2
1804299201,3cyclictest20062-21munin-node2
1804299201,3cyclictest10036-21munin-run2
1804299200,3cyclictest27040-21latency_hist2
1804299200,18cyclictest21854-21ps2
1804299200,18cyclictest13246-21munin-run2
1804299200,18cyclictest13246-21munin-run2
18038992015,3cyclictest9113-21seq1
18038992015,3cyclictest21556-21sed1
18038992015,3cyclictest18053-21seq1
18038992015,3cyclictest11115-21seq1
18038992014,4cyclictest29145-21ls1
1803899200,5cyclictest22593-21sed1
1803499208,3cyclictest111rcu_preempt0
1803499203,6cyclictest9-21ksoftirqd/00
1803499201,8cyclictest0-21swapper/00
1803499201,7cyclictest9-21ksoftirqd/00
18034992016,2cyclictest101rcuc/00
18034992016,2cyclictest101rcuc/00
18034992015,3cyclictest26178-21apt0
18034992015,3cyclictest18851-21apt-get0
18034992015,3cyclictest18434-21/usr/sbin/munin0
18034992015,3cyclictest101rcuc/00
1803499200,7cyclictest9-21ksoftirqd/00
1803499200,7cyclictest9-21ksoftirqd/00
1803499200,7cyclictest9-21ksoftirqd/00
1803499200,7cyclictest9-21ksoftirqd/00
1803499200,6cyclictest9-21ksoftirqd/00
1804999193,14cyclictest18728-21gltestperf3
18049991917,1cyclictest0-21swapper/33
18049991916,2cyclictest0-21swapper/33
18049991914,3cyclictest9207-21grep3
18049991914,3cyclictest6854-21kernelversion3
18049991914,3cyclictest17574-21sed3
18049991914,3cyclictest17405-21wc3
18049991914,3cyclictest13501-21sed3
18049991914,3cyclictest10538-21sed3
18049991914,3cyclictest10538-21sed3
18049991913,4cyclictest8086-21cat3
18049991913,4cyclictest2082-21systemd-journal3
18049991913,3cyclictest13049-21cstates3
18049991912,5cyclictest505-21dbus-daemon3
18049991912,4cyclictest25360-21head3
18042991915,2cyclictest0-21swapper/22
18042991914,3cyclictest5841-21expr2
18042991914,3cyclictest3679-21expr2
18042991914,3cyclictest30954-21basename2
18042991914,3cyclictest29163-21uptime2
18042991914,3cyclictest29163-21uptime2
18042991914,3cyclictest25571-21date2
18042991914,3cyclictest22483-21cat2
18042991914,3cyclictest16064-21cat2
18042991914,3cyclictest14896-21cat2
18042991913,4cyclictest7653-21cat2
18042991913,4cyclictest22850-21sed2
18042991912,4cyclictest9202-21nm-online2
1804299190,17cyclictest24627-21sendmail-msp2
1804299190,17cyclictest14092-21latency_hist2
1804299190,16cyclictest2082-21systemd-journal2
18038991915,2cyclictest20764-21/usr/sbin/munin1
1803899191,4cyclictest0-21swapper/11
18038991914,3cyclictest7171-21if_enp2s01
18038991914,3cyclictest5176-21date1
18038991914,3cyclictest32261-21/usr/sbin/munin1
18038991914,3cyclictest32202-21grep1
18038991914,3cyclictest28156-21expr1
18038991914,3cyclictest28156-21expr1
18038991914,3cyclictest27512-21seq1
18038991914,3cyclictest24428-21seq1
18038991914,3cyclictest23688-21/usr/sbin/munin1
18038991914,3cyclictest20662-21if_enp3s01
18038991914,3cyclictest18219-21/usr/sbin/munin1
18038991914,3cyclictest16309-21ls1
18038991914,3cyclictest15548-21/usr/sbin/munin1
18038991914,3cyclictest13612-21awk1
18038991914,3cyclictest13485-21/usr/sbin/munin1
18038991914,3cyclictest12205-21seq1
18038991913,4cyclictest8630-21wc1
18038991913,4cyclictest32543-21cat1
18038991913,4cyclictest22493-21cat1
18038991913,4cyclictest15128-21expr1
18038991913,4cyclictest14773-21sed1
18038991913,4cyclictest12069-21sh1
18038991913,3cyclictest3832-21expr1
18038991912,4cyclictest30517-21grep1
18038991912,4cyclictest1806-21expr1
18038991912,4cyclictest15725-21hostname1
18038991910,5cyclictest9454-21apt-get1
1803499192,6cyclictest9-21ksoftirqd/00
1803499192,5cyclictest9-21ksoftirqd/00
1803499192,10cyclictest14358-21taskset0
1803499191,6cyclictest9-21ksoftirqd/00
1803499191,6cyclictest9-21ksoftirqd/00
18034991914,3cyclictest3058-21cat0
18034991914,3cyclictest27247-21/usr/sbin/munin0
1803499190,7cyclictest9-21ksoftirqd/00
1804999183,3cyclictest111rcu_preempt3
18049991816,1cyclictest0-21swapper/33
18049991816,1cyclictest0-21swapper/33
18049991814,2cyclictest25217-21/usr/sbin/munin3
18049991813,3cyclictest665-21runrttasks3
18049991813,3cyclictest5278-21cut3
18049991813,3cyclictest32030-21sed3
18049991813,3cyclictest26318-21cat3
18049991813,3cyclictest24292-21grep3
18049991813,3cyclictest22160-21grep3
18049991812,4cyclictest13634-21/usr/sbin/munin3
1804999181,16cyclictest0-21swapper/33
1804999181,14cyclictest25491-21grep3
1804999180,16cyclictest0-21swapper/33
18042991814,2cyclictest18073-21cstates2
18042991813,3cyclictest6000-21vmstat2
18042991813,3cyclictest32648-21expr2
18042991813,3cyclictest28193-21basename2
18042991813,3cyclictest27155-21expr2
18042991813,3cyclictest20350-21expr2
18042991813,3cyclictest19705-21hostname2
18042991813,3cyclictest18433-21nfs4_client2
18042991813,3cyclictest15138-21cat2
18042991812,4cyclictest23626-21df_inode2
18042991812,4cyclictest11288-21cat2
1803899183,9cyclictest12330-21apt-get1
1803899183,8cyclictest8276-21apt-get1
18038991816,1cyclictest0-21swapper/11
18038991816,1cyclictest0-21swapper/11
18038991816,1cyclictest0-21swapper/11
18038991814,2cyclictest16795-21/usr/sbin/munin1
18038991813,3cyclictest9099-21cat1
18038991813,3cyclictest9099-21cat1
18038991813,3cyclictest7015-21seq1
18038991813,3cyclictest6564-21expr1
18038991813,3cyclictest31764-21expr1
18038991813,3cyclictest29281-21basename1
18038991813,3cyclictest26161-21/usr/sbin/munin1
18038991813,3cyclictest21688-21ntp_kernel_err1
18038991813,3cyclictest17741-21aten2_r9power_c1
18038991812,4cyclictest7169-21seq1
18038991812,4cyclictest30169-21expr1
18038991812,4cyclictest30066-21cut1
235492170,2sleep10-21swapper/11
1804999173,9cyclictest24156-21taskset3
18049991715,1cyclictest0-21swapper/33
18049991712,3cyclictest7330-21grep3
18049991712,3cyclictest665-21runrttasks3
18049991712,3cyclictest665-21runrttasks3
18049991712,3cyclictest3815-21sed3
18049991712,3cyclictest22162-21sed3
18049991712,3cyclictest20810-21aten2.4-expect3
18049991712,3cyclictest20065-21ls3
18049991712,3cyclictest13394-21latency_hist3
18049991711,4cyclictest505-21dbus-daemon3
18049991711,4cyclictest18433-21cat3
18049991711,3cyclictest28658-21turbostat3
18049991710,4cyclictest2082-21systemd-journal3
18042991714,2cyclictest0-21swapper/22
18038991715,1cyclictest0-21swapper/11
18038991712,3cyclictest25714-21/usr/sbin/munin1
18038991712,3cyclictest21064-21ls1
1804999162,12cyclictest30269-21cut3
18049991613,2cyclictest228862sleep33
18049991610,4cyclictest2082-21systemd-journal3
18049991610,4cyclictest2082-21systemd-journal3
18049991610,3cyclictest14837-21cut3
18038991611,3cyclictest18490-21aten2_r9power_e1
1803899160,15cyclictest0-21swapper/11
1804999159,3cyclictest10333-21gdbus3
1804999149,3cyclictest26663-21gltestperf3
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional