You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-10-31 - 00:56
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rack9slot2.osadl.org (updated Thu Oct 30, 2025 12:43:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
118282304266,25sleep00-21swapper/00
1225899284278,4cyclictest292-21jbd2/mmcblk0p2-3
117762281184,52sleep30-21swapper/33
1224999279270,6cyclictest20899-21awk1
1224199277269,5cyclictest20901-21perf0
119562276245,18sleep10-21swapper/11
120172254179,62sleep20-21swapper/22
1225399176169,3cyclictest20871-21munin-run2
157292630,3sleep00-21swapper/00
157032470,1sleep00-21swapper/00
313942430,2sleep10-21swapper/11
152562430,1sleep10-21swapper/11
78162410,1sleep30-21swapper/33
1225399410,22cyclictest3980-21latency_hist2
1225399400,23cyclictest18872-21/usr/sbin/munin2
224642390,1sleep10-21swapper/11
12253993913,23cyclictest1805-21sendmail2
1225399390,25cyclictest29473-21basename2
1225399381,19cyclictest11080-21ntp_states2
1225399380,19cyclictest14329-21munin-node2
1225399371,19cyclictest0-21swapper/22
1225399371,19cyclictest0-21swapper/22
1225399361,19cyclictest30446-21apt-get2
1225399360,22cyclictest30453-21taskset2
65492350,1sleep00-21swapper/00
222192350,8sleep335-21ksoftirqd/33
1225399351,20cyclictest17798-21taskset2
1225399340,18cyclictest27895-21apt-config2
8722330,2sleep30-21swapper/33
12253993316,15cyclictest19083-21sed2
1225399320,29cyclictest32180-21/usr/sbin/munin2
1225399320,18cyclictest0-21swapper/22
1225399320,18cyclictest0-21swapper/22
12253993115,14cyclictest5694-21expr2
1225399310,17cyclictest0-21swapper/22
1225399310,17cyclictest0-21swapper/22
1225399310,17cyclictest0-21swapper/22
1225399303,24cyclictest2375-21tr2
1225399300,28cyclictest0-21swapper/22
1225399300,16cyclictest0-21swapper/22
1225399299,18cyclictest13262-21latency_hist2
1225399292,23cyclictest26680-21tr2
1225399291,25cyclictest20244-21cpuspeed_turbos2
12253992912,14cyclictest10632-21seq2
12253992911,15cyclictest4569-21cat2
1225399290,16cyclictest0-21swapper/22
12253992813,13cyclictest30465-21df2
12253992812,13cyclictest26407-21cat2
1225399280,26cyclictest0-21swapper/22
1225399280,15cyclictest0-21swapper/22
1225399279,15cyclictest24027-21ntp_states2
1225399270,24cyclictest25781-21chrt2
1225399270,24cyclictest22903-21munin-run2
1225399270,24cyclictest18469-21munin-run2
1225399270,24cyclictest10962-21find2
1225399270,17cyclictest8085-21cat2
1225399261,22cyclictest8179-21df_inode2
1225399261,22cyclictest8148-21apt2
1225399261,22cyclictest5944-21cpuspeed2
12253992612,11cyclictest21634-21aten2_r9power_c2
12253992611,12cyclictest25637-21cstates2
1225399260,23cyclictest5496-21perf2
1225399260,23cyclictest3050-21munin-run2
1225399260,23cyclictest14394-21munin-run2
1224199261,8cyclictest24952-21cups-browsed0
307802250,2sleep00-21swapper/00
1225399259,13cyclictest458-21ls2
1225399258,14cyclictest14872-21processes2
1225399254,18cyclictest7324-21cat2
1225399251,21cyclictest22822-21/usr/sbin/munin2
1225399251,21cyclictest17821-21/usr/sbin/munin2
1225399251,19cyclictest23642-21apt-get2
12253992511,12cyclictest32491-21needreboot2
1225399250,22cyclictest21423-21date2
1225399250,22cyclictest0-21swapper/22
1225399250,22cyclictest0-21swapper/22
1225399250,22cyclictest0-21swapper/22
1225399249,13cyclictest23776-21munin-run2
1225399249,13cyclictest15072-21df2
1225399248,13cyclictest20914-21basename2
1225399241,20cyclictest29078-21/usr/sbin/munin2
1225399241,20cyclictest2651-21grep2
1225399241,20cyclictest16732-21/usr/sbin/munin2
1225399240,22cyclictest4981-21runrttasks2
1225399240,22cyclictest0-21swapper/22
319562230,4sleep1201rcuc/11
1225899232,19cyclictest16559-21cron3
1225399231,20cyclictest18019-21/usr/sbin/munin2
12241992315,4cyclictest13885-21apt-get0
12249992215,4cyclictest25801-21cron1
52892210,4sleep0101rcuc/00
12258992116,3cyclictest29047-21ls3
12258992115,4cyclictest5437-21unixbench_singl3
12258992115,4cyclictest24510-21cat3
12258992115,4cyclictest21472-21cat3
12258992115,4cyclictest17082-21expr3
12258992114,4cyclictest5098-21basename3
12258992114,4cyclictest12256-21cat3
12258992113,5cyclictest27854-21grep3
12249992116,3cyclictest665-21runrttasks1
12249992116,3cyclictest25666-21seq1
12249992116,3cyclictest21-21ksoftirqd/11
12249992115,4cyclictest7856-21seq1
12249992115,4cyclictest29942-21grep1
12249992115,4cyclictest23767-21tail1
12249992115,4cyclictest1197-21sed1
12249992115,4cyclictest1190-21sed1
12249992113,5cyclictest10046-21tr1
12241992115,4cyclictest22454-21awk0
12241992114,4cyclictest10670-21ntpq0
1225899201,7cyclictest29794-21turbostat3
12258992015,3cyclictest9187-21sendmail_mailst3
12258992015,3cyclictest6633-21unixbench_multi3
12258992015,3cyclictest1676-21apt3
12258992015,3cyclictest10924-21interrupts3
12258992014,4cyclictest6136-21cut3
12258992014,4cyclictest21557-21wc3
12258992014,4cyclictest14468-21date3
12258992014,3cyclictest1821-21tr3
12258992013,4cyclictest6839-21cat3
12258992013,4cyclictest35-21ksoftirqd/33
12258992013,4cyclictest11592-21sh3
12258992013,4cyclictest11202-21basename3
12258992012,5cyclictest9519-21cron3
12249992016,2cyclictest15501-21/usr/sbin/munin1
12249992015,3cyclictest5318-21/usr/sbin/munin1
12249992015,3cyclictest25822-21apt-get1
12249992015,3cyclictest18299-21seq1
12249992015,3cyclictest13338-21sed1
12249992014,4cyclictest3532-21sed1
12249992014,4cyclictest31898-21grep1
12249992014,4cyclictest27319-21cat1
12249992014,4cyclictest17080-21awk1
12249992014,4cyclictest13797-21sed1
12249992014,4cyclictest13571-21sed1
12249992014,4cyclictest13571-21sed1
12249992012,5cyclictest3299-21cat1
12241992015,3cyclictest8218-21ntpq0
12241992015,3cyclictest28010-21acpi0
12241992015,3cyclictest25387-21seq0
12241992015,3cyclictest19920-21seq0
12241992015,3cyclictest1716-21forks0
12241992015,3cyclictest11651-21seq0
12241992015,3cyclictest11065-21seq0
12241992014,4cyclictest5318-21/usr/sbin/munin0
12241992014,4cyclictest28256-21cat0
12241992014,4cyclictest21731-21cut0
1225899192,15cyclictest0-21swapper/33
12258991917,1cyclictest0-21swapper/33
12258991915,2cyclictest12324-21aten2_r9power_p3
12258991914,3cyclictest8566-21cstates3
12258991914,3cyclictest6571-21ntp_kernel_err3
12258991914,3cyclictest2693-21basename3
12258991914,3cyclictest24432-21cat3
12258991914,3cyclictest24276-21cat3
12258991914,3cyclictest19041-21ls3
12258991914,3cyclictest17308-21awk3
12258991914,3cyclictest13492-21apt-get3
12258991914,3cyclictest12206-21expr3
12258991913,4cyclictest32280-21date3
12258991913,4cyclictest16894-21cat3
12258991913,4cyclictest1601-21cut3
12258991913,3cyclictest15922-21expr3
1224999198,8cyclictest0-21swapper/11
12249991914,3cyclictest7565-21sed1
12249991914,3cyclictest6333-21cut1
12249991914,3cyclictest29846-21seq1
12249991914,3cyclictest25685-21sed1
12249991914,3cyclictest25685-21sed1
12249991914,3cyclictest17640-21seq1
12249991914,3cyclictest14635-21ls1
12249991914,3cyclictest13474-21/usr/sbin/munin1
12249991913,4cyclictest665-21runrttasks1
12249991913,4cyclictest5642-21seq1
12249991913,4cyclictest1626-21cut1
12249991913,4cyclictest11051-21ntpq1
12249991913,3cyclictest2082-21systemd-journal1
12249991912,4cyclictest9662-21sendmail-mta1
12241991915,2cyclictest27325-21apt0
12241991915,2cyclictest24412-21/usr/sbin/munin0
12241991915,2cyclictest24412-21/usr/sbin/munin0
12241991914,3cyclictest7741-21/usr/sbin/munin0
12241991914,3cyclictest7244-21seq0
12241991914,3cyclictest5547-21seq0
12241991914,3cyclictest4262-21cat0
12241991914,3cyclictest32651-21awk0
12241991914,3cyclictest32566-21open_inodes0
12241991914,3cyclictest28791-21ls0
12241991914,3cyclictest25268-21cat0
12241991914,3cyclictest2405-21cat0
12241991914,3cyclictest22791-21cat0
12241991914,3cyclictest19241-21seq0
12241991914,3cyclictest18209-21date0
12241991914,3cyclictest18141-21seq0
12241991914,3cyclictest16975-21seq0
12241991914,3cyclictest15910-21seq0
12241991914,3cyclictest14203-21sed0
12241991914,3cyclictest13003-21expr0
12241991914,3cyclictest11870-21sh0
12241991914,3cyclictest11860-21seq0
12241991913,4cyclictest31374-21ntpq0
12241991913,4cyclictest24953-21seq0
12241991913,4cyclictest2082-21systemd-journal0
12241991913,4cyclictest17397-21seq0
12241991913,4cyclictest13531-21grep0
12241991913,4cyclictest13013-21seq0
12241991913,4cyclictest13013-21seq0
12241991913,3cyclictest8775-21idleruntime0
12258991816,1cyclictest0-21swapper/33
12258991816,1cyclictest0-21swapper/33
12258991816,1cyclictest0-21swapper/33
12258991816,1cyclictest0-21swapper/33
12258991816,1cyclictest0-21swapper/33
12258991814,2cyclictest29431-21apt-config3
12258991813,3cyclictest30915-21ntp_offset3
12258991813,3cyclictest26058-21gpgv3
12258991813,3cyclictest18427-21ntp_kernel_pll_3
12258991813,3cyclictest14719-21nfs4_client3
12258991812,4cyclictest35-21ksoftirqd/33
12258991812,4cyclictest23971-21cat3
12258991812,4cyclictest21080-21switchtime3
12258991812,3cyclictest15062-21cat3
12258991811,4cyclictest29279-21ntpq3
1225899180,16cyclictest17507-21diskstats3
1224999182,9cyclictest12240-21apt-get1
12249991815,2cyclictest18346-21/usr/sbin/munin1
12249991814,2cyclictest9795-21/usr/sbin/munin1
12249991814,2cyclictest3690-21/usr/sbin/munin1
12249991814,2cyclictest19580-21/usr/sbin/munin1
12249991814,2cyclictest11824-21/usr/sbin/munin1
12249991813,3cyclictest7341-21/usr/sbin/munin1
12249991813,3cyclictest522-21sed1
12249991813,3cyclictest26449-21timerandwakeup1
12249991813,3cyclictest17688-21aten2_r9power_v1
12249991813,3cyclictest14329-21munin-node1
12249991813,3cyclictest1260-21/usr/sbin/munin1
12249991812,4cyclictest27225-21grep1
12249991812,4cyclictest24638-21seq1
12249991812,4cyclictest21224-21sed1
12249991812,4cyclictest21-21ksoftirqd/11
12241991814,2cyclictest28489-21/usr/sbin/munin0
12241991813,3cyclictest5652-21seq0
12241991813,3cyclictest31246-21uname0
12241991813,3cyclictest30533-21sh0
12241991813,3cyclictest27416-21seq0
12241991813,3cyclictest2713-21cat0
12241991813,3cyclictest2418-21missed_timers0
12241991813,3cyclictest21586-21wc0
12241991813,3cyclictest21370-21ls0
12241991813,3cyclictest20143-21basename0
12241991813,3cyclictest18524-21cat0
12241991813,3cyclictest17190-21hostname0
12241991813,3cyclictest13592-21seq0
12241991813,3cyclictest1047-21seq0
12241991812,4cyclictest7411-21grep0
12241991812,4cyclictest21610-21seq0
12258991715,1cyclictest0-21swapper/33
12258991712,3cyclictest665-21runrttasks3
12258991712,3cyclictest4065-21cat3
12258991712,3cyclictest15109-21ntp_kernel_err3
12258991712,3cyclictest1458-21cpuspeed3
12258991710,4cyclictest28684-21head3
12249991714,2cyclictest0-21swapper/11
12249991712,3cyclictest16523-21cpuspeed_turbos1
12249991712,3cyclictest11524-21sed1
1224999171,13cyclictest26714-21lldpd1
12249991710,4cyclictest30299-21cut1
12241991710,4cyclictest26669-21lldpd0
12258991611,3cyclictest25577-21timerandwakeup3
12258991611,3cyclictest25577-21timerandwakeup3
12258991610,4cyclictest23123-21cat3
12249991614,1cyclictest0-21swapper/11
12249991611,3cyclictest4352-21mailstats1
12249991611,3cyclictest20710-21cstates1
12249991610,3cyclictest9450-21aten2.4-expect1
12241991612,2cyclictest25305-21apt0
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional