You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-11-19 - 08:39
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 792 highest latencies:
System rack9slot2.osadl.org (updated Wed Nov 19, 2025 00:43:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
252592278215,33sleep10-21swapper/11
251202267184,45sleep00-21swapper/00
252412252180,24sleep30-21swapper/33
252702251215,24sleep20-21swapper/22
2553599243237,4cyclictest0-21swapper/22
2552799190184,4cyclictest23144-21sendmail-msp0
2553099180171,6cyclictest23125-21perf1
946121530,4sleep22553599cyclictest2
255389910498,4cyclictest23096-21munin-run3
277532470,2sleep10-21swapper/11
114662440,3sleep10-21swapper/11
324492430,2sleep232448-21sed2
2552799421,26cyclictest13783-21unixbench-2d0
2552799421,26cyclictest13783-21unixbench-2d0
325792390,2sleep00-21swapper/00
2552799392,34cyclictest9261-21sed0
2552799391,23cyclictest31920-21cat0
2552799390,24cyclictest14202-21expr0
2552799381,21cyclictest11360-21ntp_states0
2552799380,22cyclictest29947-21ntp_states0
2552799380,22cyclictest29947-21ntp_states0
2552799371,21cyclictest17781-21/usr/sbin/munin0
2552799360,22cyclictest19448-21grep0
2552799353,23cyclictest21160-21apt-get0
2552799352,30cyclictest17336-21grep0
2552799352,26cyclictest25409-21apt-get0
2553099347,15cyclictest25406-21seq1
2553099347,14cyclictest1983-21seq1
2552799340,19cyclictest0-21swapper/00
2553099337,15cyclictest9232-21seq1
2553099337,15cyclictest29340-21seq1
2553099334,14cyclictest0-21swapper/11
2552799332,26cyclictest699-21apt-get0
2552799332,26cyclictest15776-21apt-get0
2553099328,9cyclictest8685-21seq1
2553099328,8cyclictest16859-21seq1
2553099327,9cyclictest19313-21seq1
2552799322,23cyclictest23775-21apt-get0
2552799321,27cyclictest27053-21apt-get0
2552799321,26cyclictest1217-21cron0
2552799321,26cyclictest1217-21cron0
2552799321,17cyclictest0-21swapper/00
2553099318,9cyclictest551-21seq1
2553099318,9cyclictest3217-21seq1
2553099318,9cyclictest27193-21seq1
2553099318,9cyclictest18984-21seq1
2553099318,9cyclictest12832-21seq1
2553099318,8cyclictest4576-21seq1
2553099317,9cyclictest9991-21seq1
2553099317,9cyclictest8138-21seq1
2553099317,9cyclictest20871-21seq1
2553099317,9cyclictest19281-21seq1
2553099317,9cyclictest16084-21seq1
2553099317,14cyclictest24556-21seq1
2553099316,14cyclictest27054-21seq1
2553099316,10cyclictest27284-21seq1
2552799315,21cyclictest505-21dbus-daemon0
2552799314,24cyclictest4856-21grep0
2552799312,25cyclictest26232-21chrt0
2552799312,24cyclictest5545-21apt-get0
2552799312,24cyclictest4082-21awk0
2552799312,23cyclictest28327-21apt-get0
2552799312,23cyclictest28327-21apt-get0
25527993114,13cyclictest2082-21systemd-journal0
2552799311,27cyclictest28463-21gltestperf0
2552799311,26cyclictest27726-21awk0
2552799311,25cyclictest14988-21sendmail0
25527993110,18cyclictest245772chrt0
315052300,3sleep32553899cyclictest3
2553099308,8cyclictest6626-21seq1
2553099307,9cyclictest3853-21seq1
2553099307,9cyclictest2593-21seq1
2553099307,9cyclictest23207-21seq1
2553099307,9cyclictest16823-21seq1
2553099307,9cyclictest16823-21seq1
2553099307,9cyclictest14705-21seq1
2553099307,9cyclictest10696-21seq1
2553099307,8cyclictest24976-21seq1
2553099306,9cyclictest4532-21seq1
2553099306,9cyclictest31215-21seq1
2552799302,24cyclictest27481-21perf0
2552799302,22cyclictest7595-21apt-get0
2552799302,22cyclictest27845-21apt-get0
2552799301,24cyclictest21168-21munin-run0
2552799301,24cyclictest11220-21aten2_r9power_e0
2552799301,23cyclictest25148-21perf0
2552799300,27cyclictest6173-21grep0
2553099297,8cyclictest30041-21seq1
2553099297,8cyclictest30041-21seq1
2553099297,8cyclictest28739-21seq1
2553099296,9cyclictest12827-21seq1
2553099296,8cyclictest30774-21seq1
2553099296,8cyclictest30774-21seq1
2552799295,20cyclictest26327-21unixbench_multi0
2552799293,21cyclictest0-21swapper/00
2552799292,21cyclictest0-21swapper/00
2552799291,24cyclictest17112-21cron0
2552799291,24cyclictest17112-21cron0
2552799291,23cyclictest8158-21awk0
2552799291,23cyclictest6084-21munin-run0
2552799291,23cyclictest31644-21perf0
2552799291,23cyclictest30304-21ntpq0
2552799291,23cyclictest3019-21latency_hist0
2552799291,23cyclictest17037-21perf0
2552799291,22cyclictest3126-21apt-get0
2552799290,2cyclictest32148-21apt-get0
2552799290,1cyclictest0-21swapper/00
2553099286,8cyclictest22408-21seq1
25530992817,6cyclictest29988-21apt-get1
2552799283,22cyclictest17700-21cstates0
2552799282,20cyclictest31131-21apt-get0
2552799282,20cyclictest0-21swapper/00
2552799281,24cyclictest19065-21awk0
2552799281,24cyclictest14862-21tr0
2552799281,23cyclictest8197-21cut0
2552799281,23cyclictest2082-21systemd-journal0
2552799281,22cyclictest30877-21gltestperf0
25527992811,14cyclictest10971-21avahi-daemon0
2552799280,1cyclictest0-21swapper/00
2553099276,8cyclictest20647-21seq1
25530992716,6cyclictest9226-21apt-get1
25530992715,6cyclictest13288-21apt-get1
25530992710,10cyclictest0-21swapper/11
2552799271,22cyclictest27456-21cut0
2552799271,22cyclictest1942-21grep0
2552799270,1cyclictest0-21swapper/00
2552799270,1cyclictest0-21swapper/00
25530992616,6cyclictest699-21apt-get1
2552799260,1cyclictest0-21swapper/00
25535992513,3cyclictest3322-21rt-features2
25535992511,12cyclictest15545-21sed2
2553099252,8cyclictest0-21swapper/11
25530992515,5cyclictest23383-21apt-get1
2553599242,17cyclictest16888-21apt-get2
25530992416,5cyclictest505-21dbus-daemon1
25530992416,5cyclictest505-21dbus-daemon1
25530992414,6cyclictest13686-21apt-get1
25530992413,7cyclictest12503-21apt-get1
25530992413,7cyclictest12503-21apt-get1
25530992411,10cyclictest27880-21/usr/sbin/munin1
25538992316,4cyclictest6293-21timerwakeupswit3
2553599234,17cyclictest5374-21cat2
2553599234,17cyclictest0-21swapper/22
2553599233,17cyclictest19152-21awk2
25535992311,3cyclictest33172expr2
2553099239,12cyclictest17532-21tr1
25530992315,5cyclictest17310-21diskstats1
25530992315,5cyclictest12360-21ls1
25538992216,4cyclictest11181-21latency3
2553599224,16cyclictest26195-21gltestperf2
2553599222,18cyclictest0-21swapper/22
2553599222,18cyclictest0-21swapper/22
25535992217,3cyclictest28218-21cut2
25535992216,4cyclictest6053-21open_inodes2
25535992216,4cyclictest22704-21munin-run2
25535992215,4cyclictest478-21sendmail_mailst2
25535992215,4cyclictest478-21sendmail_mailst2
25535992211,7cyclictest1093-21apt-get2
25530992215,4cyclictest12255-21perf1
25530992214,5cyclictest5761-21wc1
25530992214,5cyclictest22354-21sed1
25530992213,5cyclictest6101-21sendmail1
25530992213,5cyclictest28461-21gltestperf1
25538992115,4cyclictest25224-21sed3
25538992115,3cyclictest6105-21proc_pri3
25538992114,4cyclictest13441-21basename3
2553599213,17cyclictest17045-21awk2
2553599212,17cyclictest2213-21cat2
25535992116,3cyclictest7593-21head2
25535992116,3cyclictest26606-21needreboot2
25535992116,3cyclictest11394-21sh2
25535992115,4cyclictest27701-21munin-run2
25535992114,4cyclictest29309-21cut2
25535992114,4cyclictest14068-21cat2
25535992112,5cyclictest11655-21apt-get2
2553599210,3cyclictest21753-21sh2
2553599210,18cyclictest2082-21systemd-journal2
2553599210,18cyclictest16516-21cat2
25530992113,5cyclictest32411-21unixbench-2d1
25530992112,5cyclictest7535-21diskstats1
25530992111,7cyclictest30796-21df_inode1
25538992015,3cyclictest8490-21open_files3
25538992015,3cyclictest16071-21cat3
25538992015,3cyclictest16071-21cat3
25538992015,2cyclictest5659-21unixbench_singl3
25538992014,4cyclictest425-21sh3
25538992014,4cyclictest31634-21sendmail3
25538992014,4cyclictest17576-21sed3
25538992013,5cyclictest505-21dbus-daemon3
25538992013,4cyclictest505-21dbus-daemon3
25538992013,4cyclictest505-21dbus-daemon3
25538992013,4cyclictest14398-21cat3
2553599207,11cyclictest0-21swapper/22
2553599207,11cyclictest0-21swapper/22
25535992016,2cyclictest24406-21irqstats2
25535992015,3cyclictest11963-21latency2
25535992015,3cyclictest11791-21if_err_enp3s02
25535992014,4cyclictest7382-21awk2
25535992014,3cyclictest3822-21latency2
2553599201,3cyclictest32142-21munin-run2
2553599201,16cyclictest12239-21cron2
25535992011,5cyclictest4317-21apt-get2
2553599200,3cyclictest21451-1kworker/2:0H2
2553599200,18cyclictest2465-21munin-run2
2553599200,17cyclictest21451-1kworker/2:0H2
25530992012,5cyclictest19857-21aten2.4-expect1
25530992010,7cyclictest30108-21grep1
25538991915,2cyclictest25953-21aten2_r9power_c3
25538991914,3cyclictest9353-21pluginstate3
25538991914,3cyclictest9125-21/usr/sbin/munin3
25538991914,3cyclictest29829-21cat3
25538991914,3cyclictest27112-21awk3
25538991914,3cyclictest24016-21rt-features3
25538991914,3cyclictest20246-21grep3
25538991914,3cyclictest20149-21cat3
25538991914,3cyclictest15584-21cat3
25538991914,3cyclictest1451-21expr3
25538991914,3cyclictest1240-21idleruntime-cro3
25538991914,3cyclictest1240-21idleruntime-cro3
25538991914,3cyclictest11498-21cat3
25538991913,4cyclictest27833-21basename3
25538991913,4cyclictest14455-21cat3
25538991913,3cyclictest7603-21cut3
25538991913,3cyclictest10333-21gdbus3
25538991912,5cyclictest9693-21grep3
25538991912,4cyclictest22754-21perf3
25538991912,4cyclictest17647-21expr3
25538991912,4cyclictest15709-21timerandwakeup3
2553899191,15cyclictest30857-21sendmail3
2553899191,15cyclictest30857-21sendmail3
25535991917,1cyclictest0-21swapper/22
25535991916,2cyclictest0-21swapper/22
25535991915,2cyclictest31280-21sendmail-msp2
25535991915,2cyclictest18433-21irqstats2
2553599191,4cyclictest505-21dbus-daemon2
25535991914,3cyclictest29623-21unixbench_multi2
25535991914,3cyclictest29623-21unixbench_multi2
25535991914,3cyclictest29231-21uptime2
25535991914,3cyclictest24782-21wc2
25535991914,3cyclictest24018-21kernelversion2
25535991914,3cyclictest21169-21sed2
25535991914,3cyclictest2082-21systemd-journal2
25535991913,4cyclictest27271-21ls2
2553599190,3cyclictest7011-1kworker/2:2H2
2553599190,3cyclictest7011-1kworker/2:2H2
2553599190,3cyclictest6875-21sendmail-msp2
25530991911,5cyclictest5545-21apt-get1
25538991814,2cyclictest30574-21if_enp3s03
25538991813,3cyclictest7332-21idleruntime-cro3
25538991813,3cyclictest4361-21ntpq3
25538991813,3cyclictest29451-21sed3
25538991813,3cyclictest29451-21sed3
25538991813,3cyclictest2478-21ls3
25538991813,3cyclictest23634-21dump-pmu-power3
25538991813,3cyclictest20561-21cat3
25538991813,3cyclictest16323-21basename3
25538991813,3cyclictest11255-21cut3
25538991813,3cyclictest1047-21cat3
25538991812,4cyclictest7319-21cut3
25538991812,3cyclictest25858-21gltestperf3
25538991812,3cyclictest25275-21grep3
25538991812,3cyclictest23866-21aten2.4-expect3
25538991811,5cyclictest31958-21fw_packets3
25538991811,4cyclictest21709-21acpi3
25538991811,4cyclictest1996-21unixbench_multi3
25535991816,1cyclictest0-21swapper/22
25535991816,1cyclictest0-21swapper/22
25535991815,2cyclictest0-21swapper/22
25535991814,2cyclictest818-21cat2
25535991813,3cyclictest8322-21cat2
25535991813,3cyclictest5280-21latency_hist2
25535991813,3cyclictest25633-21cpuspeed_turbos2
25535991813,3cyclictest18079-21needreboot2
25535991812,4cyclictest19734-21ls2
25538991715,1cyclictest0-21swapper/33
25538991713,2cyclictest35-21ksoftirqd/33
25538991713,2cyclictest28844-21sh3
25538991712,3cyclictest505-21dbus-daemon3
25538991712,3cyclictest28828-21dump-pmu-power3
25538991712,3cyclictest2166-21cat3
25538991711,4cyclictest9755-21grep3
2553899170,15cyclictest0-21swapper/33
25535991713,2cyclictest6967-21if_err_enp2s02
25538991611,3cyclictest18841-21mailstats3
25538991611,3cyclictest12833-21cstates3
25538991611,3cyclictest12833-21cstates3
25535991613,2cyclictest0-21swapper/22
180442160,2sleep30-21swapper/33
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional