You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-11-24 - 19:24
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of all highest latencies:
System rack9slot2.osadl.org (updated Mon Nov 24, 2025 12:43:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
77182304274,17sleep30-21swapper/33
68022284203,69sleep00-21swapper/00
796599278275,2cyclictest0-21swapper/33
76972256193,50sleep20-21swapper/22
76202234196,26sleep10-21swapper/11
795599195190,3cyclictest1880-21strings0
795999175171,2cyclictest0-21swapper/11
2224421450,4sleep1795999cyclictest1
79639910096,2cyclictest0-21swapper/22
80112470,2sleep30-21swapper/33
193762410,1sleep00-21swapper/00
295942300,4sleep09-21ksoftirqd/00
224202290,2sleep10-21swapper/11
7963992816,6cyclictest665-21runrttasks2
7963992816,6cyclictest665-21runrttasks2
88922260,1sleep20-21swapper/22
796399261,21cyclictest21109-21sendmail-mta2
7955992618,4cyclictest665-21runrttasks0
7955992617,6cyclictest8175-21apt-get0
796599254,18cyclictest27354-21cut3
7963992517,5cyclictest31918-21sh2
796399251,5cyclictest11999-21awk2
7955992518,4cyclictest1498-21sh0
17672250,2sleep00-21swapper/00
796399244,17cyclictest7415-21cat2
796399243,18cyclictest4912-21latency_hist2
796399242,4cyclictest0-21swapper/22
796399242,19cyclictest2082-21systemd-journal2
7963992416,5cyclictest3530-21sh2
796399241,20cyclictest10333-21gdbus2
796599239,12cyclictest10333-21gdbus3
796399234,17cyclictest9215-21cat2
796399234,17cyclictest17000-21cat2
796399231,4cyclictest4538-21munin-run2
795599233,11cyclictest9-21ksoftirqd/00
795599232,19cyclictest28722-21grep0
7955992315,5cyclictest27213-21idleruntime-cro0
795599231,18cyclictest0-21swapper/00
176542230,3sleep117746-21diskstats1
7965992217,3cyclictest15128-21apt3
7965992216,4cyclictest23725-21cut3
796399224,16cyclictest24511-21awk2
796399223,17cyclictest27147-21latency_hist2
796399223,17cyclictest23100-21latency_hist2
796399222,17cyclictest0-21swapper/22
7963992213,5cyclictest505-21dbus-daemon2
796399221,19cyclictest30893-21sendmail2
796399221,18cyclictest830-21sendmail-mta2
7955992210,3cyclictest20077-21seq0
7965992116,3cyclictest27952-21gltestperf3
7965992116,3cyclictest16351-21df_inode3
7965992116,3cyclictest13204-21latency3
7965992115,4cyclictest15892-21if_err_enp2s03
7965992115,4cyclictest11275-21ls3
7965992111,6cyclictest21371-21apt-get3
796599210,5cyclictest0-21swapper/33
796599210,20cyclictest0-21swapper/33
7963992115,3cyclictest13276-21wc2
7963992115,3cyclictest13276-21wc2
796399211,3cyclictest18746-1kworker/2:2H2
796399211,18cyclictest10004-21cat2
796399211,17cyclictest23133-21cron2
796399211,17cyclictest21975-21procmail2
796399211,17cyclictest13304-21cron2
796399210,3cyclictest27842-21munin-run2
796399210,19cyclictest6354-21kworker/2:12
796399210,18cyclictest1617-21cat2
7959992116,3cyclictest25025-21/usr/sbin/munin1
7959992116,3cyclictest10898-21/usr/sbin/munin1
7959992115,4cyclictest505-21dbus-daemon1
7959992110,6cyclictest19189-21apt-get1
795599217,4cyclictest3089-21grep0
795599213,11cyclictest665-21runrttasks0
7955992116,3cyclictest26917-21ntpq0
7955992114,4cyclictest23096-21cron0
7955992113,4cyclictest28156-21aten2.4-expect0
796599209,8cyclictest7479-21cut3
7965992016,2cyclictest10626-21df3
7965992015,3cyclictest7862-21expr3
7965992015,3cyclictest5265-21head3
7965992015,3cyclictest31064-21open_inodes3
7965992015,3cyclictest26016-21irqstats3
7965992015,3cyclictest24475-21diskstats3
7965992015,3cyclictest24396-21sendmail_mailst3
7965992015,3cyclictest21287-21if_err_enp3s03
7965992015,3cyclictest1801-21aten2_r9power_e3
7965992015,3cyclictest1761-21kernelversion3
7965992015,3cyclictest17603-21forks3
7965992015,3cyclictest17302-21/usr/sbin/munin3
7965992015,3cyclictest14573-21/usr/sbin/munin3
7965992014,4cyclictest5886-21fw_packets3
7965992014,4cyclictest26471-21cat3
7965992013,4cyclictest22459-21df3
7965992013,4cyclictest13713-21cat3
796399209,6cyclictest505-21dbus-daemon2
796399203,15cyclictest0-21swapper/22
796399202,10cyclictest9516-21taskset2
7963992016,2cyclictest27954-21ntp_states2
7963992016,2cyclictest15221-21interrupts2
7963992014,3cyclictest2082-21systemd-journal2
796399201,3cyclictest1467-1kworker/2:2H2
796399201,16cyclictest9246-21latency_hist2
796399201,13cyclictest292-21jbd2/mmcblk0p2-2
796399201,13cyclictest292-21jbd2/mmcblk0p2-2
7959992015,3cyclictest7637-21needreboot1
7959992015,3cyclictest28535-21awk1
7959992015,3cyclictest25421-21/usr/sbin/munin1
7959992015,3cyclictest1735-21/usr/sbin/munin1
7959992015,3cyclictest13883-21/usr/sbin/munin1
7959992014,4cyclictest505-21dbus-daemon1
7959992014,4cyclictest22181-21grep1
7959992014,4cyclictest17466-21seq1
7959992014,4cyclictest13346-21cut1
7959992014,3cyclictest6010-21ntpq1
7959992013,5cyclictest3033-21cut1
7959992013,5cyclictest10517-21cut1
7959992013,4cyclictest27731-21expr1
7959992011,6cyclictest13105-21apt-get1
795599203,13cyclictest17567-21pmu-power0
795599203,13cyclictest17567-21pmu-power0
7955992015,3cyclictest3371-21/usr/sbin/munin0
7955992015,3cyclictest3371-21/usr/sbin/munin0
7955992015,3cyclictest13883-21/usr/sbin/munin0
7955992014,4cyclictest29308-21sort0
7955992014,4cyclictest11080-21ntpq0
7955992014,4cyclictest1080-21sed0
7955992014,3cyclictest6574-21sh0
7955992014,3cyclictest12493-21packagekitd0
7955992013,4cyclictest9268-21apt0
7955992013,4cyclictest23797-21sh0
7955992013,4cyclictest20651-21/usr/sbin/munin0
7955992013,4cyclictest15956-21grep0
7955992013,4cyclictest12830-21grep0
795599200,1cyclictest0-21swapper/00
234782200,3sleep30-21swapper/33
7965991915,2cyclictest9219-21sendmail_mailst3
7965991915,2cyclictest28073-21latency3
7965991915,2cyclictest19959-21/usr/sbin/munin3
7965991914,3cyclictest9693-21grep3
7965991914,3cyclictest7013-21ntpq3
7965991914,3cyclictest4854-21missed_timers3
7965991914,3cyclictest4509-21cat3
7965991914,3cyclictest4509-21cat3
7965991914,3cyclictest31832-21expr3
7965991914,3cyclictest30007-21pluginstate3
7965991914,3cyclictest26537-21seq3
7965991914,3cyclictest21239-21cat3
7965991914,3cyclictest18752-21needreboot3
7965991914,3cyclictest1563-21nfs4_client3
7965991913,4cyclictest9077-21cat3
7965991913,4cyclictest29485-21basename3
7965991913,4cyclictest29485-21basename3
7965991913,4cyclictest26224-21cat3
7965991913,4cyclictest12567-21wc3
7965991913,4cyclictest12567-21wc3
7965991913,3cyclictest13973-21sh3
7965991912,4cyclictest28466-21expr3
796599191,16cyclictest21911-21/usr/sbin/munin3
796399192,10cyclictest13870-21chrt2
7963991915,2cyclictest12673-21latency_hist2
7963991914,3cyclictest7976-21sed2
7963991914,3cyclictest4197-21aten2_r9power_v2
7963991914,3cyclictest2881-21cron2
7963991914,3cyclictest19737-21perf2
7963991914,3cyclictest11163-21sed2
7963991913,4cyclictest32120-21if_enp3s02
7963991913,3cyclictest2082-21systemd-journal2
7963991912,4cyclictest31277-21sendmail2
7963991912,4cyclictest31277-21sendmail2
796399191,16cyclictest0-21swapper/22
7963991911,5cyclictest7911-21cron2
7963991911,5cyclictest10333-21gdbus2
7963991911,4cyclictest1-21systemd2
796399190,3cyclictest6974-1kworker/2:1H2
796399190,3cyclictest25837-21perf2
7959991914,3cyclictest8157-21/usr/sbin/munin1
7959991914,3cyclictest7789-21if_enp2s01
7959991914,3cyclictest6853-21seq1
7959991914,3cyclictest599-21seq1
7959991914,3cyclictest3812-21df_inode1
7959991914,3cyclictest3812-21df_inode1
7959991914,3cyclictest32156-21acpi1
7959991914,3cyclictest31195-21ps1
7959991914,3cyclictest29225-21aten2.4-expect1
7959991914,3cyclictest27061-21/usr/sbin/munin1
7959991914,3cyclictest25882-21sed1
7959991914,3cyclictest24017-21date1
7959991914,3cyclictest23401-21/usr/sbin/munin1
7959991914,3cyclictest22054-21uptime1
7959991914,3cyclictest16231-21seq1
7959991914,3cyclictest15130-21apt1
7959991914,3cyclictest13180-21seq1
7959991914,3cyclictest12524-21seq1
7959991914,3cyclictest12407-21apt-config1
7959991914,3cyclictest10192-21acpi1
7959991913,4cyclictest505-21dbus-daemon1
7959991913,4cyclictest27861-21basename1
7959991913,4cyclictest24264-21awk1
7959991913,4cyclictest23353-21awk1
7959991913,4cyclictest18897-21wc1
7959991913,4cyclictest10535-21seq1
7959991913,3cyclictest16798-21cpu1
7959991913,3cyclictest16798-21cpu1
7959991912,4cyclictest32409-21ntp_states1
7959991912,4cyclictest20233-21awk1
7959991911,4cyclictest731-21apt-get1
795599192,13cyclictest31623-21grep0
7955991916,2cyclictest0-21swapper/00
7955991915,2cyclictest9494-21/usr/sbin/munin0
7955991914,3cyclictest9-21ksoftirqd/00
7955991914,3cyclictest8860-21/usr/sbin/munin0
7955991914,3cyclictest8403-21/usr/sbin/munin0
7955991914,3cyclictest16911-21turbostat.cron0
7955991914,3cyclictest16733-21needreboot0
7955991913,3cyclictest665-21runrttasks0
795599191,2cyclictest111rcu_preempt0
7955991912,4cyclictest15015-21idleruntime-cro0
7955991911,4cyclictest31585-21aten2_r9power_v0
7965991814,2cyclictest31462-21/usr/sbin/munin3
7965991813,3cyclictest5814-21kernelversion3
7965991813,3cyclictest3672-21pmu-power3
7965991813,3cyclictest30357-21pluginstate3
7965991813,3cyclictest18686-21sh3
7965991813,3cyclictest17505-21open_files3
7965991813,3cyclictest17505-21open_files3
7965991813,3cyclictest14141-21ls3
796599181,2cyclictest32276-21memory3
7965991812,4cyclictest32687-21expr3
7965991812,4cyclictest19957-21wc3
7963991816,1cyclictest0-21swapper/22
7963991816,1cyclictest0-21swapper/22
7963991814,2cyclictest21283-21cat2
7963991812,4cyclictest1828-21sed2
796399181,16cyclictest0-21swapper/22
7963991811,4cyclictest28646-21grep2
796399180,16cyclictest20415-21latency_hist2
7959991814,2cyclictest11339-21/usr/sbin/munin1
7959991813,3cyclictest2794-21seq1
7959991813,3cyclictest19480-21seq1
7959991813,3cyclictest18008-21ntp_kernel_pll_1
7959991813,3cyclictest13363-21/usr/sbin/munin1
7959991812,4cyclictest31523-21expr1
7959991812,4cyclictest30022-21cat1
7959991812,4cyclictest29682-21cat1
7959991812,4cyclictest29682-21cat1
7959991812,4cyclictest15983-21cat1
7959991812,4cyclictest14543-21grep1
7959991811,4cyclictest4774-21acpi1
795999180,16cyclictest0-21swapper/11
795599184,8cyclictest18654-21apt-get0
7955991813,3cyclictest665-21runrttasks0
7955991813,3cyclictest665-21runrttasks0
7955991813,3cyclictest3660-21open_inodes0
7955991813,3cyclictest22704-21/usr/sbin/munin0
7955991813,3cyclictest21353-21/usr/sbin/munin0
7955991813,3cyclictest15272-21/usr/sbin/munin0
7955991812,4cyclictest665-21runrttasks0
7955991812,3cyclictest6310-21xargs0
7955991812,3cyclictest30821-21tail0
7955991812,3cyclictest30821-21tail0
7955991811,4cyclictest6220-21basename0
7965991712,3cyclictest3670-21expr3
7965991712,3cyclictest13286-21aten2_r9power_e3
7965991712,3cyclictest11048-21aten2_r9power_v3
7963991714,2cyclictest28-21ksoftirqd/22
7963991712,3cyclictest22092-21cut2
7963991711,4cyclictest14196-21sed2
7959991713,2cyclictest4069-21/usr/sbin/munin1
7959991712,3cyclictest7447-21/usr/sbin/munin1
7959991711,4cyclictest3339-21cat1
7959991711,4cyclictest20294-21grep1
795599178,6cyclictest0-21swapper/00
7955991715,1cyclictest0-21swapper/00
7955991715,1cyclictest0-21swapper/00
7955991715,1cyclictest0-21swapper/00
7955991713,2cyclictest12387-21gzip0
7955991713,2cyclictest12387-21gzip0
7955991712,3cyclictest18514-21sed0
7955991712,3cyclictest1163-21aten2_r9power_e0
7955991711,4cyclictest25412-21expr0
7955991711,3cyclictest9317-21basename0
7955991711,3cyclictest7302-21grep0
7955991710,4cyclictest23739-21cstates0
7955991511,2cyclictest17936-21/usr/sbin/munin0
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional