You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-07-01 - 05:36
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rack9slot2.osadl.org (updated Tue Jul 01, 2025 00:43:24)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
75912308204,67sleep10-21swapper/11
75752270173,84sleep00-21swapper/00
74912255217,25sleep30-21swapper/33
59762247182,46sleep20-21swapper/22
55972500,4sleep0788799cyclictest0
213712450,2sleep10-21swapper/11
217232410,1sleep10-21swapper/11
790099330,31cyclictest11426-21kworker/3:23
788799330,18cyclictest0-21swapper/00
788799321,19cyclictest665-21runrttasks0
788799320,9cyclictest10434-21latency_hist0
788799320,14cyclictest30171-21cups-browsed0
788799320,10cyclictest16612-21sendmail-mta0
789199313,9cyclictest23353-21dpkg1
788799319,9cyclictest9278-21basename0
788799310,17cyclictest0-21swapper/00
788799300,11cyclictest11292-21munin-run0
788799290,16cyclictest0-21swapper/00
788799280,15cyclictest0-21swapper/00
788799270,16cyclictest0-21swapper/00
788799270,16cyclictest0-21swapper/00
788799270,15cyclictest0-21swapper/00
788799270,15cyclictest0-21swapper/00
788799270,14cyclictest665-21runrttasks0
788799270,11cyclictest7115-21sed0
788799270,10cyclictest8906-21grep0
789199264,6cyclictest10254-21seq1
788799260,16cyclictest0-21swapper/00
788799260,10cyclictest0-21swapper/00
788799260,10cyclictest0-21swapper/00
788799260,10cyclictest0-21swapper/00
790099250,8cyclictest21471-21idleruntime-cro3
7896992519,3cyclictest18231-21uptime2
789199255,6cyclictest900-21seq1
789199255,6cyclictest3087-21seq1
789199254,7cyclictest12152-21runrttasks1
789199254,6cyclictest19666-21seq1
789199254,6cyclictest16551-21seq1
789199253,6cyclictest9014-21seq1
788799254,8cyclictest665-21runrttasks0
788799250,8cyclictest3133-21cron0
788799250,14cyclictest27347-21seq0
788799250,10cyclictest13255-21expr0
788799250,10cyclictest0-21swapper/00
7900992417,4cyclictest9844-21cron3
7900992414,5cyclictest18973-21apt-get3
789699242,2cyclictest0-21swapper/22
789699241,4cyclictest1208-21munin-run2
7896992413,9cyclictest9263-21ls2
789199244,6cyclictest7113-21seq1
789199244,6cyclictest5041-21seq1
789199244,6cyclictest5041-21seq1
789199244,6cyclictest32480-21seq1
789199244,6cyclictest29573-21seq1
789199244,6cyclictest27170-21seq1
789199244,6cyclictest26551-21seq1
789199244,6cyclictest20597-21seq1
789199244,6cyclictest17167-21seq1
789199244,6cyclictest14527-21seq1
789199244,6cyclictest13575-21seq1
789199244,6cyclictest10806-21seq1
789199243,6cyclictest32392-21seq1
789199243,6cyclictest13030-21runrttasks1
7891992411,8cyclictest9904-21munin-node1
7900992313,5cyclictest505-21dbus-daemon3
789699234,17cyclictest6483-21latency_hist2
789699232,16cyclictest638-21apt-get2
7896992316,4cyclictest22565-21df2
789699231,19cyclictest505-21dbus-daemon2
789199234,6cyclictest9192-21seq1
789199234,6cyclictest2913-21taskset1
789199234,6cyclictest25624-21seq1
789199234,6cyclictest2190-21taskset1
789199233,7cyclictest28839-21seq1
789199233,6cyclictest31580-21seq1
789199233,6cyclictest28427-21taskset1
789199233,6cyclictest21339-21runrttasks1
789199233,6cyclictest11345-21seq1
7891992313,7cyclictest16906-21grep1
7887992317,4cyclictest31059-21apt-get0
7887992317,4cyclictest1411-21/usr/sbin/munin0
7887992316,5cyclictest30619-21ntpq0
788799230,9cyclictest1875-21sed0
788799230,9cyclictest0-21swapper/00
788799230,9cyclictest0-21swapper/00
788799230,9cyclictest0-21swapper/00
788799230,8cyclictest5863-21df0
788799230,8cyclictest4307-21latency_hist0
125482230,1sleep30-21swapper/33
789699223,17cyclictest9847-21latency_hist2
7896992215,4cyclictest28378-21users2
7896992215,4cyclictest10333-21gdbus2
7896992215,4cyclictest10333-21gdbus2
789699221,18cyclictest3241-21munin-run2
789199229,8cyclictest665-21runrttasks1
789199229,10cyclictest13762-21idleruntime-cro1
789199223,6cyclictest25236-21runrttasks1
789199223,6cyclictest10275-21seq1
789199222,6cyclictest21-21ksoftirqd/11
7887992217,4cyclictest32767-21ntp_states0
7887992216,5cyclictest22159-21df0
7887992216,5cyclictest16466-21df_inode0
7887992216,4cyclictest30105-40systemctl0
7887992216,4cyclictest29203-21seq0
7887992216,4cyclictest27050-21ntpq0
7887992216,4cyclictest23107-21/usr/sbin/munin0
7887992216,4cyclictest13583-21/usr/sbin/munin0
7887992214,6cyclictest16843-21apt-get0
788799221,18cyclictest14243-21grep0
788799220,9cyclictest0-21swapper/00
65742220,2sleep10-21swapper/11
7900992116,3cyclictest29813-21sed3
7900992115,4cyclictest16021-21sed3
7900992114,4cyclictest30305-21acpi3
789699213,16cyclictest23087-21latency_hist2
7896992116,3cyclictest29066-21nfs4_client2
7896992116,3cyclictest28-21ksoftirqd/22
7896992116,3cyclictest17335-21expr2
7896992115,4cyclictest28265-21fw_packets2
7896992115,3cyclictest24624-21ntpq2
7896992114,4cyclictest21586-21latency2
7896992113,5cyclictest10333-21gdbus2
789699211,18cyclictest12546-21procmail2
789199219,7cyclictest15762-21awk1
789199218,6cyclictest17671-21apt-get1
789199213,5cyclictest4054-21taskset1
789199213,5cyclictest14490-21seq1
7891992114,4cyclictest31788-21seq1
7891992111,6cyclictest20102-21apt-get1
7891992111,6cyclictest20102-21apt-get1
7891992111,5cyclictest5567-21grep1
7891992110,6cyclictest31894-21apt-get1
7891992110,5cyclictest22933-21apt-get1
7887992115,5cyclictest18494-21df0
7887992115,4cyclictest24472-21switchtime0
7887992115,4cyclictest12357-21sshd0
242932210,2sleep00-21swapper/00
24062210,4sleep2789699cyclictest2
13462210,2sleep31348-21wc3
126722210,3sleep10-21swapper/11
790099202,15cyclictest16135-21head3
7900992015,3cyclictest30300-21entropy3
7900992015,3cyclictest26766-21switchtime3
7900992015,3cyclictest20203-21aten2_r9power_v3
7900992015,3cyclictest20203-21aten2_r9power_v3
7900992015,3cyclictest18917-21ntp_kernel_err3
7900992015,3cyclictest14779-21/usr/sbin/munin3
7900992014,4cyclictest505-21dbus-daemon3
7900992013,4cyclictest1870-21expr3
7900992012,4cyclictest5172-21sendmail3
790099201,17cyclictest8399-21latency_hist3
790099201,16cyclictest11783-21awk3
789699206,3cyclictest209872cat2
7896992016,2cyclictest29495-21sendmail2
7896992016,2cyclictest17472-21sed2
7896992015,3cyclictest5467-21ntp_states2
7896992015,3cyclictest3409-21aten2_r9power_c2
7896992015,3cyclictest30740-21ntpq2
7896992015,3cyclictest26093-21expr2
7896992015,3cyclictest20598-21pluginstate2
7896992015,3cyclictest15516-21sed2
7896992015,3cyclictest11396-21turbostat2
7896992014,4cyclictest6314-21ntp_offset2
7896992014,4cyclictest26054-21date2
7896992013,4cyclictest16687-21sh2
789699201,17cyclictest7309-21latency_hist2
789699201,17cyclictest21850-1kworker/2:0H2
789699201,17cyclictest0-21swapper/22
789699200,18cyclictest25183-21cat2
789699200,17cyclictest24695-21cron2
789199209,7cyclictest488-21apt-get1
789199202,6cyclictest21-21ksoftirqd/11
789199202,5cyclictest21-21ksoftirqd/11
7891992010,6cyclictest7456-21grep1
788799203,11cyclictest8802-21taskset0
7887992015,4cyclictest5230-21irqstats0
7887992015,4cyclictest31542-21perf0
7887992015,4cyclictest19748-21ntp_states0
7887992015,3cyclictest12441-21gltestperf0
7887992014,4cyclictest17959-21processes0
7887992011,5cyclictest505-21dbus-daemon0
788799200,8cyclictest0-21swapper/00
788799200,7cyclictest0-21swapper/00
7900991915,2cyclictest4646-21aten2_r9power_e3
7900991915,2cyclictest27725-21aten2_r9power_c3
7900991914,3cyclictest665-21runrttasks3
7900991914,3cyclictest30077-21which3
7900991914,3cyclictest29334-21sed3
7900991914,3cyclictest27611-21vmstat3
7900991914,3cyclictest19411-21seq3
7900991914,3cyclictest18529-21ntpq3
7900991914,3cyclictest1842-21expr3
7900991914,3cyclictest17019-21aten2_r9power_p3
7900991914,3cyclictest16979-21pmu-power3
7900991914,3cyclictest13823-21sendmail_mailst3
7900991914,3cyclictest13705-21strings3
7900991914,3cyclictest10984-21awk3
7900991913,4cyclictest25550-21idleruntime-cro3
7900991913,4cyclictest17947-21sed3
7900991913,3cyclictest3626-21aten2.4-expect3
7900991913,3cyclictest3626-21aten2.4-expect3
7900991912,4cyclictest6581-21cat3
7900991912,4cyclictest505-21dbus-daemon3
7900991912,4cyclictest10602-21cat3
790099190,6cyclictest11308-21ls3
7896991915,2cyclictest7906-21cstates2
7896991915,2cyclictest16137-21grep2
7896991914,3cyclictest32632-21ntpq2
7896991914,3cyclictest25781-21/usr/sbin/munin2
7896991914,3cyclictest20946-21ntp_kernel_pll_2
7896991914,3cyclictest20946-21ntp_kernel_pll_2
7896991914,3cyclictest19413-21idleruntime2
7896991914,3cyclictest18450-21expr2
7896991914,3cyclictest16530-21grep2
7896991914,3cyclictest13748-21idleruntime-cro2
7896991914,3cyclictest11704-21ntp_states2
7896991913,4cyclictest7888-21cat2
7896991913,3cyclictest8714-21cat2
7896991912,4cyclictest1673-21cat2
789699191,17cyclictest13346-21awk2
789699190,3cyclictest7707-1kworker/2:2H2
789699190,3cyclictest18383-1kworker/2:2H2
789699190,2cyclictest105552sleep22
789199197,8cyclictest29039-21apt-get1
789199194,12cyclictest2746-21cut1
789199192,6cyclictest21-21ksoftirqd/11
789199191,6cyclictest21-21ksoftirqd/11
7891991916,2cyclictest201rcuc/11
7891991915,2cyclictest29745-21/usr/sbin/munin1
7891991915,2cyclictest21724-21/usr/sbin/munin1
7891991914,3cyclictest26359-21if_enp2s01
7891991913,4cyclictest16841-21apt1
7891991912,4cyclictest5894-21cat1
789199190,11cyclictest21-21ksoftirqd/11
7887991913,4cyclictest27489-21seq0
7887991913,4cyclictest11712-21cpu0
7887991911,5cyclictest20729-21cron0
7887991911,5cyclictest10043-21cat0
7887991910,6cyclictest11705-21latency_hist0
7900991814,2cyclictest31815-21aten2.4-expect3
7900991814,2cyclictest31140-21aten2_r9power_p3
7900991813,3cyclictest5755-21rt-features3
7900991813,3cyclictest22429-21sed3
7900991813,3cyclictest21367-21grep3
7900991813,3cyclictest15459-21cat3
7900991813,3cyclictest12856-21unixbench_multi3
7900991812,4cyclictest6206-21cut3
7900991812,4cyclictest26151-21cat3
7900991812,3cyclictest2596-21aten2.4-expect3
790099180,5cyclictest31534-21sh3
7896991816,1cyclictest0-21swapper/22
7896991814,2cyclictest21744-21apt-get2
7896991813,3cyclictest30873-21if_enp2s02
7896991813,3cyclictest27075-21ntpq2
7896991813,3cyclictest11448-21cat2
7896991812,4cyclictest8864-21cat2
7896991812,4cyclictest18820-21wc2
7891991813,3cyclictest28477-21wc1
7887991812,3cyclictest29858-21acpi0
788799180,7cyclictest0-21swapper/00
788799180,7cyclictest0-21swapper/00
7900991713,2cyclictest25781-21/usr/sbin/munin3
7900991713,2cyclictest22136-21acpi3
7900991712,3cyclictest7560-21cat3
7900991712,3cyclictest3305-21interrupts3
7900991712,3cyclictest23351-21apt-get3
7900991711,4cyclictest7886-21cat3
790099170,1cyclictest0-21swapper/33
7896991712,3cyclictest30432-21latency2
7896991711,4cyclictest13729-21ntp_kernel_pll_2
7900991611,3cyclictest924-21df3
7900991611,3cyclictest11039-21expr3
7900991610,4cyclictest24976-21cut3
7900991511,2cyclictest665-21runrttasks3
7900991511,2cyclictest32688-21cron3
7900991510,3cyclictest32088-21cat3
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional