You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-11-25 - 11:24
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 792 highest latencies:
System rack9slot2.osadl.org (updated Tue Nov 25, 2025 00:43:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
98472317242,63sleep00-21swapper/00
11800992901,286cyclictest464-21awk2
1179299275269,4cyclictest455-21perf0
113712264188,25sleep10-21swapper/11
114772262225,25sleep30-21swapper/33
116072261181,44sleep20-21swapper/22
1179599220212,5cyclictest439-21munin-run1
1180599116110,4cyclictest457-21sendmail3
211072540,3sleep21180099cyclictest2
87342500,3sleep20-21swapper/22
114912480,2sleep20-21swapper/22
240482290,2sleep20-21swapper/22
11805992917,7cyclictest665-21runrttasks3
234762280,4sleep01179299cyclictest0
100142280,4sleep21180099cyclictest2
11792992411,8cyclictest3472-21apt-get0
11800992316,4cyclictest9289-21df2
11800992316,4cyclictest25204-21plymouth2
1180099231,19cyclictest10333-21gdbus2
11795992317,4cyclictest23370-21cut1
1179299232,19cyclictest12867-21gltestperf0
11792992317,4cyclictest17775-21idleruntime-cro0
11792992316,4cyclictest10521-21sendmail0
11805992217,3cyclictest35-21ksoftirqd/33
11805992216,3cyclictest18641-21sendmail3
1180099223,2cyclictest28-21ksoftirqd/22
1180099222,17cyclictest12986-21latency_hist2
11800992215,4cyclictest14090-21seq2
11795992218,3cyclictest26541-21sed1
1179599220,21cyclictest7236-21kworker/1:01
1179299228,12cyclictest9-21ksoftirqd/00
40612210,2sleep34131-21kernelversion3
1180599212,11cyclictest27786-21taskset3
11805992117,3cyclictest35-21ksoftirqd/33
11805992117,3cyclictest35-21ksoftirqd/33
11805992116,3cyclictest2509-21sed3
11805992113,5cyclictest2082-21systemd-journal3
1180099212,17cyclictest15078-21cat2
11800992116,3cyclictest15466-21open_files2
11800992115,4cyclictest6381-21seq2
11800992114,4cyclictest1857-21sh2
1180099211,3cyclictest19120-21munin-run2
1180099211,3cyclictest17785-21awk2
1180099211,18cyclictest26830-21munin-run2
1180099211,18cyclictest26830-21munin-run2
11795992116,3cyclictest30943-21/usr/sbin/munin1
11795992114,5cyclictest1-21systemd1
11792992116,3cyclictest1425-21/usr/sbin/munin0
11792992115,4cyclictest32486-21seq0
11792992114,4cyclictest25056-21acpi0
11792992114,4cyclictest25056-21acpi0
11792992113,5cyclictest4566-21sendmail-mta0
1179299211,17cyclictest14014-21grep0
1180599202,11cyclictest13253-21apt-get3
11805992017,2cyclictest0-21swapper/33
11805992016,2cyclictest7507-21/usr/sbin/munin3
11805992015,3cyclictest16617-21interrupts3
11805992014,4cyclictest20562-21sed3
11805992014,3cyclictest665-21runrttasks3
11805992013,4cyclictest4558-21idleruntime-cro3
11805992013,4cyclictest1848-21cron3
1180599201,16cyclictest8440-21cron3
1180099208,3cyclictest23302-21latency_hist2
11800992016,2cyclictest28195-21df2
11800992016,2cyclictest19360-21ntp_states2
11800992016,2cyclictest19360-21ntp_states2
11800992015,3cyclictest9133-21ntp_offset2
11800992015,3cyclictest505-21dbus-daemon2
11800992015,3cyclictest31381-21df_inode2
11800992015,3cyclictest25638-21timerwakeupswit2
11800992014,4cyclictest721-21awk2
11800992014,4cyclictest24557-21seq2
11800992014,4cyclictest14542-21cat2
11800992014,4cyclictest13189-21cat2
11800992014,4cyclictest11163-21seq2
11800992014,3cyclictest11636-21grep2
11800992013,4cyclictest17878-21awk2
11800992013,4cyclictest14838-21fw_packets2
1180099201,17cyclictest18686-21cat2
1180099201,17cyclictest0-21swapper/22
1180099200,4cyclictest17460-1kworker/2:2H2
1180099200,3cyclictest8503-21cut2
1180099200,3cyclictest226152chrt2
1180099200,3cyclictest15717-21ntp_states2
11795992017,2cyclictest0-21swapper/11
11795992016,2cyclictest11906-21/usr/sbin/munin1
11795992015,3cyclictest7734-21cpuspeed1
11795992015,3cyclictest31734-21ls1
11795992015,3cyclictest30765-21seq1
11795992015,3cyclictest18465-21/usr/sbin/munin1
11795992015,3cyclictest18465-21/usr/sbin/munin1
11795992015,3cyclictest14815-21/usr/sbin/munin1
11795992014,4cyclictest21801-21sh1
11795992014,4cyclictest20432-21seq1
1179599201,16cyclictest23673-21cut1
1179599200,17cyclictest16762-21ls1
11792992016,2cyclictest29096-21/usr/sbin/munin0
11792992016,2cyclictest10750-21/usr/sbin/munin0
11792992015,3cyclictest27007-21aten2_r9power_v0
11792992015,3cyclictest16533-21sed0
11792992014,4cyclictest32122-21seq0
11792992014,4cyclictest12112-21latency_hist0
1180599193,9cyclictest11177-21apt-get3
11805991916,2cyclictest0-21swapper/33
11805991916,2cyclictest0-21swapper/33
11805991916,1cyclictest0-21swapper/33
11805991916,1cyclictest0-21swapper/33
11805991915,2cyclictest23001-21/usr/sbin/munin3
11805991915,2cyclictest10750-21/usr/sbin/munin3
11805991914,3cyclictest8085-21sed3
11805991914,3cyclictest6075-21cat3
11805991914,3cyclictest6075-21cat3
11805991914,3cyclictest5977-21cron3
11805991914,3cyclictest24076-21latency3
11805991914,3cyclictest10330-21polkitd3
11805991913,4cyclictest6891-21cut3
11805991913,4cyclictest22811-21diskstats3
11805991913,4cyclictest1068-21cat3
11805991911,5cyclictest505-21dbus-daemon3
11800991915,2cyclictest19296-21cstates2
11800991914,3cyclictest6889-21aten2_r9power_p2
11800991914,3cyclictest4269-21needreboot2
11800991914,3cyclictest3014-21ntp_states2
11800991914,3cyclictest29897-21cut2
11800991912,4cyclictest20947-21fw_packets2
1180099191,1cyclictest31838-21apt-get2
1180099191,17cyclictest20712-1kworker/2:0H2
1180099191,16cyclictest14602-21sendmail-mta2
11795991916,2cyclictest0-21swapper/11
11795991915,2cyclictest722-21/usr/sbin/munin1
11795991915,2cyclictest31388-21ntp_states1
11795991915,2cyclictest17340-21apt-get1
11795991914,3cyclictest32516-21/usr/sbin/munin1
11795991914,3cyclictest28462-21/usr/sbin/munin1
11795991914,3cyclictest2082-21systemd-journal1
11795991914,3cyclictest13933-21/usr/sbin/munin1
11795991914,3cyclictest13871-21munin-node1
11795991914,3cyclictest1122-21seq1
11795991914,3cyclictest10974-21cat1
11795991913,4cyclictest9862-21seq1
11795991913,4cyclictest8546-21seq1
11795991913,4cyclictest4620-21seq1
11795991913,4cyclictest21094-21seq1
11795991913,4cyclictest10423-21seq1
11795991913,3cyclictest16719-21apt-config1
11795991912,4cyclictest15170-21grep1
11795991912,4cyclictest1130-21cat1
1179299193,5cyclictest30249-21sendmail0
11792991915,2cyclictest9-21ksoftirqd/00
11792991915,2cyclictest4204-21/usr/sbin/munin0
11792991915,2cyclictest2125-21/usr/sbin/munin0
11792991914,3cyclictest6777-21grep0
11792991914,3cyclictest6777-21grep0
11792991914,3cyclictest665-21runrttasks0
11792991914,3cyclictest31818-21/usr/sbin/munin0
11792991914,3cyclictest30316-21uptime0
11792991914,3cyclictest21811-21seq0
11792991914,3cyclictest21573-21swap0
11792991914,3cyclictest18319-21/usr/sbin/munin0
11792991914,3cyclictest18139-21needreboot0
11792991914,3cyclictest14557-21/usr/sbin/munin0
11792991913,4cyclictest22101-21cat0
11792991913,4cyclictest14393-21fw_packets0
11792991913,4cyclictest1195-21expr0
52392180,1sleep00-21swapper/00
1180599183,9cyclictest30962-21apt-get3
1180599183,9cyclictest29115-21apt-get3
11805991816,1cyclictest0-21swapper/33
11805991816,1cyclictest0-21swapper/33
11805991816,1cyclictest0-21swapper/33
11805991816,1cyclictest0-21swapper/33
11805991816,1cyclictest0-21swapper/33
11805991815,2cyclictest0-21swapper/33
11805991814,2cyclictest13871-21munin-node3
11805991814,2cyclictest13083-21sed3
11805991813,3cyclictest32598-21sed3
11805991813,3cyclictest27771-21ntp_offset3
11805991813,3cyclictest22268-21latency_hist3
11805991813,3cyclictest20260-21unixbench_multi3
11805991813,3cyclictest17651-21sed3
11805991813,3cyclictest13228-21ntp_offset3
11805991812,4cyclictest2707-21sed3
11805991812,3cyclictest27517-21entropy3
11800991815,2cyclictest0-21swapper/22
11800991813,3cyclictest665-21runrttasks2
11800991813,3cyclictest6610-21expr2
11800991813,3cyclictest6076-21if_enp3s02
11800991813,3cyclictest6076-21if_enp3s02
11800991813,3cyclictest4908-21aten2_r9power_v2
11800991813,3cyclictest29743-21cat2
11800991812,3cyclictest2747-21aten2.4-expect2
11800991812,3cyclictest2747-21aten2.4-expect2
1180099181,15cyclictest18442-21cat2
11800991810,5cyclictest25757-21apt-get2
1180099180,16cyclictest31247-21memory2
1180099180,16cyclictest21128-21/usr/sbin/munin2
1180099180,16cyclictest0-21swapper/22
1180099180,16cyclictest0-21swapper/22
1179599188,6cyclictest11953-21apt-get1
11795991816,1cyclictest0-21swapper/11
11795991816,1cyclictest0-21swapper/11
11795991816,1cyclictest0-21swapper/11
11795991814,2cyclictest4779-21/usr/sbin/munin1
11795991814,2cyclictest2607-21/usr/sbin/munin1
11795991814,2cyclictest2607-21/usr/sbin/munin1
11795991814,2cyclictest24389-21/usr/sbin/munin1
11795991814,2cyclictest15257-21/usr/sbin/munin1
11795991813,3cyclictest5506-21seq1
11795991813,3cyclictest5506-21seq1
11795991813,3cyclictest4204-21/usr/sbin/munin1
11795991813,3cyclictest3864-21ls1
11795991813,3cyclictest26889-21/usr/sbin/munin1
11795991813,3cyclictest21459-21head1
11795991813,3cyclictest2030-21cat1
11795991813,3cyclictest16537-21latency_hist1
11795991813,3cyclictest11076-21wc1
11795991812,4cyclictest3250-21expr1
11795991812,4cyclictest29475-21basename1
11795991812,4cyclictest26218-21grep1
11795991812,4cyclictest22130-21seq1
11795991812,4cyclictest18775-21forks1
11795991812,4cyclictest11567-21cat1
1179299183,9cyclictest8877-21apt-get0
11792991816,1cyclictest0-21swapper/00
11792991816,1cyclictest0-21swapper/00
11792991814,2cyclictest27764-21/usr/sbin/munin0
11792991814,2cyclictest2607-21/usr/sbin/munin0
11792991814,2cyclictest2607-21/usr/sbin/munin0
11792991814,2cyclictest24389-21/usr/sbin/munin0
11792991814,2cyclictest13871-21munin-node0
11792991813,3cyclictest7186-21awk0
11792991813,3cyclictest31632-21date0
11792991813,3cyclictest28397-21sed0
11792991813,3cyclictest27538-21ls0
11792991813,3cyclictest24841-21/usr/sbin/munin0
11792991813,3cyclictest22819-21/usr/sbin/munin0
11792991813,3cyclictest22439-21cut0
11792991813,3cyclictest19332-21seq0
11792991813,3cyclictest17552-21sed0
11792991813,3cyclictest17457-21expr0
11792991812,4cyclictest24647-21seq0
11792991812,4cyclictest18057-21seq0
11805991715,1cyclictest0-21swapper/33
11805991713,3cyclictest35-21ksoftirqd/33
11805991713,2cyclictest8859-21/usr/sbin/munin3
11805991713,2cyclictest16179-21open_files3
11805991713,2cyclictest0-21swapper/33
11805991712,3cyclictest31731-21sed3
11805991711,4cyclictest29150-21wc3
11805991711,4cyclictest28866-21expr3
11805991711,4cyclictest28436-21sed3
11805991711,4cyclictest22939-21aten2_r9power_v3
11805991711,4cyclictest17597-21sed3
11805991710,4cyclictest20986-21acpi3
1180599170,15cyclictest15589-21sort3
1180599170,15cyclictest0-21swapper/33
1180099173,8cyclictest22388-21apt-get2
11800991713,2cyclictest28968-21cut2
11800991712,3cyclictest26439-21/usr/sbin/munin2
1179599179,5cyclictest12432-21telnet1
11795991715,1cyclictest0-21swapper/11
11795991715,1cyclictest0-21swapper/11
11795991713,2cyclictest27134-21aten2_r9power_e1
11795991712,3cyclictest7124-21sh1
11795991712,3cyclictest24201-21grep1
11795991712,3cyclictest23295-21cut1
11795991712,3cyclictest17101-21latency1
11795991710,4cyclictest6675-21apt1
1179299179,5cyclictest5176-21cut0
11792991712,3cyclictest665-21runrttasks0
11792991712,3cyclictest21420-21diskstats0
11792991712,3cyclictest15674-21grep0
11792991712,3cyclictest15164-21cstates0
11792991711,4cyclictest27646-21if_enp2s00
11792991711,4cyclictest1509-21seq0
1179299170,16cyclictest0-21swapper/00
1179299170,16cyclictest0-21swapper/00
1180599169,4cyclictest2082-21systemd-journal3
1180599160,15cyclictest0-21swapper/33
11800991611,3cyclictest29847-21load2
1179299162,8cyclictest18484-21apt-get0
1179299162,8cyclictest18484-21apt-get0
11792991611,3cyclictest13661-21expr0
11792991610,4cyclictest9208-21pmu-power0
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional