You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-12-02 - 03:19
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rack9slot2.osadl.org (updated Tue Dec 02, 2025 00:43:25)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
127522309210,88sleep30-21swapper/33
127522309210,88sleep30-21swapper/33
140262249183,53sleep00-21swapper/00
140262249183,53sleep00-21swapper/00
139452233196,25sleep10-21swapper/11
139452233196,25sleep10-21swapper/11
140032229192,24sleep20-21swapper/22
140032229192,24sleep20-21swapper/22
1444799212208,2cyclictest0-21swapper/22
1443899119115,2cyclictest0-21swapper/00
1445099104100,2cyclictest0-21swapper/33
144429910298,3cyclictest14886-21strings1
60132470,1sleep30-21swapper/33
160142460,2sleep00-21swapper/00
14447994411,11cyclictest831-21cat2
92122400,2sleep30-21swapper/33
270102400,1sleep10-21swapper/11
270102400,1sleep10-21swapper/11
14447994013,9cyclictest10552-21sed2
14447994011,9cyclictest10650-21sed2
14447994010,10cyclictest25684-21cut2
14447993811,9cyclictest17902-21cpuspeed_turbos2
14447993611,10cyclictest3902-21cat2
14447993611,10cyclictest17267-21sed2
14447993610,11cyclictest32598-21ls2
14447993511,9cyclictest8039-21ntpq2
14447993511,10cyclictest1052-21dpkg2
1444799349,10cyclictest26174-21cat2
1444799347,8cyclictest0-21swapper/22
1444799339,9cyclictest8395-21awk2
1444799339,9cyclictest29551-21chrt2
1444799338,4cyclictest21950-21cpuspeed_turbos2
1444799336,15cyclictest0-21swapper/22
1444799335,11cyclictest0-21swapper/22
14447993310,9cyclictest26573-21/usr/sbin/munin2
14447993310,9cyclictest26573-21/usr/sbin/munin2
1444799326,11cyclictest0-21swapper/22
14447993210,19cyclictest9367-1kworker/2:2H2
1444799316,11cyclictest0-21swapper/22
1444799316,10cyclictest0-21swapper/22
1444799306,9cyclictest0-21swapper/22
1444799306,10cyclictest0-21swapper/22
1444799303,9cyclictest0-21swapper/22
14447993013,14cyclictest14508-21tr2
1444799296,9cyclictest0-21swapper/22
1444799296,9cyclictest0-21swapper/22
1444799296,9cyclictest0-21swapper/22
1444799295,10cyclictest0-21swapper/22
1444799291,19cyclictest0-21swapper/22
14447992810,15cyclictest24301-21wc2
1444799278,16cyclictest10810-21/usr/sbin/munin2
1444799276,8cyclictest0-21swapper/22
1444799275,8cyclictest0-21swapper/22
1444799274,9cyclictest0-21swapper/22
1444799274,9cyclictest0-21swapper/22
1444799272,8cyclictest0-21swapper/22
14447992712,12cyclictest26796-21taskset2
14447992711,13cyclictest10456-21ntp_states2
1444799265,8cyclictest0-21swapper/22
14447992613,11cyclictest27503-21cut2
193812250,2sleep10-21swapper/11
14447992513,9cyclictest4959-21swap2
1444799249,13cyclictest22105-21cat2
1444799249,12cyclictest11643-21cat2
1444799244,7cyclictest0-21swapper/22
1444799244,7cyclictest0-21swapper/22
1444799243,8cyclictest0-21swapper/22
1444799243,11cyclictest0-21swapper/22
14447992414,6cyclictest14615-21apt-get2
14447992410,12cyclictest3379-21taskset2
14447992410,12cyclictest19799-21munin-run2
214382230,3sleep10-21swapper/11
1444799239,12cyclictest8814-21ntp_states2
1444799239,12cyclictest6409-21awk2
1444799239,12cyclictest20506-21diskstats2
1444799237,14cyclictest0-21swapper/22
1444799237,14cyclictest0-21swapper/22
14447992314,7cyclictest17773-21cron2
14447992311,9cyclictest7064-21diskstats2
14442992318,3cyclictest11753-21sendmail1
14438992313,6cyclictest17869-21munin-run0
14447992214,5cyclictest19722-21ntp_states2
14447992212,7cyclictest12536-21gltestperf2
14447992211,8cyclictest1862-21diskstats2
1443899226,3cyclictest308762which0
1443899226,3cyclictest308762which0
14438992214,5cyclictest3600-21cron0
14438992214,4cyclictest2082-21systemd-journal0
1443899220,12cyclictest128862awk0
180642210,2sleep1201rcuc/11
1445099219,7cyclictest11242-21apt-get3
14450992115,4cyclictest3221-21sh3
14450992115,3cyclictest24135-21apt-get3
14450992114,4cyclictest29537-21grep3
1444799219,8cyclictest0-21swapper/22
1444799218,12cyclictest4167-21grep2
14447992112,7cyclictest23121-21awk2
14447992112,6cyclictest30642-21df2
14447992112,6cyclictest23447-21aten2.4-expect2
14442992115,4cyclictest27843-21seq1
14442992115,4cyclictest21397-21seq1
14442992115,4cyclictest20345-21seq1
14442992114,5cyclictest4620-21apt-get1
14438992115,3cyclictest2082-21systemd-journal0
14438992114,4cyclictest5779-21kernelversion0
281472200,1sleep10-21swapper/11
1445099208,7cyclictest17642-21apt-get3
14450992015,3cyclictest30047-21if_err_enp2s03
14450992015,3cyclictest19204-21sed3
14450992014,4cyclictest27821-21unixbench-2d3
14450992014,4cyclictest27821-21unixbench-2d3
14450992014,4cyclictest22523-21df_inode3
14450992014,4cyclictest15819-21expr3
14450992014,4cyclictest10225-21kernelversion3
14450992013,4cyclictest21809-21aten2.4-expect3
14450992013,4cyclictest2082-21systemd-journal3
1445099201,16cyclictest2082-21systemd-journal3
14450992011,5cyclictest12030-21apt-get3
14442992015,3cyclictest8038-21gltestperf1
14442992015,3cyclictest4732-21timerwakeupswit1
14442992015,3cyclictest24467-21cstates1
14442992015,3cyclictest20225-21aten2_r9power_e1
14442992015,3cyclictest16571-21munin-node1
14442992014,4cyclictest9562-21/usr/sbin/munin1
14442992014,4cyclictest7495-21seq1
14442992014,4cyclictest29817-21seq1
14442992014,4cyclictest29817-21seq1
14442992014,4cyclictest18878-21ntpq1
14442992014,4cyclictest1338-21seq1
1444299200,4cyclictest0-21swapper/11
1444299200,11cyclictest23871-21cron1
1443899205,3cyclictest267992cut0
1443899202,15cyclictest11014-21tr0
1443899202,10cyclictest31474-21apt-get0
14438992016,2cyclictest7921-21/usr/sbin/munin0
14438992014,4cyclictest7415-21ls0
14438992014,4cyclictest12540-21grep0
14438992012,6cyclictest27933-21awk0
14438992012,6cyclictest27933-21awk0
14438992011,5cyclictest20187-21head0
14450991914,3cyclictest4256-21expr3
14450991914,3cyclictest27802-21/usr/sbin/munin3
14450991914,3cyclictest21012-21pmu-power3
14450991914,3cyclictest20690-21awk3
14450991914,3cyclictest14776-21switchtime3
14450991914,3cyclictest14407-21threads3
14450991914,3cyclictest14407-21threads3
14450991914,2cyclictest17732-21gltestperf3
14450991913,4cyclictest5496-21cat3
14450991913,4cyclictest32066-21sed3
14450991913,4cyclictest26485-21cat3
14450991913,4cyclictest21687-21cat3
14450991913,4cyclictest16492-21ls3
14450991913,4cyclictest14835-21cut3
14450991913,4cyclictest13552-21uname3
14450991913,4cyclictest10294-21seq3
14450991912,4cyclictest2543-21apt-get3
14442991915,2cyclictest9162-21/usr/sbin/munin1
14442991915,2cyclictest23339-21/usr/sbin/munin1
14442991915,2cyclictest17624-21/usr/sbin/munin1
14442991915,2cyclictest15944-21timerandwakeup1
14442991914,3cyclictest8358-21sh1
14442991914,3cyclictest6629-21acpi1
14442991914,3cyclictest18926-21seq1
14442991914,3cyclictest18242-21seq1
14442991914,3cyclictest16351-21cat1
14442991914,3cyclictest1491-21gltestperf1
14442991914,3cyclictest12531-21awk1
14442991913,4cyclictest5052-21date1
14442991913,4cyclictest29393-21cat1
14442991913,4cyclictest27430-21apt-get1
14442991913,4cyclictest16765-21seq1
14442991913,4cyclictest13306-21hostname1
14442991913,4cyclictest13306-21hostname1
14442991913,3cyclictest29640-21sendmail_mailst1
14442991913,3cyclictest14272-21if_err_enp3s01
1443899198,10cyclictest9-21ksoftirqd/00
1443899193,9cyclictest5913-21apt-get0
1443899193,9cyclictest20083-21apt-get0
14438991916,2cyclictest0-21swapper/00
14438991916,2cyclictest0-21swapper/00
14438991915,3cyclictest9-21ksoftirqd/00
14438991915,2cyclictest30605-21/usr/sbin/munin0
14438991914,3cyclictest3728-21grep0
14438991914,3cyclictest28688-21ntp_states0
14438991914,3cyclictest24260-21cut0
14438991914,3cyclictest1031-21/usr/sbin/munin0
14438991913,4cyclictest9541-21cat0
14438991913,4cyclictest31849-21/usr/sbin/munin0
14438991913,4cyclictest18854-21grep0
14438991913,3cyclictest19755-21grep0
14438991912,4cyclictest8946-21basename0
14438991912,4cyclictest26705-21grep0
14438991912,4cyclictest22243-21cut0
14438991912,4cyclictest2082-21systemd-journal0
14438991912,4cyclictest19011-21cron0
14438991912,4cyclictest10237-21cut0
14438991910,6cyclictest23096-21cron0
1445099183,9cyclictest16828-21apt-get3
1445099182,14cyclictest4865-21cron3
14450991816,1cyclictest0-21swapper/33
14450991814,2cyclictest6969-21cstates3
14450991814,2cyclictest5912-21apt3
14450991814,2cyclictest32241-21/usr/sbin/munin3
14450991814,2cyclictest31492-21ntp_states3
14450991813,3cyclictest7233-21aten2_r9power_p3
14450991813,3cyclictest3873-21expr3
14450991813,3cyclictest31402-21seq3
14450991813,3cyclictest31402-21seq3
14450991813,3cyclictest25292-21cat3
14450991813,3cyclictest15552-21ls3
14450991813,3cyclictest1000-21expr3
14450991812,4cyclictest20539-21expr3
14450991812,4cyclictest1438-21expr3
1445099181,16cyclictest0-21swapper/33
1445099180,16cyclictest0-21swapper/33
14442991814,2cyclictest30723-21aten2_r9power_v1
14442991814,2cyclictest2525-21/usr/sbin/munin1
14442991814,2cyclictest22480-21/usr/sbin/munin1
14442991814,2cyclictest12734-21/usr/sbin/munin1
14442991813,3cyclictest7490-21seq1
14442991813,3cyclictest5612-21seq1
14442991813,3cyclictest32239-21missed_timers1
14442991813,3cyclictest30477-21gzip1
14442991813,3cyclictest2466-21date1
14442991813,3cyclictest21949-21cat1
14442991813,3cyclictest19652-21seq1
14442991813,3cyclictest1930-21sed1
14442991813,3cyclictest11736-21expr1
14442991812,4cyclictest12615-21cat1
1444299180,16cyclictest0-21swapper/11
1443899185,11cyclictest9-21ksoftirqd/00
1443899184,8cyclictest22498-21apt-get0
1443899183,8cyclictest12752-21apt-get0
1443899182,13cyclictest16698-21grep0
14438991813,3cyclictest665-21runrttasks0
14438991813,3cyclictest30034-21date0
14438991813,3cyclictest14408-21find0
14438991813,3cyclictest14408-21find0
14438991812,4cyclictest5671-21perf0
14438991812,4cyclictest25119-21sh0
14438991812,4cyclictest18769-21sed0
14438991812,4cyclictest15893-21sort0
14438991812,3cyclictest29539-21aten2.4-expect0
14438991812,3cyclictest17942-21cut0
14438991811,4cyclictest665-21runrttasks0
14438991811,4cyclictest24533-21apt0
14438991811,4cyclictest11083-21switchtime0
1445099173,11cyclictest31768-21cut3
14450991714,2cyclictest0-21swapper/33
14450991713,2cyclictest9163-21acpi3
14450991713,2cyclictest24533-21apt3
14450991712,3cyclictest665-21runrttasks3
14450991712,3cyclictest26343-21if_enp3s03
14450991711,4cyclictest505-21dbus-daemon3
14450991711,4cyclictest30558-21grep3
14450991710,4cyclictest32234-21expr3
1444299179,5cyclictest1-21systemd1
14442991712,3cyclictest5640-21basename1
14442991712,3cyclictest32210-21expr1
14442991712,3cyclictest31749-21seq1
14442991712,3cyclictest25428-21aten2_r9power_e1
14442991712,3cyclictest2417-21if_enp3s01
14442991712,3cyclictest15659-21which1
14438991715,1cyclictest0-21swapper/00
14438991712,3cyclictest9529-21ntp_kernel_pll_0
14438991712,3cyclictest9328-21latency_hist0
14438991712,3cyclictest665-21runrttasks0
14438991712,3cyclictest29131-21sed0
14438991712,3cyclictest25956-21if_enp3s00
14438991712,3cyclictest15489-21ntp_states0
14438991712,3cyclictest12376-21missed_timers0
14438991711,4cyclictest21674-21seq0
14438991711,3cyclictest4146-21sendmail_mailst0
14450991612,2cyclictest3829-21latency_hist3
14450991612,2cyclictest11035-21cstates3
14450991611,3cyclictest7532-21/usr/sbin/munin3
14450991611,3cyclictest24877-21sed3
14450991611,3cyclictest22514-21aten2_r9power_c3
14450991611,3cyclictest19889-21latency_hist3
1444299164,10cyclictest22237-21gltestperf1
1444299163,8cyclictest25771-21apt-get1
14442991612,2cyclictest12011-21/usr/sbin/munin1
1443899161,12cyclictest28266-21ntp_kernel_err0
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional