You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-06-08 - 08:19

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #7, slot #4

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.
Unexpectedly long latencies may be caused by SMIs
Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 376 highest latencies:
System rack7slot4s.osadl.org (updated Mon Jun 08, 2026 00:45:09)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
917599723,39cyclictest26049-21ssh21:45:121
9187996332,25cyclictest27-21ksoftirqd/222:30:122
918799582,33cyclictest1000-21ssh22:25:132
917099574,9cyclictest131rcu_preempt20:00:130
917099568,44cyclictest31262-21ssh21:30:120
9194995511,27cyclictest35966irq/58-eth000:30:143
9175995531,12cyclictest21-21ksoftirqd/123:50:131
917099513,45cyclictest17013-21ssh21:40:140
917099493,40cyclictest26058-21ssh21:45:130
917599471,35cyclictest7941-21ssh21:35:131
917099473,36cyclictest29873-21ssh22:05:140
917099453,31cyclictest27190-21diskmemload23:25:120
917099452,33cyclictest28309-21ssh00:10:120
9194994310,23cyclictest35966irq/58-eth023:10:143
917099431,31cyclictest24431-21ssh22:20:120
919499413,27cyclictest35966irq/58-eth022:25:133
917599412,31cyclictest4677-21ssh22:45:141
917099414,29cyclictest19000-21ssh22:35:130
919499403,22cyclictest35966irq/58-eth021:20:133
917599400,32cyclictest12100-21ssh23:25:121
917099401,31cyclictest4154-21ssh21:15:140
9194993922,9cyclictest35966irq/58-eth021:25:143
917599382,24cyclictest13645-21ssh22:50:131
9170993819,11cyclictest0-21swapper/022:00:140
917099381,25cyclictest21142-21ssh23:30:130
917099371,26cyclictest0-21swapper/000:05:140
919499364,20cyclictest35966irq/58-eth023:30:123
919499361,19cyclictest35966irq/58-eth022:15:133
9170993623,7cyclictest12-21ksoftirqd/000:30:140
9194993418,13cyclictest0-21swapper/300:25:143
918799342,18cyclictest6885-21sh23:40:142
917099346,19cyclictest10432-21ssh00:00:170
919499334,19cyclictest35966irq/58-eth022:05:123
917599332,21cyclictest17493-21ssh23:10:141
9170993312,13cyclictest12-21ksoftirqd/019:35:140
917099331,20cyclictest1349-21sh23:55:130
918799322,18cyclictest27346irq/40-dwc2_hso23:55:132
9187993210,15cyclictest27-21ksoftirqd/200:30:132
917599321,3cyclictest0-21swapper/100:20:141
917599321,3cyclictest0-21swapper/100:20:141
917599321,27cyclictest2710-21ssh21:50:131
9170993226,2cyclictest13121-21ssh21:20:120
919499315,20cyclictest35966irq/58-eth023:00:143
918799313,21cyclictest0-21swapper/220:35:132
917599312,22cyclictest22945-21ssh23:48:141
917599311,25cyclictest15373-21ssh22:15:131
919499304,13cyclictest35966irq/58-eth021:45:133
919499303,18cyclictest35966irq/58-eth021:05:113
919499303,18cyclictest35966irq/58-eth021:05:113
919499301,13cyclictest35966irq/58-eth023:45:123
918799304,17cyclictest0-21swapper/221:10:142
918799303,11cyclictest0-21swapper/221:22:402
917599301,24cyclictest30186-21ssh23:35:131
9175993011,15cyclictest21-21ksoftirqd/100:15:141
917099303,2cyclictest131rcu_preempt19:30:120
917099301,22cyclictest27593-21ssh21:10:130
919499296,16cyclictest0-21swapper/321:30:123
9194992917,8cyclictest0-21swapper/322:35:133
918799292,20cyclictest0-21swapper/220:00:142
917099292,15cyclictest12-21ksoftirqd/019:10:110
919499284,20cyclictest35966irq/58-eth023:15:123
918799283,16cyclictest27346irq/40-dwc2_hso19:15:132
918799282,9cyclictest27190-21diskmemload23:54:392
918799282,21cyclictest0-21swapper/223:30:132
918799281,15cyclictest24434-21sh22:20:132
917599282,17cyclictest21-21ksoftirqd/122:40:131
9175992815,8cyclictest9169-21cyclictest19:25:131
917099282,21cyclictest15811-21ssh23:45:130
917099282,17cyclictest11776-21ssh21:55:130
917099282,17cyclictest11776-21ssh21:55:130
919499274,11cyclictest0-21swapper/321:55:153
919499274,11cyclictest0-21swapper/321:55:143
919499273,13cyclictest35966irq/58-eth000:05:133
9194992722,2cyclictest0-21swapper/320:35:133
919499272,21cyclictest35966irq/58-eth019:25:153
9194992720,4cyclictest0-21swapper/323:35:123
9194992718,5cyclictest0-21swapper/322:30:133
9194992716,8cyclictest0-21swapper/320:45:123
918799270,13cyclictest8455-21ssh00:35:132
917599273,18cyclictest201rcuc/123:15:121
917099272,19cyclictest612-21sh23:54:390
917099271,20cyclictest28150-21ssh21:26:470
919499264,13cyclictest0-21swapper/321:40:133
9194992621,3cyclictest0-21swapper/300:00:143
9194992621,2cyclictest0-21swapper/319:35:113
9194992617,2cyclictest0-21swapper/320:00:133
9194992616,7cyclictest0-21swapper/323:20:133
9194992615,7cyclictest0-21swapper/300:10:123
918799264,5cyclictest261rcuc/219:40:122
918799262,10cyclictest0-21swapper/221:15:142
917099263,17cyclictest14545-21ssh00:20:190
917099263,17cyclictest14545-21ssh00:20:190
917099262,19cyclictest3040-21ssh23:00:240
917099261,19cyclictest0-21swapper/020:35:150
9194992520,2cyclictest0-21swapper/319:55:123
9194992515,8cyclictest0-21swapper/322:10:133
9194992514,8cyclictest0-21swapper/322:55:133
918799254,14cyclictest27346irq/40-dwc2_hso21:40:152
9187992513,5cyclictest23056-21ssh23:11:262
918799251,16cyclictest31998-21ls22:40:292
918799251,14cyclictest19369-21sh00:05:132
918799251,13cyclictest0-21swapper/219:45:122
918799251,12cyclictest19187-21ls19:20:172
918799251,11cyclictest24434-21latency_hist23:50:012
917599252,18cyclictest27438-21ssh23:32:151
919499241,9cyclictest35966irq/58-eth019:45:123
9194992418,3cyclictest0-21swapper/322:40:153
9194992416,5cyclictest0-21swapper/322:00:123
9194992416,4cyclictest0-21swapper/320:50:123
9194992415,6cyclictest0-21swapper/323:50:293
9194992413,8cyclictest0-21swapper/321:35:173
9194992413,6cyclictest35966irq/58-eth021:15:133
9187992413,9cyclictest29455-21ssh22:57:452
9187992412,9cyclictest13030-21sshd22:12:392
9187992412,5cyclictest31312-21ssh21:45:542
918799241,16cyclictest4851-21ssh00:15:132
9187992410,11cyclictest13975-21cat00:00:282
917599247,12cyclictest21-21ksoftirqd/121:26:391
917599245,12cyclictest9169-21cyclictest20:20:141
9175992419,3cyclictest0-21swapper/122:55:151
917599240,19cyclictest10082-21ls22:30:141
9170992410,8cyclictest12-21ksoftirqd/019:55:150
919499232,13cyclictest0-21swapper/323:40:153
9194992319,2cyclictest0-21swapper/300:35:123
9194992318,2cyclictest0-21swapper/322:20:123
9194992317,3cyclictest0-21swapper/323:55:133
9194992317,2cyclictest0-21swapper/319:15:123
9194992316,5cyclictest0-21swapper/322:45:123
9194992315,6cyclictest0-21swapper/319:20:283
9194992314,4cyclictest0-21swapper/319:40:123
9194992311,9cyclictest0-21swapper/300:20:313
9194992311,9cyclictest0-21swapper/300:20:313
918799238,6cyclictest22268-21latency_hist22:55:022
918799236,13cyclictest16838-21kthreadcore22:15:212
918799232,6cyclictest0-21swapper/221:25:392
918799232,16cyclictest30156-21apt-get23:35:132
918799231,7cyclictest5500-21cut23:20:222
918799231,20cyclictest7947-21ssh21:35:132
9187992311,9cyclictest26764-21if_eth123:15:162
9187992311,9cyclictest19807-21ssh23:28:532
9187992311,9cyclictest0-21swapper/220:15:222
918799231,14cyclictest22401-21cron00:25:022
918799231,14cyclictest22401-21cron00:25:012
918799231,12cyclictest2217-21tr21:30:212
9187992311,10cyclictest12286-21sendmail_mailqu23:05:292
9187992311,10cyclictest12286-21sendmail_mailqu23:05:292
917599232,17cyclictest31041-21apt-get20:40:131
917599231,15cyclictest31839-21ssh23:00:131
9194992218,2cyclictest0-21swapper/320:40:133
9194992216,3cyclictest0-21swapper/319:30:123
9194992214,5cyclictest0-21swapper/319:50:233
9194992213,6cyclictest0-21swapper/323:25:203
9194992212,7cyclictest0-21swapper/323:05:223
9194992212,7cyclictest0-21swapper/323:05:213
9194992212,7cyclictest0-21swapper/322:50:193
9194992212,7cyclictest0-21swapper/321:50:133
9194992212,7cyclictest0-21swapper/320:30:153
9194992212,7cyclictest0-21swapper/320:20:213
9194992212,7cyclictest0-21swapper/300:15:193
9194992211,8cyclictest0-21swapper/321:10:123
918799223,16cyclictest23588-21wc19:55:232
918799222,16cyclictest27346irq/40-dwc2_hso00:25:152
918799221,10cyclictest0-21swapper/220:55:132
917599227,7cyclictest21-21ksoftirqd/121:00:121
917599224,3cyclictest131rcu_preempt19:10:231
917599222,14cyclictest6817-21ssh23:20:291
917099222,5cyclictest23519-21ssh22:19:250
917099221,18cyclictest4666-21ssh22:45:130
9194992117,2cyclictest0-21swapper/321:00:173
9194992117,2cyclictest0-21swapper/320:10:113
9194992117,2cyclictest0-21swapper/319:10:113
9194992113,6cyclictest0-21swapper/320:05:293
9194992112,6cyclictest0-21swapper/320:55:163
9194992111,7cyclictest0-21swapper/320:25:203
918799219,5cyclictest6092-21ssh23:02:412
918799218,10cyclictest674-21cat20:05:222
918799215,14cyclictest25041-21kthreadcore19:25:212
918799214,14cyclictest8360-21fschecks_count20:50:152
918799213,12cyclictest27346irq/40-dwc2_hso20:25:152
918799213,10cyclictest3099-21ssh21:50:172
918799212,9cyclictest5383-21kernelversion22:45:202
918799212,16cyclictest32608-21kthreadcore22:05:222
918799212,11cyclictest18020-21grep21:00:162
918799212,10cyclictest20934-21diskstats22:00:152
918799212,10cyclictest15304-21missed_timers21:55:252
918799212,10cyclictest15304-21missed_timers21:55:252
918799211,6cyclictest13994-21sed19:15:012
918799211,10cyclictest28283-21/usr/sbin/munin00:10:242
917599219,9cyclictest0-21swapper/120:55:261
917599216,11cyclictest0-21swapper/100:10:141
917599214,9cyclictest25065-21apt-get20:00:141
917599213,11cyclictest0-21swapper/121:05:121
917599213,11cyclictest0-21swapper/121:05:121
9175992113,6cyclictest23564-21ssh21:42:311
917599211,16cyclictest10709-21cpuspeed19:45:131
917599211,16cyclictest10286-21switchtime22:10:291
917599210,15cyclictest8208-21ls00:35:021
917099212,3cyclictest131rcu_preempt21:00:140
917099211,9cyclictest131rcu_preempt23:20:260
917099211,16cyclictest13055-21apt-get20:55:120
917099210,19cyclictest26485-21ssh23:15:140
9194992010,8cyclictest0-21swapper/320:15:143
918799201,9cyclictest4029-21kthreadcore19:35:212
918799201,12cyclictest31148-21grep20:40:162
918799201,11cyclictest30338-21kthreadcore19:30:202
918799201,10cyclictest2280-21cpuspeed20:10:132
918799201,10cyclictest19113-21df_inode22:35:152
917599208,3cyclictest131rcu_preempt22:20:201
917599204,2cyclictest131rcu_preempt23:55:161
9175992012,6cyclictest15102-21sshd23:07:391
9175992012,6cyclictest15102-21sshd23:07:391
917599201,16cyclictest19559-21fschecks_time00:05:181
9175992010,7cyclictest13887-21kthreadcore21:20:191
917599200,17cyclictest21092-21ls22:00:171
917099209,6cyclictest0-21swapper/023:40:390
917099202,15cyclictest8363-21ssh00:15:230
917099201,9cyclictest14074-21unixbench_multi22:30:290
9170992013,4cyclictest0-21swapper/020:40:290
917099201,14cyclictest8463-21ssh23:05:150
917099201,14cyclictest8463-21ssh23:05:150
918799194,12cyclictest22211-21kthreadcore20:30:192
918799192,9cyclictest12040-21fschecks_time20:20:162
918799191,9cyclictest15646-21grep19:50:152
918799191,15cyclictest5200-21kthreadcore20:45:192
918799191,10cyclictest22967-21grep21:05:182
918799191,10cyclictest22967-21grep21:05:172
917599192,13cyclictest989-21apt-get22:25:131
917599191,8cyclictest16466-21/usr/sbin/munin21:55:331
917599191,8cyclictest16466-21/usr/sbin/munin21:55:331
917599191,7cyclictest23508-21irqstats00:25:191
917599191,6cyclictest8847-21grep00:35:181
9175991912,5cyclictest7430-21ps23:40:181
9175991911,6cyclictest11584-21sshd20:18:381
9175991911,6cyclictest0-21swapper/119:30:231
917599191,15cyclictest21560-21cut20:30:161
917599191,11cyclictest3744-21latency_hist21:15:011
9175991910,6cyclictest0-21swapper/120:25:261
917099199,8cyclictest29930-21diskstats20:05:160
917099191,3cyclictest0-21swapper/021:36:580
9170991913,3cyclictest0-21swapper/019:30:030
917099191,13cyclictest539-21ssh22:40:340
9170991910,5cyclictest6891-21usage_Anybus21:50:280
918799181,9cyclictest9215-21latency_hist19:10:012
917599189,6cyclictest31570-21/usr/sbin/munin21:30:161
917599185,10cyclictest11948-21kthreadcore00:00:251
9175991811,4cyclictest1472-21timerwakeupswit22:05:301
917599181,14cyclictest14376-21cut19:15:161
9175991811,4cyclictest0-21swapper/119:35:151
917599181,13cyclictest26385-21grep20:35:171
917599180,12cyclictest20474-21idleruntime19:55:161
917099189,7cyclictest6132-21sshd23:39:390
917099186,9cyclictest13903-21fw_packets22:50:180
917099183,12cyclictest18741-21latency_hist19:20:020
917099182,2cyclictest131rcu_preempt20:20:130
917099181,9cyclictest22079-21kernelversion20:30:180
917099181,9cyclictest20764-21kthreadcore23:10:230
917099181,4cyclictest0-21swapper/000:35:280
9170991812,4cyclictest0-21swapper/020:10:260
9170991812,4cyclictest0-21swapper/019:45:150
917099181,14cyclictest10474-21grep22:10:310
917099181,12cyclictest22917-21ssh00:25:150
9170991810,6cyclictest26426-21ntp_kernel_pll_22:55:270
917599179,5cyclictest20436-21kthreadcore22:35:201
917599178,6cyclictest7626-21kthreadcore19:40:201
917599177,7cyclictest0-21swapper/120:05:121
917099171,5cyclictest9347-21pluginstate19:40:260
9170991711,4cyclictest0-21swapper/020:25:280
917099171,13cyclictest8241-21apt-get20:50:120
917099171,12cyclictest1007-21ssh22:25:140
9170991710,5cyclictest11574-21sshd20:16:430
9194991611,3cyclictest0-21swapper/319:10:013
917599168,6cyclictest8732-21irqrtprio20:50:191
917599163,10cyclictest6097-21kthreadcore20:45:211
917599161,8cyclictest20646-21kthreadcore19:20:211
917599161,4cyclictest4137-21apt-get21:15:141
9175991610,4cyclictest2299-21cpuspeed20:10:141
9175991610,4cyclictest15723-21if_err_eth019:50:161
917099168,6cyclictest3553-21diskstats20:45:160
917099162,9cyclictest0-21swapper/019:20:140
917099161,12cyclictest25290-21tr21:05:200
917099161,12cyclictest25290-21tr21:05:200
917099151,12cyclictest15596-21cut19:50:150
917599142,10cyclictest9169-21cyclictest19:10:011
917099131,9cyclictest9207-21latency_hist19:10:010
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional