You are here: Home / Technical Services / OSADL QA Farm Real-time / 
2026-07-06 - 05:29

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #7, slot #3

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.

Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the highest latencies:
System rack7slot3s.osadl.org (updated Mon Jul 06, 2026 00:43:42)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
206139913013,87cyclictest0-21swapper/021:40:440
206209912214,89cyclictest17903-21ssh23:30:151
20613991192,6cyclictest0-21swapper/022:10:400
206139911617,75cyclictest0-21swapper/023:50:170
206139911617,75cyclictest0-21swapper/023:50:170
206139911613,77cyclictest13-21rcuc/000:35:260
206139911611,76cyclictest17005-21ps21:30:410
206139911610,40cyclictest0-21swapper/021:25:360
20613991136,35cyclictest30886-21fschecks_time23:45:320
20613991125,45cyclictest0-21swapper/021:55:410
206139911216,72cyclictest6354-21ssh23:15:340
206209911010,28cyclictest30771-21ssh23:45:301
20613991103,15cyclictest0-21swapper/021:10:330
206139910715,67cyclictest9-21ksoftirqd/021:20:310
20634991035,8cyclictest8050irq/56-dwc_otg_21:30:403
206209910333,36cyclictest0-21swapper/121:40:431
20613991013,37cyclictest0-21swapper/023:20:320
206139910114,69cyclictest3958-21/usr/sbin/munin21:15:330
206209910051,7cyclictest0-21swapper/121:15:311
206209910010,8cyclictest0-21swapper/121:30:361
20613999719,10cyclictest27101-21users23:00:430
2062099954,9cyclictest25803-21ssh22:20:371
2062099954,9cyclictest25803-21ssh22:20:371
20634999328,10cyclictest8080-21sh21:20:333
20620999215,44cyclictest21-21rcuc/122:25:331
20613999122,62cyclictest17833-21rm23:30:140
191732900,6sleep1221ktimersoftd/119:05:311
2062099892,63cyclictest12572-21ls21:25:371
20613998910,56cyclictest0-21swapper/023:05:290
2063499883,10cyclictest0-21swapper/322:55:343
204712870,1sleep00-21swapper/022:53:390
2062099865,11cyclictest3478-21unixbench-2d23:50:431
2062099865,11cyclictest3478-21unixbench-2d23:50:431
2061399853,59cyclictest0-21swapper/022:25:340
2063499834,12cyclictest0-21swapper/300:35:283
2062699832,31cyclictest32196-21fschecks_time21:10:312
2062099835,12cyclictest10133-21df_inode23:20:311
2061399834,68cyclictest0-21swapper/022:45:140
20613998340,29cyclictest0-21swapper/022:48:310
20620998014,8cyclictest0-21swapper/121:10:331
2061399789,6cyclictest0-21swapper/022:55:330
2063499775,8cyclictest0-21swapper/323:15:343
2063499752,46cyclictest12559-21ssh21:25:373
2062099753,11cyclictest8079-21fw_packets21:20:331
20634997412,9cyclictest7950irq/56-dwc_otg_23:50:433
20634997412,9cyclictest7950irq/56-dwc_otg_23:50:433
2061399742,6cyclictest0-21swapper/022:20:340
2061399742,6cyclictest0-21swapper/022:20:340
2061399741,10cyclictest2646-21ls23:10:410
2063499732,51cyclictest3888-21cut21:15:323
2062099734,7cyclictest0-21swapper/121:55:421
90742720,4sleep08870-21latency_hist22:40:140
2061399722,57cyclictest26708-21cut23:40:310
20613997217,41cyclictest27443-21aten_rbpower_vo00:20:280
211992700,1sleep00-21swapper/019:10:320
20634997026,11cyclictest39-21ksoftirqd/321:40:443
20626997022,24cyclictest301ktimersoftd/223:50:442
20626997022,24cyclictest301ktimersoftd/223:50:442
20626997015,30cyclictest0-21swapper/221:55:432
20626997012,40cyclictest8050irq/56-dwc_otg_23:45:322
2063499693,44cyclictest8050irq/56-dwc_otg_22:10:393
20626996914,28cyclictest7850irq/56-dwc_otg00:30:252
20626996831,18cyclictest0-21swapper/221:30:412
2061399683,7cyclictest0-21swapper/023:30:170
2062099666,15cyclictest23-21ksoftirqd/123:05:301
20626996535,10cyclictest3886-21fschecks_time21:15:322
130112650,2sleep00-21swapper/000:02:240
20626996426,18cyclictest7850irq/56-dwc_otg21:40:452
20620996418,15cyclictest0-21swapper/122:55:411
20626996329,18cyclictest7950irq/56-dwc_otg_23:20:312
20626996319,22cyclictest7950irq/56-dwc_otg_22:20:352
20626996319,22cyclictest7950irq/56-dwc_otg_22:20:352
2061399631,50cyclictest525-21fschecks_count21:50:310
2061399631,50cyclictest525-21fschecks_count21:50:310
20613996310,46cyclictest15205-21sshd22:07:570
2062699626,33cyclictest4051-21kworker/u8:422:48:312
2062699626,30cyclictest12567-21cat21:25:372
15362620,6sleep12062099cyclictest21:50:431
15362620,6sleep12062099cyclictest21:50:431
20634996111,8cyclictest8050irq/56-dwc_otg_23:05:313
20626996113,18cyclictest7850irq/56-dwc_otg22:55:412
2062099605,15cyclictest27099-21users23:00:431
2062099603,42cyclictest0-21swapper/122:45:201
2061399608,40cyclictest9-21ksoftirqd/000:30:240
2063499596,11cyclictest26987-21grep23:00:413
2062699592,39cyclictest7950irq/56-dwc_otg_23:05:312
2062699592,10cyclictest1612-21ssh23:10:262
20626995911,15cyclictest29-21rcuc/222:10:402
20620995912,22cyclictest17712-21ssh22:10:401
2061399591,8cyclictest4605-21aten_rbpower_po19:55:280
178412590,4sleep30-21swapper/323:30:143
2063499584,13cyclictest8050irq/56-dwc_otg_21:55:423
20620995814,12cyclictest4051-21kworker/u8:423:15:351
20613995812,37cyclictest0-21swapper/023:35:390
2063499578,7cyclictest0-21swapper/323:20:333
20626995721,15cyclictest0-21swapper/223:00:412
2061399571,24cyclictest3035-21fschecks_time19:50:310
20613995711,33cyclictest20360-21basename21:35:270
2062699564,20cyclictest7271-21ssh00:35:262
2062099562,14cyclictest7263-21apt-get00:35:271
2061399564,40cyclictest10313-21cron00:00:130
20613995616,33cyclictest17490-21sh00:08:030
20634995512,8cyclictest8050irq/56-dwc_otg_22:25:353
2062699554,18cyclictest17804-21ssh23:30:142
20626995510,30cyclictest0-21swapper/221:20:312
20613995537,8cyclictest7850irq/56-dwc_otg22:30:310
20613995521,4cyclictest7950irq/56-dwc_otg_21:45:310
20634995418,15cyclictest0-21swapper/322:48:313
2062699542,15cyclictest7950irq/56-dwc_otg_23:55:242
20626995416,19cyclictest6269-21kernelversion23:15:332
20626995412,19cyclictest0-21swapper/222:25:352
2061399547,33cyclictest0-21swapper/000:25:360
20613995420,6cyclictest23293-21aten_rbpower_vo00:15:280
2061399541,8cyclictest29092-21grep19:30:410
2061399541,2cyclictest0-21swapper/020:05:250
85652530,3sleep00-21swapper/022:00:280
2062699523,8cyclictest8050irq/56-dwc_otg_20:55:252
2062699522,11cyclictest7850irq/56-dwc_otg22:40:272
2062099523,6cyclictest0-21swapper/123:30:171
2061399521,7cyclictest125-21systemd-journal19:25:130
2061399521,5cyclictest13321-21apt-get20:20:190
20613995214,25cyclictest0-21swapper/020:05:140
2063499514,13cyclictest8050irq/56-dwc_otg_23:45:313
2061399515,10cyclictest0-21swapper/020:10:270
20613995110,26cyclictest1634-21/usr/sbin/munin19:45:350
2062699508,27cyclictest0-21swapper/219:10:182
2061399501,12cyclictest20840-21latency_hist20:40:130
20634994922,22cyclictest8050irq/56-dwc_otg_22:20:353
20634994922,22cyclictest8050irq/56-dwc_otg_22:20:353
20620994919,14cyclictest5227-21sh00:32:061
2061399494,6cyclictest29798-21latency_hist21:05:140
20613994936,5cyclictest8050irq/56-dwc_otg_22:15:400
20613994920,9cyclictest0-21swapper/000:12:460
20613994913,17cyclictest0-21swapper/020:15:240
2062699481,3cyclictest7950irq/56-dwc_otg_19:40:402
2062099488,26cyclictest0-21swapper/119:20:261
20613994824,6cyclictest8050irq/56-dwc_otg_19:15:250
20613994824,6cyclictest8050irq/56-dwc_otg_19:15:250
2061399481,6cyclictest26255-21tr19:25:270
2061399481,27cyclictest30552-21/usr/sbin/munin19:35:400
2063499474,9cyclictest8050irq/56-dwc_otg_21:10:323
20626994716,9cyclictest516-21in:imuxsock23:30:162
20613994727,8cyclictest7950irq/56-dwc_otg_19:40:370
2061399472,5cyclictest0-21swapper/020:50:360
2063499468,13cyclictest8050irq/56-dwc_otg_23:30:163
20620994613,22cyclictest7850irq/56-dwc_otg23:10:431
2061399461,4cyclictest18835-21latency_hist20:35:140
2061399461,4cyclictest18835-21latency_hist20:35:140
202662463,36sleep00-21swapper/019:09:360
2062699457,24cyclictest0-21swapper/220:50:282
2061399451,22cyclictest21681-21awk20:40:380
2063499447,22cyclictest0-21swapper/319:20:263
2063499446,23cyclictest0-21swapper/320:20:283
2061399442,23cyclictest0-21swapper/020:29:440
2061399441,6cyclictest0-21swapper/021:00:140
2062099431,8cyclictest23790-21memory00:15:351
20620994310,15cyclictest905-21ssh22:30:241
2062699423,20cyclictest7850irq/56-dwc_otg22:05:282
20620994214,7cyclictest0-21swapper/120:10:271
2062099421,21cyclictest0-21swapper/100:20:351
305572410,6sleep32063499cyclictest21:05:353
2062099411,28cyclictest0-21swapper/120:25:251
2062099411,17cyclictest0-21swapper/120:00:311
2063499402,5cyclictest7950irq/56-dwc_otg_00:25:253
2062099409,6cyclictest2979-21fschecks_count19:50:301
2062099401,8cyclictest13006-21munin-run22:45:131
20620994014,14cyclictest0-21swapper/122:50:421
2062099401,3cyclictest0-21swapper/122:35:301
20634993921,6cyclictest13314-21missed_timers22:05:373
2063499391,7cyclictest7950irq/56-dwc_otg_20:05:273
2062699397,22cyclictest0-21swapper/220:20:192
2061399391,6cyclictest30012-21grep21:05:280
88712380,4sleep38869-21sh22:40:133
20634993814,14cyclictest381ktimersoftd/300:30:253
2062699387,22cyclictest0-21swapper/200:00:192
20626993818,5cyclictest26611-21sh00:19:342
2062099385,4cyclictest8050irq/56-dwc_otg_21:35:271
2062099384,5cyclictest22240-21apt-get23:35:261
2062099381,6cyclictest750-21snmpd21:45:301
20620993812,6cyclictest0-21swapper/122:05:271
20620993811,15cyclictest0-21swapper/100:02:131
2061399381,21cyclictest23436-21proc_pri20:45:370
2063499375,20cyclictest20952-21ssh22:15:263
20634993715,15cyclictest0-21swapper/321:48:573
2063499371,21cyclictest10567-21apt-config00:00:143
20626993717,5cyclictest27728-21latency_hist19:30:132
2062099378,13cyclictest0-21swapper/100:10:281
2062099372,3cyclictest0-21swapper/123:40:291
20620993722,4cyclictest20908-21/usr/sbin/munin22:15:371
2062099371,25cyclictest9064-21timerandwakeup20:05:391
20620993711,12cyclictest0-21swapper/100:25:291
20620993710,15cyclictest1015-21aten_rbpower_vo19:45:261
20634993619,10cyclictest24109-21latency_hist21:40:133
20634993617,12cyclictest17693-21sh00:08:263
20634993616,5cyclictest860950wget22:00:283
20634993615,6cyclictest10802-21aten_rbpower_en00:00:263
2062699367,16cyclictest0-21swapper/219:35:282
2062699364,10cyclictest0-21swapper/219:20:252
2062699362,5cyclictest0-21swapper/220:30:342
2062699362,5cyclictest0-21swapper/220:30:342
20626993617,4cyclictest29-21rcuc/219:55:302
2062099361,25cyclictest15537-21ssh00:05:361
2062699357,15cyclictest31-21ksoftirqd/200:10:372
2062699355,16cyclictest8050irq/56-dwc_otg_23:44:002
2062699351,23cyclictest32329-21ssh21:50:132
2062099355,6cyclictest12822-21grep20:15:401
2062099355,5cyclictest0-21swapper/123:55:191
2062099352,10cyclictest8050irq/56-dwc_otg_21:05:251
20620993520,4cyclictest727-21runrttasks20:40:361
2062099351,21cyclictest26400-21cut19:25:301
20620993510,13cyclictest0-21swapper/122:02:011
173512350,5sleep12062099cyclictest20:30:271
173512350,5sleep12062099cyclictest20:30:271
31132340,2sleep20-21swapper/222:32:192
2063499342,5cyclictest8050irq/56-dwc_otg_19:45:363
20634993422,8cyclictest3591-21switchtime19:50:393
2062699349,14cyclictest29-21rcuc/220:25:352
2062699348,13cyclictest8050irq/56-dwc_otg_00:27:342
20626993428,4cyclictest29-21rcuc/221:50:362
20626993428,4cyclictest29-21rcuc/221:50:362
20626993416,4cyclictest88732munin-plugin-st22:40:132
20626993410,14cyclictest31-21ksoftirqd/219:15:232
20626993410,14cyclictest31-21ksoftirqd/219:15:232
20620993414,4cyclictest727-21runrttasks20:57:261
20620993410,5cyclictest29726-21latency_hist21:05:131
2063499335,5cyclictest27178-21ls20:55:383
2063499332,24cyclictest8050irq/56-dwc_otg_22:50:263
2063499331,5cyclictest9334-21wget22:40:283
2063499331,24cyclictest0-21swapper/319:30:313
2062699337,14cyclictest0-21swapper/220:40:262
2062699335,7cyclictest19571-21grep20:35:342
2062699333,6cyclictest7850irq/56-dwc_otg21:00:312
2062699333,4cyclictest0-21swapper/219:30:272
2062699332,6cyclictest31469-21apt21:10:132
2062699332,6cyclictest31-21ksoftirqd/200:05:252
2062099335,19cyclictest7850irq/56-dwc_otg19:40:361
2062099335,16cyclictest727-21runrttasks20:50:511
2062099332,5cyclictest0-21swapper/119:30:261
2062099332,20cyclictest0-21swapper/119:35:261
20634993216,9cyclictest18923-21ssh00:10:153
20634993213,13cyclictest29128-21sh00:21:373
20634993212,4cyclictest24355-21latency_hist20:50:133
20626993225,5cyclictest31-21ksoftirqd/223:35:292
2062699322,2cyclictest0-21swapper/220:15:262
20626993211,4cyclictest0-21swapper/200:21:332
2062099328,5cyclictest19756-21ntp_kernel_pll_20:35:361
2062099327,14cyclictest22457-21latency_hist19:15:141
2062099321,4cyclictest23492-21ls19:15:391
2062099321,4cyclictest23492-21ls19:15:391
2062099321,3cyclictest0-21swapper/119:55:281
2062099321,2cyclictest0-21swapper/120:45:331
2063499318,5cyclictest39-21ksoftirqd/323:35:293
2063499315,5cyclictest8050irq/56-dwc_otg_19:10:293
2063499314,4cyclictest8050irq/56-dwc_otg_22:30:313
2063499311,5cyclictest22132-21sshd20:41:303
20634993113,10cyclictest381ktimersoftd/320:01:193
2063499311,27cyclictest17587-21uniq20:30:303
2063499311,27cyclictest17587-21uniq20:30:303
20634993110,12cyclictest0-21swapper/323:41:043
2062699315,7cyclictest7950irq/56-dwc_otg_22:00:412
20626993122,7cyclictest8282-21egrep20:05:272
2062699311,21cyclictest1225-21uniq19:45:292
2062099311,5cyclictest0-21swapper/120:20:191
2063499305,6cyclictest39-21ksoftirqd/319:15:313
2063499305,6cyclictest39-21ksoftirqd/319:15:313
2063499304,18cyclictest0-21swapper/320:12:373
20634993021,5cyclictest381ktimersoftd/319:35:273
20634993015,5cyclictest25049-21load20:50:353
20634993013,9cyclictest16327-21sed20:25:393
2063499301,17cyclictest20710-21ls20:40:133
2062699306,15cyclictest0-21swapper/222:50:272
2062699306,11cyclictest8050irq/56-dwc_otg_20:45:332
2062699304,14cyclictest29-21rcuc/222:20:042
2062699303,6cyclictest7850irq/56-dwc_otg20:12:512
2062699303,12cyclictest7850irq/56-dwc_otg21:35:292
20626993019,7cyclictest4457-21latency_hist19:55:142
195092307,10sleep30-21swapper/319:05:383
2063499293,4cyclictest8050irq/56-dwc_otg_19:55:313
2063499291,18cyclictest0-21swapper/323:14:083
20626992920,6cyclictest7313-21timerwakeupswit20:00:402
2063499284,4cyclictest7950irq/56-dwc_otg_21:50:313
2063499284,4cyclictest7950irq/56-dwc_otg_21:50:313
2063499283,4cyclictest8050irq/56-dwc_otg_00:15:263
199742289,12sleep20-21swapper/219:05:502
2063499277,5cyclictest8050irq/56-dwc_otg_19:40:373
20634992712,5cyclictest29863-21latency_hist21:05:143
2063499271,21cyclictest0-21swapper/319:30:103
2063499262,9cyclictest0-21swapper/320:15:423
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional