You are here: Home / Projects / OSADL QA Farm Real-time / Latency plots / 
2025-12-04 - 18:06

OSADL QA Farm on Real-time of Mainline Linux

About - Hardware - CPUs - Benchmarks - Graphics - Benchmarks - Kernels - Boards/Distros - Latency monitoring - Latency plots - System data - Profiles - Compare - Awards

Default latency plot of shadow in rack #7, slot #3

Rack #0/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #1/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #2/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #3/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #4/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #5/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #6/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #7/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #8/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #9/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #a/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #b/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #c/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #d/#0 #1 #2 #3 #4 #5 #6 #7 #8 -
Rack #e/#0 #1 #2 #3 #4 #5 #6 #7 #8 - Rack #f/#0 #1 #2 #3 #4 #5 #6 #7 #8 
Special  All - All RT - Optimization - Ethernet - Thumbnails - Next
  
Click here to display the system's profile data or here to proceed to next system.
Click on a legend element to toggle display of that core, ctrl-click inverts display, shift-click enables all.

Data to construct the above plot have been generated using the RT test utility cyclictest.

Total number of samples: 100 million
Resolution of latency scale: normal
Duration: 5 hours, 33 minutes, lowest P state: performance
Compare latency of primary with shadow system
Characteristics of the 376 highest latencies:
System rack7slot3s.osadl.org (updated Thu Dec 04, 2025 12:43:36)
Delayed (victim)Switcher (culprit)TimestampCPU
PIDPrioTotal
latency
(µs)
T*(,W**)
latency
(µs)
CmdPIDPrioCmd
16258210580,71sleep27950irq/56-dwc_otg_07:05:392
17257998822,8cyclictest20945-21aten_rbpower_cu07:20:280
171812860,1sleep30-21swapper/310:28:103
297902830,5sleep01725799cyclictest12:15:360
96502810,2sleep20-21swapper/212:31:482
85492750,2sleep09-21ksoftirqd/010:15:390
1726299731,52cyclictest24999-21idleruntime-cro12:10:122
232732720,2sleep30-21swapper/307:25:353
1726299725,47cyclictest7950irq/56-dwc_otg_11:50:412
17262997128,32cyclictest25371-21ssh11:25:262
17262997128,32cyclictest25371-21ssh11:25:262
1726299711,59cyclictest5788-21ssh11:42:142
1726299691,55cyclictest7404-21grep09:25:392
1726299681,56cyclictest7569-21/usr/sbin/munin08:10:392
1726299681,52cyclictest4919-21apt-get08:05:252
1726299681,50cyclictest7950irq/56-dwc_otg_10:15:362
17262996813,36cyclictest21479-21cpuspeed08:50:292
1726299675,47cyclictest7950irq/56-dwc_otg_12:35:342
1726299673,54cyclictest27940-21rm10:43:222
1726299671,47cyclictest1251-21ls11:35:412
275802660,2sleep10-21swapper/107:35:431
1726299662,51cyclictest7950irq/56-dwc_otg_09:45:252
1726299662,46cyclictest7850irq/56-dwc_otg_08:55:422
1726299657,42cyclictest19263-21wc08:45:122
1726299651,53cyclictest30781-21ssh10:46:312
1725799657,27cyclictest0-21swapper/009:25:280
1725799656,27cyclictest0-21swapper/009:50:270
304572640,5sleep11726199cyclictest12:15:571
1726299645,45cyclictest7850irq/56-dwc_otg_11:05:192
1726299643,52cyclictest3235-21rm12:24:052
1726299641,47cyclictest98312sleep211:48:122
1725799641,23cyclictest0-21swapper/012:25:260
1726399638,42cyclictest0-21swapper/312:24:523
1726299634,48cyclictest12929-21ssh10:21:282
1726299634,48cyclictest12929-21ssh10:21:282
1726299631,49cyclictest0-21swapper/211:16:572
1726299627,44cyclictest7950irq/56-dwc_otg_11:00:102
1726299621,51cyclictest25817-21iwlist12:10:332
1726299621,49cyclictest0-21swapper/211:59:012
17257996233,11cyclictest7950irq/56-dwc_otg_07:25:430
1726399619,5cyclictest0-21swapper/310:09:543
1726299615,44cyclictest30571-21ssh09:12:132
1726299615,44cyclictest30571-21ssh09:12:132
1726299612,46cyclictest0-21swapper/207:31:172
1726299611,50cyclictest17771-21ssh10:29:272
1726299611,49cyclictest1120-21runrttasks07:11:062
1726299611,42cyclictest7950irq/56-dwc_otg_09:39:232
1725799612,5cyclictest1120-21runrttasks08:00:230
1726399601,43cyclictest0-21swapper/311:25:273
1726399601,43cyclictest0-21swapper/311:25:273
1726299603,44cyclictest0-21swapper/210:00:362
1726299602,44cyclictest0-21swapper/211:22:362
1726299601,45cyclictest20385-21rm10:32:132
1726299601,43cyclictest7750irq/56-dwc_otg09:20:312
1726399593,4cyclictest7850-21/usr/sbin/munin09:25:433
1726399591,18cyclictest7950irq/56-dwc_otg_09:42:293
1726399591,18cyclictest7950irq/56-dwc_otg_09:42:293
1726299596,39cyclictest7950irq/56-dwc_otg_10:13:342
1726299596,39cyclictest7950irq/56-dwc_otg_10:13:342
1726299591,46cyclictest0-21swapper/211:02:572
1726299591,45cyclictest0-21swapper/211:10:492
1726399587,3cyclictest0-21swapper/311:42:113
17263995821,33cyclictest26759-21aten_rbpower_en09:05:323
1726399581,5cyclictest10442-21/usr/sbin/munin08:20:383
1726299585,38cyclictest7950irq/56-dwc_otg_11:33:522
1726299583,43cyclictest7950irq/56-dwc_otg_12:27:142
1726299581,44cyclictest0-21swapper/212:16:052
1725799581,21cyclictest10792-21latency_hist11:05:130
1726399571,6cyclictest9677-21grep08:15:413
1726299572,45cyclictest20003-21sh12:01:492
1726299572,45cyclictest20003-21sh12:01:492
1726299572,42cyclictest7850irq/56-dwc_otg_09:50:272
1726299572,40cyclictest7950irq/56-dwc_otg_09:20:122
1726299572,40cyclictest28034-21ssh09:56:222
17262995715,38cyclictest29014-21processes07:40:392
1726299571,45cyclictest2082-21rm10:51:462
17262995710,26cyclictest0-21swapper/210:08:202
17257995734,5cyclictest7850irq/56-dwc_otg_09:45:310
1725799573,35cyclictest24602-21apt-get07:30:190
1725799573,35cyclictest0-21swapper/008:10:260
17257995715,23cyclictest14020-21dhclient-script11:54:360
1726399561,5cyclictest7184-21kernelversion08:10:343
17263995615,38cyclictest22302-21awk11:20:353
1726299561,47cyclictest0-21swapper/209:31:302
1726299561,46cyclictest16342-21ssh09:40:162
1726299561,46cyclictest16342-21ssh09:40:162
17257995633,13cyclictest7950irq/56-dwc_otg_10:50:120
1726399557,9cyclictest7850irq/56-dwc_otg_09:25:123
1726399557,3cyclictest0-21swapper/310:34:463
1726399552,4cyclictest11586-21/usr/sbin/munin12:35:363
1726399552,12cyclictest0-21swapper/311:30:383
1726299551,42cyclictest0-21swapper/208:15:362
1725799559,35cyclictest26545-21aten_rbpower_vo07:35:270
1725799553,25cyclictest0-21swapper/010:20:260
1725799553,25cyclictest0-21swapper/010:20:260
17257995531,5cyclictest7950irq/56-dwc_otg_10:40:400
17257995529,5cyclictest7850irq/56-dwc_otg_09:25:120
17257995513,39cyclictest10555-21/usr/sbin/munin09:30:400
1726399544,9cyclictest0-21swapper/310:40:493
1726399542,3cyclictest7950irq/56-dwc_otg_12:06:373
1726399542,3cyclictest0-21swapper/310:05:133
1726399541,5cyclictest7950irq/56-dwc_otg_09:50:313
1726399541,3cyclictest0-21swapper/308:55:453
1726399541,14cyclictest2934-21cat08:00:123
1726299546,32cyclictest7750irq/56-dwc_otg07:25:292
1726299541,43cyclictest0-21swapper/208:31:242
1726199542,6cyclictest0-21swapper/110:05:261
1725799542,33cyclictest6042-21sed08:05:420
1725799541,28cyclictest8132-21fschecks_count12:30:320
1726399534,9cyclictest2022-21ssh11:37:023
1726399533,8cyclictest25471-21aten_rbpower_vo12:10:283
1726399533,13cyclictest28264-21diskmemload12:35:143
1726399532,4cyclictest7850irq/56-dwc_otg_11:00:123
17263995314,36cyclictest29948-21/usr/sbin/munin12:15:393
1726399531,13cyclictest12828-21runrttasks09:35:173
1726299531,44cyclictest0-21swapper/207:21:012
17257995326,15cyclictest7950irq/56-dwc_otg_11:35:370
1725799531,32cyclictest18144-21ls07:10:380
1725799531,28cyclictest3593-21latency_hist10:55:130
1726399525,8cyclictest7750irq/56-dwc_otg10:11:253
1726399525,8cyclictest7750irq/56-dwc_otg10:11:253
1726399523,4cyclictest7950irq/56-dwc_otg_08:05:283
1726399522,46cyclictest7850irq/56-dwc_otg_09:20:133
1726399522,12cyclictest0-21swapper/310:46:243
1726399521,6cyclictest7950irq/56-dwc_otg_11:45:283
1726399521,5cyclictest9665-21apt-get09:30:263
1726399521,5cyclictest7847-21entropy11:00:313
1726399521,3cyclictest7750irq/56-dwc_otg11:50:513
1726399521,11cyclictest0-21swapper/309:56:483
1726299526,33cyclictest7950irq/56-dwc_otg_07:54:552
1726299526,33cyclictest7950irq/56-dwc_otg_07:54:552
1726299521,39cyclictest0-21swapper/209:06:472
1726299521,38cyclictest0-21swapper/210:35:202
1725799524,28cyclictest0-21swapper/011:40:380
1725799522,28cyclictest15621-21idleruntime-cro08:35:120
1725799521,43cyclictest9699-21unixbench_singl08:15:410
1726399512,9cyclictest0-21swapper/308:53:003
1726399511,6cyclictest25497-21/usr/sbin/munin07:30:383
1726399511,4cyclictest7750irq/56-dwc_otg10:50:343
1726399511,3cyclictest0-21swapper/311:17:363
1726399511,3cyclictest0-21swapper/308:40:313
1726399511,11cyclictest7950irq/56-dwc_otg_10:35:293
1726299511,39cyclictest0-21swapper/208:45:322
1726199519,26cyclictest9915-21sh12:32:211
17257995130,5cyclictest19211-21aten_rbpower_vo07:15:290
1725799512,7cyclictest1050-21munin-run07:55:120
1725799512,7cyclictest1050-21munin-run07:55:120
1725799512,31cyclictest22739-21grep10:35:380
17257995122,22cyclictest0-21swapper/011:10:190
17263995012,5cyclictest23099-21latency_hist09:50:133
1726399501,10cyclictest30225-21aten_rbpower_po07:45:253
1726299501,41cyclictest11682-21runrttasks08:21:112
1726299501,41cyclictest0-21swapper/208:26:282
1726299501,41cyclictest0-21swapper/208:26:282
17262995011,36cyclictest26415-21/usr/sbin/munin07:35:342
17261995028,9cyclictest7318-21latency_hist11:45:131
17261995024,15cyclictest7750irq/56-dwc_otg11:59:151
17261995013,13cyclictest23288-21apt-get09:50:251
17261995012,24cyclictest0-21swapper/110:20:181
17261995012,24cyclictest0-21swapper/110:20:181
1725799506,33cyclictest0-21swapper/011:30:280
1725799502,8cyclictest25438-21aten_rbpower_en11:25:270
1725799502,8cyclictest25438-21aten_rbpower_en11:25:270
17257995026,18cyclictest0-21swapper/009:35:290
1725799501,7cyclictest2904-21latency_hist09:20:120
1725799501,45cyclictest0-21swapper/012:05:390
1725799501,38cyclictest0-21swapper/011:05:370
1725799501,24cyclictest31932-21ls09:15:130
1725799501,24cyclictest31932-21ls09:15:130
1725799501,15cyclictest19169-21ssh10:30:360
1725799501,13cyclictest0-21swapper/009:10:130
169792503,39sleep30-21swapper/307:10:063
169292503,12sleep00-21swapper/007:09:260
289902490,4sleep3381ktimersoftd/309:10:323
289902490,4sleep3381ktimersoftd/309:10:323
1726399492,10cyclictest7950irq/56-dwc_otg_10:15:363
1726399491,9cyclictest16431-21ls08:35:333
1726399491,3cyclictest0-21swapper/312:26:373
1726399491,3cyclictest0-21swapper/307:40:293
1726399491,14cyclictest0-21swapper/311:11:223
1726299491,5cyclictest20114-21ls07:15:412
1726199497,33cyclictest15677-21ssh09:39:171
17261994925,5cyclictest9409-21latency_hist09:30:131
1725799498,19cyclictest0-21swapper/012:10:280
17257994926,5cyclictest8628-21sed11:45:420
17257994925,4cyclictest16714-21fschecks_count09:40:310
17257994925,4cyclictest16714-21fschecks_count09:40:310
17257994925,3cyclictest0-21swapper/010:10:410
17257994925,3cyclictest0-21swapper/010:10:410
1726399482,11cyclictest0-21swapper/310:20:333
1726399482,11cyclictest0-21swapper/310:20:333
1726399481,3cyclictest7950irq/56-dwc_otg_08:47:383
1726299481,4cyclictest15861-21apt-get08:35:262
1726299481,36cyclictest0-21swapper/209:01:242
1726299481,2cyclictest0-21swapper/207:55:362
1726199487,26cyclictest0-21swapper/108:40:281
1725799482,8cyclictest7466-21latency_hist11:00:130
17257994825,3cyclictest0-21swapper/010:05:370
17257994812,25cyclictest0-21swapper/009:55:240
1726399476,7cyclictest32214-21tune2fs07:50:303
1726399476,7cyclictest32214-21tune2fs07:50:303
1726399474,10cyclictest7750irq/56-dwc_otg11:05:153
1726399472,10cyclictest140-21systemd-journal08:33:143
17263994712,4cyclictest19291-21/usr/sbin/munin12:00:413
17263994712,4cyclictest19291-21/usr/sbin/munin12:00:413
1726399471,10cyclictest0-21swapper/307:16:163
1726299472,5cyclictest4041-21sort08:00:402
1726199477,25cyclictest0-21swapper/111:10:271
1726199477,25cyclictest0-21swapper/111:05:181
1726199477,25cyclictest0-21swapper/108:15:261
1726199473,27cyclictest12150-21/usr/sbin/munin12:35:341
17261994710,22cyclictest23886-21ssh11:22:351
1725799477,19cyclictest13-21rcuc/010:03:050
1725799473,12cyclictest0-21swapper/012:22:270
1725799472,36cyclictest0-21swapper/007:47:210
1725799472,25cyclictest19142-21ssh12:00:400
1725799472,25cyclictest19142-21ssh12:00:400
1725799472,24cyclictest15353-21cut10:25:310
1725799471,26cyclictest22848-21apt08:55:120
1726299461,5cyclictest30124-21/usr/sbin/munin07:45:412
1725799468,21cyclictest0-21swapper/008:55:460
1726399454,7cyclictest15817-21grep11:55:413
1726399451,3cyclictest7850irq/56-dwc_otg_07:39:213
17263994513,28cyclictest381ktimersoftd/307:10:273
1726199458,24cyclictest0-21swapper/107:40:281
1726199458,22cyclictest6696-21modprobe08:10:131
1726199457,24cyclictest0-21swapper/107:45:191
1726199451,5cyclictest7750irq/56-dwc_otg07:20:261
17257994513,13cyclictest0-21swapper/008:40:280
1725799451,23cyclictest12087-21if_wlan012:35:330
17257994512,18cyclictest28969-21/usr/sbin/munin07:40:390
1725799450,31cyclictest0-21swapper/011:21:520
1726399441,9cyclictest0-21swapper/307:23:563
1726199446,25cyclictest0-21swapper/109:45:271
1726199446,22cyclictest7889-21if_eth011:45:331
17261994422,5cyclictest5239-21fschecks_time08:05:311
1725799442,25cyclictest0-21swapper/008:20:240
1725799441,25cyclictest19728-21fschecks_count08:45:300
17257994410,17cyclictest0-21swapper/011:55:310
1726399431,9cyclictest0-21swapper/309:01:253
1726199439,16cyclictest1205-21ssh12:20:391
1726199438,25cyclictest0-21swapper/111:00:271
1726199437,25cyclictest0-21swapper/107:55:261
1726199437,23cyclictest0-21swapper/107:30:181
1726199435,22cyclictest7850irq/56-dwc_otg_11:19:441
1726199432,23cyclictest7750irq/56-dwc_otg10:51:451
1726199432,20cyclictest30313-21ssh09:11:381
1726199432,20cyclictest30313-21ssh09:11:381
1725799433,7cyclictest0-21swapper/008:25:390
1725799433,7cyclictest0-21swapper/008:25:390
17257994319,3cyclictest0-21swapper/007:55:380
1725799431,4cyclictest25584-21ntp_states09:00:360
1726199428,8cyclictest7656-21apt-get10:15:241
1726199428,7cyclictest25564-21df12:10:291
1726199428,16cyclictest7750irq/56-dwc_otg10:40:321
1726199427,22cyclictest0-21swapper/109:55:271
17261994215,12cyclictest7950irq/56-dwc_otg_11:25:421
17261994215,12cyclictest7950irq/56-dwc_otg_11:25:421
1725799422,26cyclictest0-21swapper/011:15:300
1726199417,24cyclictest0-21swapper/110:10:271
1726199417,24cyclictest0-21swapper/110:10:271
1726199416,23cyclictest0-21swapper/110:25:181
1726199415,23cyclictest21541-21ssh10:34:571
1726199413,18cyclictest1222550ssh09:33:481
1726199412,25cyclictest0-21swapper/107:10:251
17261994121,7cyclictest7750irq/56-dwc_otg08:50:131
17261994116,15cyclictest221ktimersoftd/112:30:131
1726199408,13cyclictest0-21swapper/111:00:061
1726199407,16cyclictest32658-21ssh10:04:391
1726199407,13cyclictest23797-21ssh12:07:201
17261994022,6cyclictest7750irq/56-dwc_otg11:50:341
17261994021,8cyclictest7850irq/56-dwc_otg_09:20:031
17261994017,9cyclictest7950irq/56-dwc_otg_08:55:371
17261994013,7cyclictest0-21swapper/110:45:411
1726199401,18cyclictest3100-21ssh11:39:221
17261993920,8cyclictest7950irq/56-dwc_otg_12:04:561
17261993920,8cyclictest7950irq/56-dwc_otg_12:04:561
17261993911,12cyclictest21564-21fschecks_count08:50:311
17261993910,15cyclictest31748-21ssh11:34:071
169872396,19sleep116989-21cron07:10:121
1726199384,17cyclictest0-21swapper/109:20:271
17261993816,11cyclictest7750irq/56-dwc_otg07:18:231
17261993810,4cyclictest27201-21ls09:05:381
17257993817,12cyclictest16531-21/usr/sbin/munin08:35:340
1726199379,12cyclictest0-21swapper/109:41:291
1726199379,12cyclictest0-21swapper/109:41:291
1726199371,18cyclictest24125-21ssh10:37:401
1726199369,5cyclictest23151-21if_wlan007:25:331
1726199355,17cyclictest978-21chrt07:54:311
1726199355,17cyclictest978-21chrt07:54:311
1726399341,9cyclictest0-21swapper/308:02:283
1726199345,19cyclictest26105-21runrttasks09:00:581
1726399331,11cyclictest0-21swapper/308:26:093
1726399331,11cyclictest0-21swapper/308:26:093
1726199331,3cyclictest7750irq/56-dwc_otg08:35:241
1726199324,18cyclictest0-21swapper/108:23:301
1726199324,14cyclictest7850irq/56-dwc_otg_08:31:231
1726199319,5cyclictest4647-21chrt08:05:011
1726199307,8cyclictest12574-21fschecks_time08:25:291
1726199307,8cyclictest12574-21fschecks_time08:25:291
*Timer  **Wakeup  (latency=timer+wakeup+contextswitch)

 

Valid XHTML 1.0 Transitional